Nachdem Torgau nach der Leipziger Teilung 1485 Hauptkanzlei des ernestinischen Kurfürstentums geworden war und sich die alte Kanzlei im Schloss als nicht mehr ausreichend erwiesen hatte, erwarb Kurfürst Friedrich der Weise 1523 das Gelände und die Gebäude des Wirtschaftshofs des Klosters Nimbschen, zwischen Schloss und Stadtkirche gelegen. Nach Baumaßnahmen wurde das neue Kanzleigebäude kurfürstliches Beratungs- und Verwaltungszentrum und ist durch einen bedeckten Gang mit den Schlossgebäuden verbunden worden. Hier gingen jetzt nicht nur der Kurfürst und seine Räte, sondern auch die Wittenberger Reformatoren ein und aus. Das kursächsische Kanzleiwesen war in seiner Zeit vorbildlich für ganz Deutschland, hier wurde die sächsische Kanzleisprache gepflegt, der sich Martin Luther bei der Bibelübersetzung bedient hat.

1711 bewohnte Zar Peter der Große anlässlich des Beilagers des russischen Großfürsten Alexej Petrowitsch und Prinzessin Charlotte Christiane Sophie von Braunschweig-Wolffenbüttel das Kanzleigebäude. Im Eckzimmer des 1. Obergeschosses fand seine Begegnung mit dem Universalgelehrten Leibniz statt, den er später mit dem Titel Geheimrat und einer Pension ehrte. Leibniz regte hier die Gründung der Petersburger Akademie an.

Im 18. Jahrhundert wurde eine Manufaktur eingerichtet, die vorwiegend Tuche für Uniformen der sächsischen Armee produziert hat.

Nach umfassender Instandsetzung und Restaurierung ist jetzt im Kanzleihaus der ursprüngliche Zustand des 16. Jahrhunderts wieder erlebbar. Dazu gehören die Hauskapelle des Klosterhofs, die Gewölbe des ernestinischen Archivs, die große Stube der Kanzleischreiber und die Ratsstube des Kurfürsten und seiner Räte.

Seit 2005 befinden sich die Sammlungen des Stadt- und Kulturgeschichtlichen Museums im Haus. Die Ausstellung bietet einen interessanten Überblick zur Stadtgeschichte, quasi als Einführung in den Museumspfad. Darüber hinaus gibt es interessante Sonderausstellungen und Vorträge zu erleben.