1747. Georg II., geboren in Herrenhausen, ist König von England und Kurfürst von Hannover, Johann Sebastian Bach komponiert das „Musikalische Opfer“, und der Hofbau- und Gartendirektor Friedrich Karl von Hardenberg baut am Rande der Herrenhäuser Gärten ein Haus.
Als er 1763 stirbt, geht das Haus in den Besitz der Krone über und hat danach ein wechselvolles Schicksal. 1803 nimmt hier der französische General Mortier Quartier, als er Hannover besetzt. 1804 folgt ihm Jean-Baptiste Bernadotte, der Marschall Napoleons und spätere König von Schweden und Norwegen. Von 1866 bis 1937 dient das Gebäude den Welfen als Familienmuseum.
1937 kauft die Stadt Hannover das Haus zusammen mit den Herrenhäuser Gärten und setzt es 1939 von Grund auf Instand – noch vor Beginn des Zweiten Weltkrieges, der die Bemühungen zum großen Teil gleich wieder zunichte macht.