In diesem Haus lebten zum Beispiel: bis 1756 Marie Eleonore (1671-1756), Herzogin von Radzivil und Schwester des Fürsten Leopold I., von 1783 bis 1822 Prinz Hans Georg (1748-1811), der jüngere Bruder des Fürsten Franz, und seine Frau Caroline von Hill (1748-1822) und Prinz Friedrich August (1799-1864), Bruder des damals regierenden Herzogs Leopold Friedrich. Friedrich August starb 1864. Seine Witwe Prinzessin Marie von Hessen-Kassel (1814-1895) bewirtschaftete das Palais weiter. Nach dem Tod der Prinzessin Marie fiel es an ihre Tochter Hilda Charlotte (1839-1926). Nach ihr trug das Palais fortan den Namen »Palais Hilda«.