In de kamer linksvoor op de bel-etage is nog een deel van de oude grandeur zichtbaar in de betimmering en versieringen boven de schoorsteen en de deuren.
1710-1711 wordt het huis bewoond door Joan van Hoorn (1653-1711), oud-gouverneur-generaal van Nederlands-Indië, en zijn echtgenote Johanna Maria van Riebeeck.
Na zijn overlijden blijft Johanna Maria van Riebeeck hier wonen, ook na haar huwelijk in 1712 met regent Mr.
Cornelis Bors van Waveren (1662-1722) van Herengracht 502 en een daarop
volgend huwelijk. Johanna Maria overlijdt in 1759.
In 1759 koopt Jacob Janszoon Boreel (1711-1778) het 'Huis van Deutz' en de percelen aan de Keizersgracht voor fl. 117.000. Als raadfiscaal van de Admiraliteit
bewoont hij het Prinsenhof. Jacob Boreel trouwde op 28 februari 1735 met Agneta Margaretha Munter (1717-1761) die hem negen kinderen schonk. Agneta's vader,
Cornelis Munter, was vele jaren burgemeester van Amsterdam. Maar terug naar Jacob en Agneta. Zij laten het pand bewonen door hun dochter Catharina (1736-1780).
Zij is getrouwd met de koopman en bankier Jan Bernd Bicker (1733-1774). Zij zullen later verhuizen naar Herengracht 438.
In 1778 is de volgende bewoner Daniël Hooft Gerritsz (1741-1803), vermogend en tevens eigenaar van het landgoed Velserbosch bij Velsen.
In 1813 is het pand in bezit van
Johannes Kluppel, de schatrijke medefirmant van de firma Braunsberg & Co. Braunsberg (1745-1815) was een katholieke Berlijner
die platzak naar Amsterdam kwam. Hij begon als bediende bij Vernède & Casenove en vergaarde op de beurs een fortuin waarmee hij een eigen firma begint. In 1772
trouwde hij met een zuster van Johannes, Aleyda Kluppel. Na zijn overlijden nam Johannes de leiding op zich. Kluppel en zijn vrouw woonden aan de overzijde op
Herengracht 493. Hij liet Herengracht 450 door zijn oudste dochter Wilhelmina bewonen nadat zij in 1813 was getrouwd met Jan
Constantijn Nicolaas van Eys, lid van de firma Isaac van Eys & Soonen die handelde in Spaanse wol. Jan Constantijn van Eys was tevens directeur Levantse handel
en navigatie in de Middellandse Zee ter Kamer Amsterdam.
Jan Constantijn was de zoon van Paulus Andries van Eys en Cornelia Henriëtte Dorothea Adriana Ortt. Deze beide families hadden in de nadagen van de Republiek
vertegenwoordigers in de regering van Amsterdam. Op verzoek werd Jan Constantijn en zijn vader in 1816 geadeld met de titel van jonkheer. Niet alleen Jhr.
Willem Jan van Eys (1825-1914), bibliograaf en heraldicus en beroemd kenner van het Baskisch, werd hier geboren, maar ook minstens vier freules.
In 1862 hebben de freules het huis van hun moeder geërfd en zij zullen het bewonen tot de laatste in 1899 overlijdt. De freules Van Eys, genoten algemene
bekendheid in de Bocht vanwege hun wellevendheid.
Van 1900 tot 1920 was er het Damesleesmuseum gevestigd.
In 1921 is het in gebruik genomen door Handelmaatschappij H.Albert de Bary & Co en in 1922 voor haar met een verdieping verhoogd door C.Bergenthal. Deze
financiële instelling opereerde als de Nederlandse tak van Deutsche Bank en ging in de tachtiger jaren helemaal samen met Deutsche Bank. Tussen 1919 en 1965
werden de nummers 448 tot en met 458 één voor één aangekocht door Handelsmaatschappij H.Albert De Bary & Co en zij vormen nu het De-Bary-complex.
2007-2013: Renovatie door Herengracht Investments en Obidos. Sindsdien is het onderdeel van een bedrijfsverzamelgebouw waar ruim 50 bedrijven vertegenwoordigd zijn.