Willem en Adriaen van Loon kopen in 1664 twee dubbele erven aan de Herengracht met bijbehorende erven aan de Reguliersdwarsstraat.
In 1667 worden er twee identieke huizen op de grond gebouwd en door loting werd bepaald wie waar kwam te wonen.
Adriaen van Loon (1121) is de gelukkige voor Herengracht 499. Hij is getrouwd met Cornelia Hunthum. Haar zuster Catharina Hunthum
trouwde met Willem van Loon en kwam op Herengracht 497 te wonen.
Door vererving wordt Jan van Loon (1677-1763) (11222) in 1752 eigenaar. Zijn zoon Willem van Loon (112221) laat het huis tussen 1752 en 1755 aanzienlijk verbouwen.
Verdiepingen krijgen andere hoogten en de gevel wordt vervangen. Tevens worden de familiewapens van Willem van Loon Jansz en zijn vrouw Elizabeth de Witt (een duif met korenaren en klaverbladen) aangebracht.
Na haar overlijden hertrouwt Willem met Catharina Johanna Wolters (1733-1786).
Een latere Willem van Loon (1794-1847) (11222121) trouwt met Anna Louise Agatha van Winter (1793-1877). Zij erft de helft van de omvangrijke schilderijencollectie van haar vader.
Na haar dood in 1877 wordt de verzameling Van Loon-Van Winter voor anderhalf miljoen gulden verkocht aan een syndicaat van Alphonse, Gustave, Edmond, Lionel en Ferdinand de Rothschild in Parijs.
De collectie vormt daar de basis van een groot deel van de Nederlandse afdeling in het Louvre.
In 1899 verhuist de Gouden School van Herengracht 476 naar 499. Het verhuizen gebeurt door een zolderschuit heen en weer te laten varen.