Het huis is gebouwd op 2 erven die Jeremias van Raey op 17 december 1667 had gekocht voor 2 maal fl. 1510.
De twee achtergelegen erven aan de Kerkstraat had Jeremias van Raey bij de uitgifte in 1667 eveneens gekocht, tezamen voor f 670.-.
De Van Raey-huizen werden als identieke dubbelhuizen in 1671-1672 gebouwd door de architect Adriaen Dortsman.
De stal, het koetshuis en bijbehorende woning kwamen nog in 1673 gereed en werden in december van dat jaar voor de verponding getaxeerd.
Nummer 674 wordt in 1930 met uitzondering van gevel en tuinhuis, volledig vernieuwd. Achter de gevel gaat nu een twintigste-eeuws huis schuil.
Zijn enig kind Sara was in 1675 getrouwd met Mr.Jonas Witsen (1647-1675), een veelbelovend jongmens uit een deftig geslacht, die nog in 1675 op jeugdige leeftijd stierf.
In 1682 hertrouwde Sara met de advocaat Mr.Adam Bessels. Toen zij twaalf jaar later overleed, liet zij een zoon Jonas Witsen (1676-1715), later burgemeester van Amsterdam, uit haar eerste
huwelijk en twee dochtertjes Bessels uit haar tweede huwelijk achter.
0p 15 februari 1704 maakte Jeremias van Raey, de grootvader van de drie kinderen, zijn onderhands testament. Hij woonde toen nog steeds in het huis aan de Keizersgracht.
Maar een jaar later, op 7 maart 1705, schonk hij dit huis aan zijn kleinzoon Jonas Witsen, die in 1704 met Isabella Maria Hooft was hertrouwd nadat zijn
eerste vrouw, de domineesdochter Elisabeth Basseliers (1680-1702), in het kraambed was gestorven. Haar vader in Suriname was actief op plantage Surimombo en gehuwd met
de zus van gouverneur Johan van Scharphuizen. Door haar overlijden kwam hij in het bezit van Surinaamse plantages Surimombo, Palmeniribo en Waterland. Jonas Witsen staat
bekend als een bevorderaar van kunsten en wetenschappen en een muziekliefhebber. Hij was in het bezit van een kunstkamer met een rariteitenkabinet.
Pas na de dood van zijn kleinzoon, Jonas Witsen, die in 1715 stierf, vond een scheiding van de goederen van Jeremias van Raey plaats. Dat gebeurde in 1715.
De weduwe Witsen kreeg het huis op de Keizersgracht, de beide halfzusters van haar overleden man de huizen op de Binnen Amstel, een huis in de Breestraat en de hofstede Overveen
onder Ouderkerk.
De huizen aan de Binnen Amstel kwamen na het kinderloos overlijden van de zusters Bessels ook aan de familie Witsen en wel aan een volgende Jonas Witsen (1705-1767), de zoon uit het huwelijk
Witsen-Hooft.
Hij stierf in 1767 en op 27 oktober 1768 droeg zijn weduwe Jacoba van Gheel het bezit aan de Binnen Amstel vlak ten zuiden van de Halvemaansteeg over aan Jan Egberts.
Zij woonde in het huis aan de Keizersgracht 674, dat door Jeremias van Raey, de overgrootvader van haar echtgenoot, was gebouwd.
Bij zijn testament van 30 april 1767 voor notaris Daniel van den Brink had Jonas Witsen dat wel geprelegateerd aan zijn zoon en naamgenoot, geboren uit zijn eerste huwelijk, maar
met de bepaling dat zijn tweede vrouw het haar leven lang zonder huur te betalen zou mogen bewonen.