Johan Thomas Lundbyes morfar, toldinspektør Immanuel Bonnevie, købte I 1801 den 4-længede handelsgård Skibbrogade 8. Bonnevies ældste datter, Cathrine, blev som 17-årig i 1810 gift med kaptajn Joachim Theodor Lundbye, der var i Kalundborg for at stå for opbygningen af de nye skanseanlæg på Røsnæs, som blev anlagt, fordi Danmark havde mistet flåden i 1801.
Ægteparret boede i Bonnevies gård  i Skibbrogade og fik her syv børn, alle drenge, hvor Johan var den midterste.  Adressen blev udgangspunktet for malerens Johan Thomas Lundbyes tilknytning til Kalundborg gennem hele livet.
Her blev han født og levede de første af sit liv.  

Lundbye flyttede som 8-årig med familien i 1826 til Kbh., men bevarede til sin død i 1848 kontakt til adressen her og dermed Kalundborg og hele egnen omkring, dels fordi bedsteforældrene og anden familie stadig boede her, og dels fordi moderen flyttede tilbage hertil for at føre hus for sine forældre efter sin mands død i 1841.

I dag er der opsat en mindeplade på muren ved porten ud mod Skibbrogade.


Gårdspladsen indenfor har været legeplads for de syv søskende, ligesom de ofte legede i området på og omkring Møllebakken.
Vi ved, at de holdt af at ’lege soldat’, måske inspireret af den militære far, men her deltog Johan ikke så meget, dels fordi han var ret svagelig og ofte sengeliggende, og dels fordi han udviklede andre interesser, specielt tegning, som han meget tidligt viste store anlæg for.
Gårdspladsen er i dag ret velbevaret og kan ses gennem porten fra den modsatte side, for enden af Bethesdagade.