Lundbye havde en særlig tilknytning til denne yderste spids af Røsnæs. Det var nemlig her hans fader havde kommandoen over skanseanlæggene, som var etableret i Englands-krigenes tid. Og det var mens han var udstationeret her, at han traf toldforvalter Bonnevies datter, Cathrine, fra Skibbrogade i Kalundborg. Hende giftede han sig med i 1810, kort før hun fyldte 18 år. Hun fødte ham 7 drenge, hvor Johan Thomas er den midterste. De seks andre blev militærfolk som han selv.
Batteriet, som Lundbye omtaler nedenfor, er den fæstning, der blev bygget i forbindelse med krigen mod Englænderne 1807-14. I sine skildringer af sit ophold på Røsnæs i 1843 skriver Lundbye:
”Selve Pynten har intet Usædvanligt; Klinten er ikke meget høi, for en Deel grøn. Oppe paa Spidsen er Skandseanlæg fra Krigens Tid. Min Fader havde her Commando, og han har fortalt, at Folkene vare indqvarterede i Jordhytter, som de selv gravede, og overmalte med Jordfarver, de fandt i Klinterne; jeg formoder den ovenomtalte røde Leer hertil blev anvendt; ogsaa kraftig gule Okkere saae jeg flere Steder. En gloende Kugle var deres Kakkelovn, og dermed Huset færdigt.”
Den militære og bryske fader og den elskelige og milde moder kan man læse om talrige steder i Lundbyes breve og dagbøger. Faderen har han – og i øvrigt de fleste andre – ikke meget positivt at sige om. Men moderen elskede han med usigelig kærlighed. I 1836 lavede han blyantstegninger af dem begge.
