Det passede dog ikke den meget militært indstillede far, at Johan brugte sin tid på at tegne.
Han udstedte endog et forbud imod at han gjorde det, så da han opdagede, at han alligevel havde tegnet, så tog han alle tegningerne og brændte dem i kakkelovnen.
Dette skete flere gange og stoppede først i København, da to militære kolleger, som havde sans for kunst, overbeviste ham om, at drengens tegnetalent var så usædvanligt, at det burde støttes og udvikles.
Således kom Johan i en alder af 14 år til at få undervisning af professor Lund og begyndte på Kunstakademiet.
Her knyttede han nogle meget tætte, livslange venskaber, først og fremmest med Lorentz Frølich og P. C. Skovgaard.
Måske kan man få et indtryk af faderens strenge karakter ved at se på den tegning, som Johan har lavet af ham i 1836.
På det tidspunkt var han avanceret i sin militærkarriere fra kaptajn, over ’overtøjmester’ og major, til oberst, men var stadig kendetegnet ved en meget brysk og grov fremtoning.
I 1809 blev Kaptain Theodor Lundbye ansat til at oprette et skanseanlæg yderst på Røsnæs som skulle tjene Danmarks forsvar efter tabet af flåden i krigen mod England.
I den sammenhæng mødte han toldinspektør Bonnevies datter, Cathrine, som han giftede sig med i 1810, lige før hun fyldte 18 år.
Der er flere samtidige skildringer af ham, som samstemmende beskriver ham som streng og brysk og temmelig ubehagelig.
Johan omtaler ham i breve og dagbog sønligt pænt, men det skinner igennem, at der ikke var megen hjertelighed mellem dem.
Da faderen dør i 1841, skriver Johan i et brev til vennen Lorenz Frølich:
’Sorg og Bedrøvelse kan ikke her betage mig, den kjære Afdøde var ikke af dem, hvis Kjærlighed prægede sig i hans Væsen, han var i det hele taget mere streng og bitter end kjærlig i sin omgang …. Vor Herre være ham en naadig og barmhjertig Dommer! Hans Stræben var ærlig, hans Færd bramfri og djærv.’
