Da hun altså bliver enke i 1841, flytter Cathrine Bonnevie tilbage til forældrenes hjem i Skibbrogade 8 i Kalundborg for at holde hus for de nu ret affældige forældre, samt sin ligeledes svage faster, som også boede der.
Hun vier sit liv til denne opgave, lidt til Johans fortrydelse.
Han synes, den velsignede moder havde fortjent et bedre liv og hans største ønske var at flytte sammen med hende i en lejlighed i København. Men hun fører hus for familien uden at kny og som det selvfølgeligste af verden.
Det betyder for Johan, at han ofte besøger Kalundborg, og ud over at besøge moderen, får han under disse besøg tegnet og malet særdeles mange billeder fra Kalundborg og omegn.
Fra barndomshjemmet tegner han et portræt af morfaderen siddende ved vinduet i huset i Skibbrogade. Det er lavet få måneder før gamle Bonnevie døde.


I perioden, hvor forældrene og han selv var flyttet til København og forældrene senere flyttede til Frederiksværk, havde Johan alligevel gode grunde til at komme på besøg på Kalundborg-egnen.
Han kom i sit korte liv mindst 18 gange til Kalundborg. Dels boede bedsteforældrene stadigvæk i hans barndomshjem, dels havde han en bror, som i en lang periode studerede landbrug på en gård på det yderste af Røsnæs (eller Refsnæs, som næsset kaldes dengang).
Yderligere besøgte han ofte sin morbror, Honoratius Bonnevie, der var præst i Vallekilde, og i det hele taget var han stærkt knyttet til sin tidlige barndoms landskaber. Og da moderen flytter tilbage, er der en yderligere tilskyndelse.

   Moderen bliver boende i huset i Skibbrogade længe efter Johans død i april 1848. Han bliver begravet i Bedsted i Sønderjylland.
Hun når aldrig at se hans grav, men dør i vinteren 1863 på vej dertil. Mere om dette og om Johans tragiske død i omtalen af Landmark 2.