Ganske tæt på det sted, hvorfra det store oliemaleri og skitserne er lavet, og hvor Lundbye må have opholdt sig i nogle dage på sin tur til det yderste Asnæs i 1839, har der ligget nogle bygninger med en særpræget historie. I 1839 fik grev Lerche opført en bygning til sildesalteri. På den tid var der usædvanligt mange sild – og ål i øvrigt – i farvandet i bæltet og yderst i fjorden. I flere år blev silden sejlet til et salteri ved skibbroen i Kalundborg, men fangsterne blev ved med at vokse herude, så man byggede en anløbsbro med tipvogne, så man kunne salte og afskibe sild (og træ) herude og spare transporten til og fra Kalundborg. Men der var for mange sild, så man fik afsætningsproblemer. Derfor fik man lavet faste leverancer til plantageejerne på De Vestindiske Øer, så silden kunne blive føde til slaverne. Herfra havde man sukker med tilbage. Og store oceangående sejlskibe ankrede op i fjorden. Den livlige aktivitet førte til, at man i fik tilladelse til at have gæstgiveri i det hus, der stadig ligger yderst mod vandet. Der var omkring 20 arbejdere knyttet sildeeventyret, og de fleste boede her. Det er tænkeligt, at Lundbye overnattede på dette gæstgiveri på sin tur i 1839, hvor det hele startede på dette sted.
Sildeeventyret på Havnemarken fik efter 10 år en brat afslutning, for da Danmark ophævede slaveriet i 1849, viste det sig, at de nu frie slaver slet ikke brød sig om sild. Desuden steg prisen på sukker, så ganske pludseligt sluttede eventyret i 1849. Trekantshandelen Afrika-Vestindien-Danmark gik i stå og sildesalteriet blev nedlagt. Gæstgiveriet fortsatte i mange år, primært for folk på udflugt. Som erstatning for rørsukkeret begyndte man at dyrke roer på Asnæs, hvilket senere fører til anlæggelse af en roejernbane til Hedvigslyst.
Men det er en ny, industrialiseret tid, som Lundbye ingen del fik i.
