Was auch immer den streitbaren Bischof Burkhard von Serkem dazu bewogen hat, die sichere Befestigung auf der Langen Hörn aufzugeben und einen neuen Wirtschaftshof in der Schwartauschleife nahe dem untergegangenen Alt-Lübeck zu errichten – es war eine Provokation der Stadt Lübeck.
Lübeck hatte 1226 vom Kaiser das Privileg erhalten, 2 Meilen (das sind heute ungefähr 18 km) auf jeder Seite der Trave, von der Quelle bis zur Mündung, jede Befestigung zu verhindern. Der Kaltenhof fiel in diese Zone! Als dann 1299 der Hof auch noch mit Graben, Wall und Palisaden befestigt wurde, ließen die Lübecker
ihn kurzerhand plündern und einäschern. Es kam zum erbitterten Streit zwischen dem Bischof und dem Rat der Stadt, der erst 1319 beigelegt wurde. Zwar durfte der Kaltenhof an gleicher Stelle wieder errichtet werden, musste aber unbefestigt bleiben.
Im 16. Jahrhundert wurde dieser Wirtschaftshof wieder befestigt, was wiederum zu Streitigkeiten mit Lübeck führte. In einem Vergleich wurde 1576 festgelegt: „Die Gebäude bestehen aus massivem Stein, dürfen aber in Zukunft, wenn Neubauten erforderlich werden, nur ein steinernes Fundament behalten. Das
Torhaus darf bis zum ersten Stock massiv bleiben, da das Gewölbe sich über der Einfahrt nur aus Steinen ausführen lässt. Über dem
Gewölbe liegt die Wohnung des Bischofs.“ Im alten Amtsgericht sind noch zwei Relikte des alten Kaltenhofs erhalten: Das Wappen des Bischofs von Holle und die Gedenktafel, dass der Bischof auf eigene Kosten den Wirtschaftshof wieder aufgebaut hat.
1847 wurde der Hof niedergelegt. Beim Autobahnbau 1934 wurde dann der Kaltenhof ohne Untersuchung abgegraben, zum Teil auch versiegelt. Bei der Erneuerung der Trasse wurden diesem Bereiche wieder aufgedeckt und näher untersucht. Heute erinnert nur noch ein Gedenkstein neben der Autobahn an die frühere Lage dieses ehemaligen Wirtschaftshofes, der nie zu einer Burg ausgebaut werden durfte.