Der Baumschließer erfüllte im hansezeitlichen Hafenbetrieb eine wichtige Rolle. Mit einem im Wasser schwimmenden, an Ketten befestigten Baumstamm regulierte er die Zufahrt zum Hafen.
Darüber hinaus kontrollierte er, dass kein Hamburger Bier oder Wein ohne Erlaubnis des Rates eingeführt wurde. Bevor nicht der Zoll für auszuführende Güter bei ihm entrichtet worden war, konnte kein Schiff den Hafen verlassen.
Historische Stadtansichten aus der Zeit kurz vor bzw. um 1590 zeigen an der Hafeneinfahrt noch kein Baumhaus. Nur wenige Jahre später erhielt der Hafenaufseher jedoch eine feste Amtsstube. In der 1596 erlassenen Fährordnung findet erstmals das Baumhaus Erwähnung.
Im großen Stadtbrand von 1659 ereilte das Baumhaus das Schicksal vieler Bauten es brannte ab. Auch das neue Haus überdauerte nicht die Zeiten. 1773/74 erfolgte - vermutlich wegen Baufälligkeit - der Abriss und schließlich der Neubau eines nun kleineren Baumhauses.
Seit 1818 hielt sich der Baumschließer nicht nur dienstlich in dem Gebäude auf, er bezog hier auch eine Wohnung. Der Eingang des zweigeschossigen Fachwerkhauses ist zum Alten Hafen ausgerichtet. Das Obergeschoss kragt auf profilierten Balkenköpfen vor, auf der Fassadenseite ist Holz vergeblendet. Eine Holzverkleidung trägt auch die zum Wasser Ost zeigende Giebelseite.
Den heutigen schmucken Zustand verdankt das Baumhaus den langjährigen Instandsetzungsarbeiten des jetzigen Besitzers Hans Jürgen Berg. Seit den 1990er Jahren betreibt er in dem Fachwerkbau ein liebevoll eingerichtetes Privatmuseum zur Stader Geschichte mit einer Vielzahl an Sammlungsstücken.