Eine von Hans Caspar Hottinger geführte Taverne «zum Hirzen» wird 1771 erstmals erwähnt. Ob es sich bereits um den abgebildeten Gasthof handelt, ein dreigeschossiges Gebäude unter Walmdach, ist unsicher. Als die Söhne des Wirtes Heinrich Haab nach dessen Tod 1829 das Erbe teilten, hielten sie fest, es handle sich um das unlängst neuerbaute Gasthaus zum Hirschen mit Pferdestall daran, einem Zinnenanbau mit Metzg und zudem sei ein neues Saalgebäude erstellt worden. 1862 war im «Hirschen» vorübergehend die Mädchenabteilung der Sekundarschule untergebracht. 1909 übernahm Karl Kessler den Gasthof. Nach dessen Tod im Jahre 1949 wirteten die Töchter Rosy und Gret bis zur Schliessung am 1. Mai 1973. Im Erdgeschoss befanden sich die Metzgerei von Willy Rusterholz, der Tabakladen von Fräulein Gysi und das Uhrmachergeschäft von Fritz Küffer. Das Haus wurde im Winter 1975/76 für einen Neubau abgebrochen.