In den 50er Jahren wurde das Anwesen vom Betreiber der Fischerei in der Hirschauer Bucht, Helmut Stephan erbaut. So kam das Haus auch zu seinem Namen „Chiemseefischer“. Den Gästen wurde schon damals täglich frischer Chiemseefisch serviert und in den Gästezimmern nächtigten die „Sommerfrischler“. Der Tourismus oder wie man früher sagte der „Fremdenverkehr“ boomte in den 60er Jahren im Chiemgau und so wurde das Gasthaus Chiemseefischer immer wieder baulich erweitert. Die Familie Stephan führte das Haus jahrelang sehr erfolgreich, bis sie es aus Altersgründen an die Josef Sailer KG, Hofbräuhaus Traunstein, verkauften.

Bei jahrelanger Suche nach einem passenden Betreiber für das traditionsreiche Haus stießen Maximilian und Bernhard Sailer auf Familie Zaiser, erfolgreiche Wirtsleute des benachbarten Gastronomiebetriebes „Wirtshaus zur Hirschauer Bucht“. Man entschloss sich, gemeinsam den Chiemseefischer wieder als eine hervorragende gastronomische Adresse im Chiemgau zu etablieren. Ein dreiviertel Jahr dauerte die Umbauphase, wobei das Gasthaus und die Hotelzimmer kernsaniert wurden. Anfang Dezember 2015 konnten die Türen des „neuen“ Chiemseefischers wieder geöffnet werden.