Im 16. Jahrhundert ist „Zu den Drei Königen“ ein Ausspannhof in der Kleinen Ulrichstraße (36), das aus einem romanischen Wohnturm hervorgegangen ist. Die Heiligen Drei Könige sind Schutzpatrone der Reisenden. Heute steht dort ein barocker Neubau, der das Renaissancegebäude ersetzte. Um 1584 fand das ehemalige Weinhaus eine erste Erwähnung, da dort ein Reiter einen anderen erstach. Übe der Haustür zeigt sich das Abbild der Heiligen Drei Könige.
Das Hauszeichen lagert heute in der Moritzburg. 1803 zählte der Ausspannhof 20 Stuben, drei Küchen und Stallungen für 40 – 50 Pferden. Joseph Eichendorff, Dichter des Gedichts „Es steht eine Burg überm Thale…“ logierte hier 1805/1806.
1805 gab es hier eine bemerkenswerte Menagerie, die besagter Eichendorff aufgrund der Löwen, Hyäne, Tiger, Strauße und vielem mehr bewunderte.
Heute hat der Gasthof ein großes Wandbild von Bernd Baumgart und Hans Joachim Triebsch, die auch „Illusionswand“ genannt wird.