Mit Burggrafenschloss ist eine Anlage gemeint zwischen Sandberg und Rathausgasse und heute völlig verschwunden. Es gehörte dem Burggrafen Wiprecht von Groitzsch. Es bestand aus einem steinernen Wohnhaus, offenbar mehrstöckig, wobei im oberen Bereich die Schlafräume lagen. Im Winter 1123/24 fing der Fußboden durch einen Kamin Feuer und Wiprecht erlitt schwere Verbrennungen, an denen er letztendlich verstarb. Ostwärts stand ein mächtiger Wohnturm, der auch Teil der Stadtbefestigung wurde. Es gab wie in jedem Ritterhof (auch Edelingssitz) eine kleine Kapelle, wahrscheinlich bei Wiprecht eine Rundkapelle, wie sie in Böhmen verbreitet war. Die Kapelle war dem Hl. Jakob von Compostela gewidmet, wohin Wiprecht 1095 pilgerte. Als Jahr der Gründung ist 1118 überliefert, der Abriss erfolgte 1797.