Die Kapelle „St. Margarethen“ war auf der Unterburg des Giebichensteins zu finden und wurde in einer Nachricht 1012 erwähnt. Vor der Kapelle wurde der Sarkophag des Erzbischofs Walthardt beigesetzt. Er wurde in der Südwestecke der Unterburg 1912 wieder aufgefunden.