Es gibt den Großen und den Kleinen Sandberg. Die Trennung in beide Namen erfolgte erst 1828. Der Sandberg führte seinen Namen durch den Sand, unter dem sich Ton lagerte. Als Baugrund war er eigentlich nur bedingt geeignet. So stürzte das Kornhaus an der Stadtmauer gelegen, 1704 ein.
Erst 1100 wurde das Gelände in die Befestigung der Stadt einbezogen. Vorher zog sie sich lediglich nur über den Markt zur Schmeerstraße. Eine sehr alte Lokalität wird am Sandberg etwa 1284 nur einmal erwähnt. Sie hieß nach den Schöffenbüchern „an der vesterne“.