Schweinberg liegt im Bauland, ca. 4 Kilometer östlich von Hardheim im oberen Talbereich des Riedbachs bzw. Hardheimer Bachs. Archäologische Funde wie Grabhügel finden sich in der Gegend Schweinbergs.
Einige Quellen zeugen von vielen Niederadelsfamilien, die Inhaber von Schweinberger Burglehen sind, zu denen offenbar auch jeweils ein Hof gehört. Die Bedeutung und soziale Position der in Schweinberg ansässigen Edelfreien erweist sich auch in der großen Zahl von Ministerialen, die sich nach der Burg dieses Geschlechts benennen und auf ihr wohnen.
Schweinberg kommt eher in eine periphere Lage in der Machtpolitik des Grafenhauses, da es immer wieder als Wittum für Wertheimer Gräfinnen angewiesen wird.
Die Grafen von Wertheim erwirken die Verleihung des Gelnhäuser Stadtrechts für Schweinberg durch König Wenzel IV. Der Versuch, Schweinberg aufzuwerten, läuft allerdings ins Leere, das Privilieg kann nicht ausgenützt werden. Es gibt keinen Anhaltspunkt für die Umsetzung des Privilegs durch die Gemeinde selbst, auch die Grafen forcieren diese Entwicklung offenbar nicht weiter.
Schweinberg kann als Burgdorf bezeichnet werden und wird erst in hochmittelalterlicher Zeit besiedelt.
Die über Schweinberg gelegene "Sweneburg" erscheint erstmals in schriftlicher Überlieferung.
Das Adelsgeschlecht der Schweinberger, benannt nach der Burg "Swenenburg", stirbt aus. Die Edlen von Boxberg werden zu den Haupterben.
Bischof Andreas von Würzburg setzt Konrad von Boxberg wieder in sein Lehen, unter anderem auch in Schweinberg, ein.
Die Boxberger tragen die Schweinburg mit Zubehör, also auch den Ort Schweinberg, dem Hochstift Würzburg als Ausgleich für andere Güter zu Lehen auf.
Der Verlauf der Schweinberger Ortsbefestigung lässt sich nicht genau rekonstruieren. Es ist die Bewehrung mit zwei Tortürmen und zwei weiteren Türmen bezeugt. Wahrscheinlich wird nach der Stadtrechtsverleihung mit der Befestigung begonnen. 1701 ist eine komplette Ummauerung belegt.