Konrad von Bocksberg legt fest, dass im Fall seines kinderlosen Ablebens, die Veste Schweinberg mit allen Zugehörungen an seinen Verwandten Konrad von Hohenlohe und dessen Erben, sowie an Gräfin Kunigunde von Wertheim, die Schwiegermutter Konrads von Hohenlohe, fällt.
Durch einen Erbvertrag kommt Schweinberg an die Grafen von Wertheim.
Die Grafen von Wertheim setzen einen gräflichen Vogt in Schweinberg ein. In der Folge wird die Vogtei zu einem wertheimischen Amt mit Sitz auf der Burg ausgebaut. Zur Herrschaft gehören die Orte Waldstetten, Pülfringen, Gissigheim, Königheim, Weikerstetten, Steinbach und Hardheim.
Die Kirche in Schweinberg wird gebaut, ebenfalls mit dem Patrozinium St. Andreas. Mutterpfarrei ist Königheim.
Es gibt eine Burgkapelle in oder bei der Burg Schweinbergs, als ihr Patrozinium wird St. Andreas genannt.
Die Burg in Schweinberg wird unter einer Koalition unter Führung Würzburgs erobert und zerstört. Die Burg wird bis 1467 wieder aufgebaut.
Die Wertheimer richten eine lutherische Pfarrei in Schweinberg ein.
Nach dem Aussterben des Wertheimer Grafenhauses fällt Schweinberg als Würzburger Lehen wieder zurück an das Hochstift. Bei dem nötigen Vergleich mit den Erben bleiben Auseinandersetzungen jedoch nicht aus. Es kommt zur Würzburger Fehde. Bischof Julius erobert 1601 Schweinberg gewaltsam und lässt sich huldigen.
Nachdem Schweinberg an Würzburg zurückfällt, wird es rekatholisiert.
Es sind insgesamt sieben jüdische Familien in Schweinberg bezeugt.