Der höchste Gerichtsherr in Bürgstadt ist der Mainzer Erzbischof, er verleiht auch das Zentgrafenamt. Mit dem Ende des Mainzer Kurstaates endet auch die Geschichte der Zent Bürgstadt.
Herzog Albrecht III. von Bayern-München verpfändet Burg, Markt und Herrschaft an Ulrich III. von Laber. Nach dessen Tod 1463 gibt seine Frau die Herrschaft 1465 an Herzog Albrecht zurück.
Der Würzburger Fürstbischof Andreas (von Gundelfingen) verleiht als Lehen des Hochstifts Würzburg zwei Morgen Weinberge in Retzbacher Gemarkung an Johann Virnkorn. In diesem Lehenseintrag wird die Retzbacher Kapelle erstmals erwähnt.
Einige Quellen zeugen von vielen Niederadelsfamilien, die Inhaber von Schweinberger Burglehen sind, zu denen offenbar auch jeweils ein Hof gehört. Die Bedeutung und soziale Position der in Schweinberg ansässigen Edelfreien erweist sich auch in der großen Zahl von Ministerialen, die sich nach der Burg dieses Geschlechts benennen und auf ihr wohnen.
Die Herren von Waldenfels sind Besitzer der Burg und Siedlung in Wallenfels.
Als Erbe der Herren von Hohenlohe-Brauneck erhält Burggraf Johann von Nürnberg auf Geheiß König Wenzels IV. Obernbreit.
Die Grafen von Wertheim erwirken die Verleihung des Gelnhäuser Stadtrechts für Schweinberg durch König Wenzel IV. Der Versuch, Schweinberg aufzuwerten, läuft allerdings ins Leere, das Privilieg kann nicht ausgenützt werden. Es gibt keinen Anhaltspunkt für die Umsetzung des Privilegs durch die Gemeinde selbst, auch die Grafen forcieren diese Entwicklung offenbar nicht weiter.
Die Grafen von Grögling, die sich nach dem Bau ihrer Burg in Hirschberg nach dieser Hauptburg benannten, sind die Besitzer des Ortes Dollnstein.
Die Zentgerichtsbarkeit in Buttenheim liegt beim bischöflichen Amt Eggolstein, die Dorf- und Gemeindeherrschaft haben allerdings die Stiebar bis 1768 alleine inne, danach beteiligt sich auch das Hochstift.
Der Neffe von Hieronymus von Würtzburg, Hans Veit von Würtzburg, erwirbt weitere Teile der Herrschaft Mitwitz.