Durch die Heirat der Tochter des Grafen Bertholds von Graisbach mit einem Enkel des Kaisers Ludwig IV. der Bayer (HRR) geht die Grafschaft Graisbach, zu der auch Berolzheim gehört, an die Wittelsbacher über.
Die Willinge zu Berolzheim verkaufen dem Domprobst zu Eichstätt neben einigen Gütern, darunter auch die Almannsmühle, auch den Kirchenschatz von St. Michael mit der Lehenschaft und allen Rechten.
Der Bischof von Eichstätt verleibt die Pfarrei St. Michael in Berolzheim der Oblei Eichstätt ein.
Die Kirche St. Maria oder die obere Kirche wird in einer Kaufurkunde erstmals erwähnt. Diese Urkunde regelt den Verkauf des Steinhauses bei der oberen Kirche an die Gebrüder Frick durch die Gebrüder von Stetten. Allerdings heißt die Kirche zu diesem Zeitpunkt noch St. Bartholomäus Kirche, wie auch noch im Jahr 1352.
Das Amt Hohentrüdingen, zu dem auch Berolzheim gehört, wird an die Burggrafen von Nürnberg verpfändet, welche es nicht mehr aus den Händen geben sollen.
Berolzheim gehört zum markgräflichen Oberamt Hohentrüdingen. Im Jahr 1404 wird das Amt Hohentrüdingen mit Heidenheim dem Burggrafen von Nürnberg durch Kauf als volles Eigentum überlassen. Damit geht die Landeshoheit auf die Burggrafen, spätere Markgrafen von Brandenburg-Ansbach, über. Die Herrschaft Hohentrüdingen war bereits seit 1353 an die Burggrafen von Nürnberg verpfändet.
Die Wittelsbacher Herzöge lassen ein Landgerichtsbuch der Grafschaft Graisbach erstellen, um ihre durch Verpfändung entfremdeten Rechte in Markt Berolzheim wieder zurückzuerhalten.
Das Obere Schloss in Markt Berolzheim wird im Graisbacher Landgerichtsbuch erstmals urkundlich erwähnt. Siegmund von Lentersheim ist Eigentümer des Schlosses. Insgesamt werden hier für Berolzheim zwei Schlösser erwähnt.
Berolzheim wird von den Truppen des Herzogs Ludwig des Bärtigen von Bayern, im Streit mit dem Markgrafen von Brandenburg-Ansbach um die ehemals verpfändeten Hoheitsrechte in der Grafschaft Graisbach, niedergebrannt.
Anlässlich der Visitation in diesem Jahr, die der Eichstätter Bischof zur Abstellung von Missständen angeordnet hat, wird über die Kirche St. Maria in Berolzheim gesagt, dass das Präsentationsrecht bei dem Markgrafen von Brandenburg liegt, die Pfarrei mit dem Vikar Sartoris besetzt ist, die Kirchenpfleger die Schlüssel zum Kirchgeld haben und dieses 20 Gulden umfasst.