Der Eichstätter Bischof Hildebrand (von Möhren) bestätigt Gottfried IV. von Heideck die Übertragung aller Lehen seiner Vorfahren, unter anderem der Burg von Arnsberg. Die Urkunde beweist, dass das Geschlecht Erlingshofen-Arnsberg-Heideck mindestens bis zu dieser Zeit in Arnsberg als Eigentümer bzw. Lehensträger ansässig ist.
Durch den Gaimersheimer Spruch wird Arnsberg, das an einer damals bedeutenden Handelsstraße liegt, die von Arnsberg über Böhmfeld und Gaimersheim nach Ingolstadt führt, wahrscheinlich den Bayernherzögen zugesprochen.
Arnsberg, der bedeutendste Ort der ehemaligen Herrschaft Arnsberg, wird im Teilungsvertrag von Pavia erstmals als Markt erwähnt. Es kann jedoch mit Sicherheit davon ausgegangen werden, dass der Ort bereits vor 1329 Markt ist.
Herzog Ludwig VI. (der Brandenburger) von Bayern verpfändet Arnsberg an den bekannten Minnesänger Hadmar von Laber und seinen Bruder Ulrich für 700 Pfund Heller. Durch Verschwägerung geht die Pfandschaft später an die Frauenhofer über.
In einer Teilungsbestimmung erhält Herzog Albrecht von Bayern Burg und Gericht Arnsberg zugesprochen.
Einer Urkunde ist zu entnehmen, dass Herzog Stefan III. von Bayern-Ingolstadt den Bau der Veste Arnsberg auf dem Nunnenstein zum Schutz der Kaufleute und Sicherung der Handelsstraße habe beginnen lassen. Die auf Hochstiftsgebiet errichtete Veste wird dann nach Verhandlungen an den Bischof von Eichstätt übergeben.
Aus Gerichtsbriefen aus dieser Zeit geht hervor, dass die Herrschaft Arnsberg neben dem kaiserlichen Landgericht Hirschberg ein eigenes Gericht besitzt, dessen Hauptaufgabe das Siegeln von Urkunden ist. Es ist aber auch zur Aburteilung leichterer Fälle befugt.
Herzog Ludwig VII. von Bayern-Ingolstadt lässt die Burg Arnsberg verwüsten.
Im Schloss Arnsberg wird eine Ablassurkunde für die Kapelle der Jungfrau Maria und des heiligen Sebastian aufbewahrt. Diese wird als "Kirche" im Visitationsbericht des bischöflichen Domherrn Vitus Priefer 1602 bestätigt.
Der Markt Arnsberg ist eine Filialkirche von Gungolding, seit die Pfarrei von Pfalzpaint dorthin verlegt wird.