Aus den Pfarrei-Visitationsprotokollen des bischöflichen Domherrn Vitus Priefer ist bekannt, dass in Arnsberg zu dieser Zeit bereits eine Schule besteht. Wann sie jedoch eingerichtet wird, ist unbekannt.
Im Dreißigjährigen Krieg fallen die Schweden unter ihrem Befehlshaber Bernhard von Weimar in Arnsberg ein.
Die Arnsberger Kirche wird von den Schweden abgebrannt. Sie wird um das Jahr 1650 wiederhergestellt.
Nachdem schon seit 1747 und 1756 nicht mehr in die Burg Arnsberg investiert wurde, wird zur Renovierung der Burg Hirschberg 1762 und 1764 alles Brauchbare der Burg Arnsberg demontiert und diese schließlich dem Verfall preisgegeben.
Ende des 18. Jahrhundert wird in der Nähe von Arnsberg ein Silberbergwerk betrieben.
In Arnsberg, das zum eichstättischen Hochgerichtsbezirk des Pflegamtes Kipfenberg gehört, gibt es eine Pfarrei (Filialkirche von Gungolding) sowie eine Schmiede, ein Brauhaus, eine Taverne, ein Badhaus und ein Schloss.
Durch die Säkularisation kommt Arnsberg wieder unter bayerische Herrschaft.
Unter der Herrschaft des Großherzogs von Würzburg-Toskana wird das Schlossgut Arnsbergs an private Hand verkauft.