Ursprünglich bildete der Arzberg noch keinen alleinstehenden Berg, sondern hing mit dem heute auf der anderen Talseite liegenden Hirschberg zusammen. Der Wasserlauf der Sulz nahm damals noch seinen Weg durch das Ottmaringer Tal und mündete erst zwischen Töging und Dietfurt in die Urdonau, die das heutige Altmühltal durchfloss. Nahe der Stelle, an der heute Beilngries liegt, machten die von Süden kommende Urdonau und die von Norden kommende Sulz jeweils einen nahezu rechtwinkligen Knick nach Osten.
Die Seitenerosion der beiden Flüsse an den Prallhängen durchnagte schließlich den schmalen Sattel, der Arzberg und Hirschberg verband, und die Sulz – sich den längeren Weg durch das Ottmaringer Tal ersparend – brach zur tiefer liegenden Urdonau durch. Auf diese Weise wurde der Arzberg zu einem rundum von Tälern umschlossenen „Inselberg“.
Dieser Durchbruch wurde durch die geologischen Verhältnisse bei Beilngries erleichtert. Dort steht nämlich bis zur halben Hanghöhe der Braune Jura an, dessen Tone und weichen Sandsteine von der Erosion leichter auszuräumen sind als die sonst im Altmühltal anzutreffenden Kalk- und Dolomitgesteine des Weißen Jura. Wegen dieser Schichtaufwölbung waren die Beilngrieser auch gezwungen, ihre Kalksteinbrüche hoch oben auf dem Berg anzulegen wie z. B. am Arzberg.
Der Bergrücken war einst überwiegend mit Wald bedeckt, vor allem mit Buche, Linde und Bergahorn. Im frühen Mittelalter wurde jedoch der Großteil des Waldes aus Mangel an Brennholz abgeholzt und die Fläche als Weideland genutzt. Erst zwischen 1800 und 1850 wurde der Arzberg wieder planmäßig aufgeforstet.