1382 entstand infolge Erbteilung eine eigene Allersberger Linie der Herren von Wolfstein. Sie errichteten sich ein Wasserschloss, das als "Allersberger Veste" 1504 im Landshuter Erbfolgekrieg völlig zerstört und nicht wieder aufgebaut wurde. 1475 kam Allersberg erstmals zu Bayern.
1542-1578 wurde Allersberg an die Reichsstadt Nürnberg verpfändet. 1632, während des Dreißigjährigen Krieges, plünderten und wüteten die Schweden. Einige Jahre später kam für Allersberg der Aufschwung mit der Gründung des leonischen Drahtzuges.
In dieser Zeit bekam der Marktplatz sein barockes Aussehen, das er sich bis heute bewahren konnte.
1708-1710 wurde die neue Pfarrkirche "Mariä Himmelfahrt" erbaut;
1722 erhielt das Heckelhaus seine barocke Fassade und den Turmpavillon mit dem Wahrzeichen des Allersberger Drahtzuges, "die Madonna mit dem Kinde im Strahlenkranz";
1723-1728 entstand das Gilardihaus durch den fürstbischöflichen Baumeister Gabriel de Gabrieli.