A causa della scarsa documentazione non sappiamo quando venne costruita la prima fortificazione in muratura. La famiglia dei Bizzarri e poi degli Antelminelli, per molti anni conservarono il dominio dell’area di Coreglia. Nel 1272 tutta la zona passò sotto la giurisdizione di Lucca e Ghivizzano divenne uno dei trentasei paesi che formarono la Vicaria di Coreglia. Ai primi del Trecento Castruccio Castracani degli Antelminelli, divenuto Signore di Lucca, per difendere la Garfagnana ristrutturò diverse fortificazioni tra le quali la Rocca di Ghivizzano. Ristrutturò l’intera fortificazione, compresa la torre, alta 25 metri, e vi costruì accanto una caserma denominata ‘Casa del capitano del Popolo’ per ospitare la guarnigione di circa 40 soldati. Cinse l’intero borgo con delle mura e costruì un palazzo cui mura ospitarono per secoli personaggi illustri come Paolo Guinigi e Francesco Sforza.
