La prima traccia scritta dell’esistenza del castello si trova in un documento del 1048 custodito all’Archivio arcivescovile di Lucca, ma l’origine risale all’epoca romanica. All’inizio del XI secolo il castello aveva dimensioni ridotte rispetto ad oggi, comprendeva una fortezza addossata ad una torre e una piccola cinta muraria che racchiudeva altre due torri. Quando la prima fortezza fu abbattuta per costruire la chiesa dedicata a San Michele, la torre addossata alla prima fortezza fu alzata e trasformata in campanile e per difendere il castello fu eretta una nuova rocca nel punto più alto del colle. Oltre a queste fortificazioni il castello di Coreglia fu dotato di una serie di gallerie sotterranee in grado di collegare i vari punti strategici del complesso, permettendo rapidi spostamenti e via di fuga nascosti. Verso la metà del XV secolo il castello fu potenziato con quattro grandi bastioni, uno di questi è la Penna che dall’alto di uno sperone di roccia dominava l’intera valle.