Das Fort wurde 1548 von Cosimo I. aus der Familie Medici erbaut und ist eines der Wahrzeichen der Stadt. Das Bauwerk ist ein beeindruckendes Beispiel militärischer Architektur. Um nur einige kleine Details zu nennen: Alle Schießscharten sind in eine bestimmte Richtung ausgerichtet, sodass man Meer und Land aus jedem Winkel sehen kann. Das Fort kann von außen besichtigt oder von innen besichtigt werden. Dort befinden sich die Galerien, die im Zweiten Weltkrieg zu Quartieren der Royal Marines umgebaut wurden. Auch die unterirdischen Tunnel aus dem 16. Jahrhundert und die Ringstraße bieten einen atemberaubenden Blick auf den Archipel.

Napoleon Buonaparte verbrachte 10 Monate seines ersten Exils im Jahr 1814 auf der Insel und wurde als Herrscher der Insel Elba anerkannt. Sein Hauptwohnsitz war die Palazzina dei Mulini in der Altstadt zwischen den Festungen, die seine Gemächer, die Wohnung seiner Schwester und einen schönen Garten mit Blick auf das Meer innerhalb der Mauern umfasst.

Im Stadtzentrum, am Fuße des Fischerhafens, befindet sich der Torre della Linguella, der Mittelpunkt der Festungsanlage, die den Hafen schützt. Der Turm ist ein elegantes Renaissancegebäude, umgeben von den Ruinen einer römischen Villa, neben dem archäologischen Museum mit Artefakten der römischen und etruskischen Zivilisation.