Das eindrucksvolle Untergeschoss des Palastes enthält die Reste eines romanischen Kreuzgangs und der Krypta der „Ugonischen Basilika“ (11. Jh.), die mit sehr seltenen Fresken aus der gleichen Zeit sowie einem römischen Sarkophag mit der Mythologie von Selene und Endymion verziert ist, in dem der Sarg des Schutzheiligen Rufinus lag. Das Museum bewahrt interessante und wertvolle Kunstwerke aus der Kathedrale auf, die ihre historische und religiöse Bedeutung unterstreichen. Abgerundet wird der Besuch der Stätte durch den Kreuzgang und die Krypta des Heiligen Rufinus, beide aus dem 11. Jh. Die Krypta, ein eindrucksvoller Raum unter dem Mittelschiff der Kathedrale, ist einer der Orte, in die sich Franziskus zum Gebet zurückzog, wenn er in der Kathedrale predigte.

Unter dem heutigen Stadtplatz, der vom römischen Minervatempel dominiert wird, kann das antike Forum Romanum besichtigt werden, das bei Ausgrabungen im Jahr 1836 entdeckt wurde. Zu den Überresten des Forums gehören der Sockel des Tempels mit Zugangstoren zu einer monumentalen Zisterne, ein Podium mit Sitzen für Richter und ein Kastor und Pollux gewidmeter Tetrastyltempel.