Ursprünglich ein befestigter Palast, Sitz der Bischöfe-Grafen, wurde er nach der Tradition Ende des 12. Jahrhunderts von Bischof Gerardo de Taccoli errichtet (oder wahrscheinlich erweitert und verstärkt), der 1196 im Kampf gegen die Treviso starb.
Der Stadtturm hält die Glocke, zu deren Klang seit 1403 der Große Stadtrat tagte. Ein Zwillingsturm, an der Ecke zum Dom, wurde 1516 abgerissen, um den Platz vor dem Dom zu erweitern, aber früher musste es einen dritten zentralen geben, wie das alte Bischofssiegel deutlich zeigt, das dieses Gebäude reproduzierte. Das mehrmals umgebaute Portal und einige Elemente der oberen Fenster stammen aus der Renovierung durch Bischof Giulio Berlendis im 17. Jahrhundert. Durch das Erdbeben von 1873 schwer beschädigt, erlitt es eine vollständige interne Umgestaltung von dem Ingenieur Giorgio Pagani-Cesa, zu dem die Eingriffe an der Fassade nach dem neuen Erdbeben von 1936 hinzukamen.
Es ist bereits Sitz des Gerichts und wird jetzt als Gemeindeauditorium genutzt. Derzeit werden im Gebäude Renovierungsarbeiten durchgeführt.
