Fast vierhundert Jahre lang war es Sitz der venezianischen Rektoren, die Belluno und sein Territorium regierten. Auf einem bereits bestehenden und weiter hinten liegenden befestigten Gebäude, das ab 1409 errichtet wurde (und 1802 vollständig verbrannt wurde), wurde 1491 vom venezianischen Rektor Maffeo Tiepolo auf der Westseite eine erste zweistöckige lombardische Loggia hinzugefügt, die auf drei Bögen ruht.
1496 wurde ein vom Venezianer Giovanni Candi (dem Autor des "bovolo" des Palazzo Contarini in Venedig) entworfenes Erweiterungsprojekt angenommen, das mehrmals bis zur Krise nach dem Krieg von Cambray unterbrochen wurde. Es wurde schließlich 1536 während des Rektorats von Girolamo Rimondi fertiggestellt. Zwischen 1536 und 1547 wurde der Uhrturm errichtet, der von Valerio da San Vittore entworfen wurde. Auf der Fassade, Wappen und Büsten der venezianischen Rektoren des 15. und 17. Jahrhunderts. Trotz der radikalen Restaurierungsarbeiten, die nach den Erdbeben der letzten zwei Jahrhunderte immer wieder notwendig wurden, haben zahlreiche Räumlichkeiten ihr ursprüngliches Aussehen bewahrt, insbesondere der zentrale Salon im zweiten Stock und der nahe gelegene Saal mit der Decke aus der Sansovina. Es ist der Sitz der Präfektur.
