Anticamente palazzo fortificato sede dei vescovi-conti, secondo la tradizione venne eretto (o più probabilmente ampliato e rafforzato) alla fine del XII secolo dal vescovo Gerardo de Taccoli, morto nel 1196 combattendo in battaglia contro i Trevigiani.
La torre civica regge la campana al cui suono, dal 1403, si riuniva il Maggior Consiglio cittadino, poco dopo vi collocò la campana pubblica che serviva alla comunità bellunese per scandire il tempo della vita cittadina, come le assemblee del consiglio dei nobili, e per avvisare la popolazione dei pericoli di incendi. Una torre gemella, sull'angolo verso il Duomo, venne abbattuta nel 1516 per allargare la piazza di fronte al Duomo ma anticamente doveva essercene una terza, centrale, come mostra chiaramente l'antico sigillo vescovile che riproduceva proprio questo edificio. Più volte rimaneggiato, il portale ed alcuni elementi dei finestroni superiori risalgono alla ristrutturazione attuata dal vescovo Giulio Berlendis nel XVII secolo. Gravemente danneggiato dal terremoto del 1873, subì un totale rimaneggiamento interno curato dall'ing. Giorgio Pagani-Cesa, cui si sommarono gli interventi sulla facciata seguiti al nuovo sisma del 1936.
Già sede del Tribunale, ora è adibito ad Auditorium comunale.
