Al suo interno sono visitabili le stanze utilizzate dal Vicario per amministrare la giustizia (le prigioni, la sala delle udienze, la sale del cavaliere, la cappella), oltre ai suoi alloggi privati. Sulla facciata, nell’atrio interno e in alcune stanze del palazzo sono conservati numerosi stemmi affrescati, in pietra, in terracotta invetriata, e rappresentano le famiglie dei Vicari che hanno governato durante il Vicariato. Nell’antica Chiesa di San Tommaso e Prospero, adiacente al palazzo, oggi sconsacrata, si conservano affreschi e sinopie del XV e XVI sec., oltre all’importantissimo Tabernacolo dei Giustiziati (1464-65 ca.), attribuito a Benozzo Gozzoli.