Il Castello, assieme alla Rocca uno dei simboli del paesaggio asolano, sembra risalire al X secolo. Noto anche con il nome di Palazzo Pretorio, fino alla costruzione delle mura medioevali che lo congiungevano alla Rocca, ebbe vita autonoma e, in parte, contrapposta rispetto a questa. Alla fine del XIV secolo venne saldato alle mura cittadine. Delle quattro torri che lo caratterizzavano ne rimangono oggi tre, la torre civica o campanaria, la torre Reata con funzione di carcere e la torre del Carro ora compresa nell’abitazione attigua denominata La Torricella.
Nel 1489 divenne residenza di Caterina Cornaro ed in questo palazzo e nel suo giardino Pietro Bembo ambientò i dialoghi “Gli Asolani”. Nel 1798 il vasto salone interno fu trasformato in teatro, mentre un’intera ala venne demolita nel 1820. L’elegante struttura architettonica del teatro, smontato nel 1930 per far spazio ad una nuova sala cinematografica, fu venduta al collezionista veneziano Adolph Loewi ed è oggi stata rimontata a Sarasota, Florida.
Del complesso originario rimangono parte della cinta muraria, le mura esterne dell’attuale teatro, la Torre dell’Orologio e la Torre mozza detta Reata. Attualmente all’interno del castello si trova un nuovo teatro intitolato a Eleonora Duse ed un ristorante/bar.
