Spicca nella piccola corte a nord del Cortile d'onore la Torre del Passerino o Bonaccolsi, che costituisce l’edificio più antico attualmente esistente nel complesso palaziale. La struttura architettonica è caratterizzata dalle tipiche merlature ghibelline (rifatte intorno al 1820, dopo la distruzione di quelle antiche), che dimostrano l’originaria funzione prettamente difensiva dell’edificio e come molte torri di avvistamento è orientata precisamente secondo i quattro punti cardinali. È alta circa trenta metri ed è suddivisa in cinque piani che originariamente dovevano essere intercomunicanti; nel XV secolo la stanza al primo piano fu inglobata nell’appartamento nobile (la Sala della Dama) e ne vennero affrescate le pareti. Parzialmente adibita a deposito di granaglie a inizio Ottocento, con la distruzione di alcune delle volte originarie, fu recuperata poco dopo con ampi rifacimenti.