Un quadro meno confuso della situazione delle residenze signorili si ha soltanto a partire dalla fine del Trecento, quando i Pio governano Carpi già dal 1327, in particolare dal momento in cui nel 1383 il feudo di Carpi viene diviso tra Giberto e Marsilio. Un rogito del 1383 cita una “Rocham…domini Gyberti”, già identificata con la struttura architettonica nell’area nord del palazzo, poi inglobata nella cosiddetta Rocca Nuova. Questo arroccamento doveva essere sorto intorno alla più antica torre del Passerino, che costituisce l’edificio più antico attualmente esistente nel complesso palaziale. Recentemente in questa stessa area del palazzo sono state individuate altre due torri, rispettivamente a nord est e a sud ovest del cortiletto del Passerino, che avvalorano la presenza di una rocca rinforzata con strutture difensive già dal XIV secolo. Questo contesto (di cui in futuro sarà possibile comprendere meglio la struttura e le dimensioni) presuppone per questa zona in origine una funzione tipicamente militare e difensiva, ma accompagnata in quest’epoca da una valenza residenziale, come dimostrano alcuni elementi architettonici e affreschi esterni, databili a questa fase, di carattere decorativo. Il gusto del colore e della decorazione esterna era un elemento comune nelle fabbriche padane e i muri dell’antica rocca dei Pio con la brillantezza e le invenzioni cromatiche acquistavano così un aspetto più nobile che contribuiva a ingentilire le pesanti e massicce strutture architettoniche e fortificate. I muri erano completamente dipinti con un leggero strato di calce bianca che lasciava scoperti e visibili i mattoni listati a pittura con decori goticizzanti di verzure, racemi ed elementi araldici.
L’antica rocca subì importanti mutamenti già con l’ampliamento della seconda metà del Quattrocento, quando perse definitivamente ogni valenza militare, e quindi con la costruzione del cortile d’onore all’inizio del Cinquecento. Tracce di queste antiche strutture architettoniche sono emersi dai lavori ora in corso nell’area nord del palazzo, oltre a quanto già conosciuto dalle sale dei due appartamenti al piano nobile e al sottostante ammezzato.
Da recenti scoperte non è azzardato ipotizzare un’analoga situazione di arroccamento nella zona sud dell’attuale palazzo. Il torrione degli Spagnoli infatti si sviluppa inglobando un’antica torre di cui sono ancora presenti i merli nel sottotetto e che occupa l’angolo sud-est dell’attuale torrione. Nel corso di recenti interventi inoltre è emersa su una parete interna a nord dell’edificio un’antica decorazione esterna, del tutto analoga come scelta iconografica e stilistica a quelle della Rocca Nuova a cui si è accennato e databile alla stessa epoca. Anche qui è dunque ipotizzabile la presenza (certa) di una torre e (probabile) di una rocca - almeno nella fase tre-quattrocentesca precedente all’intervento di Galasso - che si porrebbe come elemento difensivo e in un secondo tempo residenziale nella zona a sud-ovest della pieve. Si tratta probabilmente del permanere di una situazione antica di difesa del castrum e della pieve sulla linea nord-sud verso occidente, dato che si potrebbe ritenere avvalorato dal fatto che questi rimangono i punti privilegiati di scelta residenziale del castello prima, dopo la citata divisione di Carpi del 1383 tra Marsilio e Giberto Pio, e del palazzo oltre un secolo dopo, quando Alberto Pio - che risiede nella parte nord del palazzo - governa il feudo fino al 1509 in condominio con gli Estensi, che pongono la loro guarnigione nella zona del Torrione.
L’evoluzione della rocca dei Pio è in stretta connessione con quanto avviene al di fuori della zona abitata dai signori, intorno cui sta sorgendo l’”oppidum opulentissimum” citato da Flavio Biondo. Anche in questo contesto a cavallo tra Trecento e Quattrocento, la nascita e lo sviluppo dei borghi, cioè l’evoluzione della struttura urbana, sono legati dunque a quanto avviene entro la cittadella. È in questi anni, o forse anche qualche decennio prima, che il castello “si apre” verso i lati nord e ovest, dove non esistevano accessi, verso i nuovi borghi. Entro la metà del Trecento viene aperta la cosiddetta Porta nuova, all’inizio dell’attuale corso Cabassi, che connette il castello col Borgo inferiore; più o meno negli stessi anni viene aperta anche una Posterula sul lato ovest, dove ora c’è il rivellino di accesso al palazzo dalla piazza (Torre dell’Orologio), verso il nuovo borgo di Castelnoglioso, poi Borgogioioso. Già in questa fase dunque l’asse viario principale non è interno alla Cittadella, ma è spostato verso ovest, dove poi sorgerà la piazza rinascimentale, che dobbiamo quindi considerare elemento urbanistico centrale, sebbene non definito come piazza, anche prima di Alberto.

Nel XV secolo nella rocca dei Pio è possibile individuare una fase, tra 1430 e 1480 circa, di modifiche e integrazioni alle strutture precedenti, che iniziano già a dare al castello un aspetto più palaziale che Alberto Pio renderà definitivo: la costruzione del Torrione di Galasso o degli Spagnoli nella parte meridionale del complesso intorno alla metà del secolo; l’ampliamento verso est e verso nord della rocca che abbiamo definito di Giberto (da cui il nome di Rocca Nuova) dopo la metà del Quattrocento con la definitiva attribuzione di funzioni residenziali, a cui si è già sopra accennato.
Di qualche anno dopo sembra essere anche lo sventramento di una serie di schiere poste a sud-est del complesso (le case Bellintani del catasto del 1472), più o meno all’altezza della cosiddetta Rocca Vecchia. Tra la Rocca Nuova e la Rocca Vecchia, sul versante orientale del castello, fu edificato il cosiddetto Palazzolo o Corridoio. Ultimo intervento prima dell’epoca di Alberto Pio è la costruzione di due torrette cilindriche angolari sul lato ovest della cittadella verso l’attuale piazza, che costituiscono l’ultimo significativo apporto alle fortificazioni della stessa, di cui attualmente ne è conservata una soltanto, la cosiddetta Uccelliera.
Alla fine del Quattrocento infine a ovest rimane l’antica muraglia perimetrale, un’ala bassa che parte da nord, dopo la torretta dell’Uccelliera, e prosegue verso sud, all’altezza del Torrione e che poi doveva riprendere nella zona ora occupata dal teatro (prima da un giardino, parte degli horti del palazzo) fino alla seconda torretta a cui si è precedentemente accennato. Al centro la Posterula, che collegava, oltrepassato il canale, al Castelnoglioso.
Poco si sa di questo fronte occidentale e degli eventuali edifici lì presenti. Gli unici dati certi riguardano le stanze a piano terra ora occupate dal Museo Monumento al Deportato, caratterizzate da belle volte ad arco gotico, e il cortile ora delle stele con archi tamponati di un portico (forse quattrocentesco?). Di ipotetiche architetture antiche lì presenti rimane solo il piano basso perché tutto il piano superiore è costruito solo successivamente sotto Alberto Pio.