La nascita di una residenza signorile a Carpi, nel luogo ora occupato dal palazzo dei Pio, è strettamente correlata con lo sviluppo dell'insediamento carpigiano fin dalle origini, in una situazione pre-urbana ricordata anche nei documenti, che parlano di Carpi prima come castrum (X-XI secolo) poi come oppidum (XIII-XIV secolo). Nel X secolo infatti è documentata la presenza intorno alla pieve della Sagra di un castrum (di cui non resta alcuna traccia), che si può ipotizzare come un insediamento sorto intorno all'edificio religioso, munito di una struttura fortificata (da cui probabilmente la denominazione di castrum) principalmente con funzioni militari, ma anche politiche, vista la presenza di edifici pubblici e residenze signorili. Si tratta certamente di una realtà piuttosto ben attrezzata, sia militarmente che politicamente, se dobbiamo dare credito alla tradizione secondo la quale Matilde di Canossa resistette nel 1083 all'assedio dell'imperatore Enrico IV proprio a Carpi. La struttura del castrum è alla base dello sviluppo della successiva cittadella e della nascita dei borghi, che rispecchiano quasi completamente l'assetto altomedievale. Rispetto all'attuale situazione, che è frutto delle modifiche di inizio Cinquecento, è differente la lunghezza della pieve, accorciata di due terzi da Alberto Pio, che originariamente con la sua pianta basilicale impediva lo scorrimento viario dell'attuale via Matteotti parallela alle dimore dei Pio. Il percorso risultava così spezzato in tre segmenti, con la piazza a sud ovest del castello e accesso principale da sud, con un tracciato spostato più a ovest.
Dalle origini dunque, e fino alle trasformazioni di Alberto, il centro religioso e politico di Carpi è intorno alla pieve della Sagra, a est dell'attuale palazzo dei Pio. Quale fosse la struttura delle residenze signorili prima dei Pio è difficile allo stato attuale ipotizzare, se si esclude la presenza della torre del Passerino, comunque datata già intorno al 1320.