Sebbene ci siano notizie su una Rocca fortificata ben prima di quella data, la Rocca di San Felice, così come la conosciamo, fu eretta per volere di Obizzo III d'Este nella prima metà del XIV sec. su progetto del più importante architetto-ingegnere degli Estensi, Bartolino Ploti da Novara. Il Castello, uno dei meglio conservati della Bassa modenese, era fortificato con mura di cinta e quattro torri. La Rocca è formata da cinque torri collegate da camminamenti sopra le mura (e forse per questo veniva chiamata 'il Girone'). Uno degli episodi più significativi è legato al passaggio di papa Giulio II, che nel gennaio 1511, sostò nella Rocca nella stanza più lussuosa di tutto il castello, l'unica ad avere un camino e degli affreschi, che oggi porta il suo nome. I locali adibiti ad esposizioni ed altre manifestazioni, dopo il recente restauro che ne ha preservato la qualità, sono la sala dedicata a Tosatti 'Sala Quinto Tosatti', la 'Stanza Giulio II', le due prigioni, il seminterrato e la cosiddetta 'Casa Matta'.