Il castello sorge all’esterno del paese di Pagazzano, lungo la strada per Treviglio. L’edificio è realizzato in cotto, ha una pianta rettangolare, la parte meridionale ha subito la perdita delle due torri angolari sud-est e sud-ovest, Nel 1553 Galeazzo Visconti integrò al castello il Palazzetto
Esiste ancora il ponte levatoio per il passaggio pedonale ed il castello è circondato da un fossato colmo d’acqua. Sul lato a nord, all’altezza dell l’ingresso principale, ricavato dal maestoso torrione centrale, è situato il ponte levatoio di circa 4 metri ancora oggi in funzione; l’attività difensiva del torrione contava su un sistema di merlatura
Lungo le mura sorge la torre di vedetta da cui suonava la campana, perchè la gente si rifuggiasse all’interno delle mura in caso di pericolo.
La parte più antica comprende i grandi stanzoni e i sotterranei, appartengono alla parte più antica del maniero risalente a prima del XV sec. forse all’XI.
In base alle sue caratteristiche, il castello potrebbe essere opera dell’architetto Gadio che ha realizzato il maniero di Milano, di Soncino e Pandino.
Si crede che nel mastio si trovi un passaggio che portava ad un luogo di grande segretezza che fungeva da carcere.