Il castello sorge all’esterno del paese di Pagazzano, lungo la strada per Treviglio. L’edificio è realizzato in cotto, ha una pianta rettangolare, la parte meridionale ha subito la perdita delle due torri angolari sud-est e sud-ovest, Nel 1553 Galeazzo Visconti integrò al castello il Palazzetto