Il castello del Catajo viene realizzato, nel suo nucleo maggiore (il Castel Vecchio) tra il 1570 e il 1573 ampliando un precedente edificio, da Pio Enea I degli Obizzi (famiglia di origine francese di "Capitani di ventura"), con la collaborazione dell'architetto Andrea Da Valle, e affrescato dallo Zelotti.

Nel 1803 passa alla Casa d'Este, Arciduchi di Modena e -in seguito- all'erede al trono d'Austria Francesco Ferdinando d'Asburgo. Quindi vengono spostate a Vienna e nel castello di Konopiste a Praga molte collezioni di strumenti, armi, quadri e reperti archeologici.