In luogo del preesistente castello di S.Giorgio, posto lungo la cinta muraria che sale al colle, tra la fine del secolo XVI e la prima metà del secolo XVIII viene realizzato un complesso architettonico che comprende l'oratorio, la villa e la scalinata con esedra di S.Francesco.

L'edificio residenziale viene costruito in due fasi distinte, la prima parte -a lato della chiesa- su disegno di Vincenzo Scamozzi e la seconda -ala est- attribuita ad Andrea Tirali.

L'oratorio ha una sala barocca con le reliquie e i Corpi Santi.