Il colle di S.Elena viene acquisito nel 1561 dai fratelli Selvatico e la villa viene costruita a partire dal 1593; i lavori durano alcuni decenni e nel 1642 viene realizzata la strada per le carrozze, a cui fa seguito la scalinata.

Nel periodo successivo vengono affrescati gli interni ad opera di vari autori, tra i quali figura il Padovanino.

Dal 1814 viene trasformato il parco attorno ai laghetti termali -con vari edifici annessi- su disegno di Giuseppe Jappelli, orientato al modello di giardino all'inglese.