La baronnie passa ensuite à Jacques de Silly qui fit, en 1553, construire un nouveau château à l’emplacement actuel. Il ne comportait à l’époque que la partie centrale, sans le perron. C’est lui qui fit planter le parc.
A sa mort , le château passa à son neveu Antoine de Silly, le père de la future Madame de Gondy. C’était l’époque des “Guerres de Religion” qui mirent toute la contrée à feu et à sang.