Le Château qui se dresse aujourd'hui est loin de la forteresse originaire du IXème siècle destinée à arrêter les invasions normandes. Il va être le fruit des convoitises et des jeux de pouvoir de ses résidants successifs, tour à tour familles royales anglaises ou françaises.

Il vivra des heures sombres pendant la Guerre de Cent Ans avant d'être le théâtre des fastes de la cour de François 1er. Durant la Révolution, il devient Bien National.

Par adjudication, il sera acquis par le Baron Otard en 1796 afin d'y élaborer son Cognac.