Ancienne forteresse médiévale du XIIIè siècle, le château est rebâti à partir de 1520 par un banquier italien, Bernard Salviati.

Durant les guerres de religion, le poète Théodore Agrippa d'Aubigné, protestant, y trouve refuge et tombe amoureux de Diane Salviati, petite-fille de Bernard Salviati.

Le château actuel comprend une tour-porche, mutilée de sa tourelle d'angle nord-ouest, et d'une aile est qui la rejoint par l'intermédiaire d'une galerie couverte, délimitant une cour d'honneur.

Le colombier, tour circulaire, abrite près de 1 400 boulins, ce qui en fait l'un des plus importants de la région.

Intérieur du pigeonnier du Château de Talcy