Le château de Passy-les-Tours (propriété privée) fait l’objet d’une inscription au titre des monuments historiques depuis le 28 juin 1927. Édifié sur un plan barlong d'environ 50 m de côté flanqué aux angles de quatre tours rondes, le château, a probablement été construit à la fin du XIVe siècle. En 1367 nous trouvons un Jean de Beaumont seigneur de Pacy. Le château est acheté en 1400 par Jean de Chevenon, alors conseiller de Charles VI de France, et prétendu plus riche écuyer du royaume, c'est surement lui qui modifie le donjon. Avec une hauteur de 25m il permettait de surveiller l'accès principal à la Charité-sur-Loire : l'actuelle N151. Son architecture est inspirée du château de Vincennes et ses tours imposantes donne leur nom au village. Pendant la guerre de Cent Ans, à partir de 1422, il est occupé par le capitaine Perrinet Gressard qui tint tête à Jeanne d'Arc lors du siège de La Charité-sur-Loire en 1429. Très endommagé par les guerres de religion, le château devient en 1782, la propriété du marquis de Vergennes, homme politique et diplomate, qui ne le restaure pas plus que ne le feront ses propriétaires successifs. Au contraire, ses pierres seront utilisées pour d'autres constructions.