Prémery est à partir de 802, et jusqu’à la Révolution, la propriété des évêques de Nevers. Le château dont la construction date du début du XIVe siècle, sera la résidence d’été des évêques jusqu’à la fin du XVIIe. Il est bâti à l’origine sur un plan rectangulaire, avec une tour à chaque angle. Aujourd’hui, le corps de logis du XVIe, le porche fortifié du XIVe siècle, partie emblématique qui défendait l’entrée côté ville et une belle tourronde, avec des canonnières sont encore visibles.