A l'origine, St-Ilpize était une ancienne place forte gallo-romaine. Aujourd'hui, le rocher basaltique qui domine Villeneuve d'Allier est couronné par les ruines de ce château féodal ayant appartenu aux Dauphins d'Auvergne et à la famille de La Rochefoucauld.

Son château, illuminé toute l'année, révèle un cadre féerique. Une poignée d'habitants replantent de la vigne. Les terrasses du musée-conservatoire sont plantés de nombreuses variétés de cépages anciens.