Situé à l’emplacement d’une ancienne motte castrale fondée par la famille des Adhémar au 10e siècle, ce palais médiéval a été bâti par la même famille au 12e siècle. Il porte le nom d’une lignée prestigieuse en Provence et en Dauphiné, dont les représentants furent seigneurs de Montélimar pendant plusieurs siècles.

Le site est composé d’un logis seigneurial, d’une chapelle romane, d’une tour carrée et d’une enceinte fortifiée surmontée d’un chemin de ronde. Au fil des siècles, les bâtiments ont connu de nombreuses fonctions : palais, citadelle, prison, lieu culturel public.

Ce monument historique classé, propriété du Département de la Drôme, fait l’objet de restaurations successives puis est ouvert au public en 1983. Il accueille un centre d’art contemporain qui y développe une programmation d’expositions temporaires, accompagnée d'actions culturelles et d'une mission d’éducation artistique dans et hors les murs. Le lieu se prête également à l’accueil de spectacles, rencontres et conférences tout au long de l’année.

En dehors de la période d’exposition prévue sur six mois à partir du printemps, le château reste ouvert pour les groupes adultes et les groupes scolaires sur réservation. Des dispositifs de visite innovants sont disponibles avec des tablettes numériques pour les établissements scolaires.