Le domaine du Sem se situe sur l’emplacement d’une ancienne abbaye bénédictine dont l’église paroissiale de Walbourg reste le témoin prestigieux.
C’est en effet en 1946 que le château et le parc sont achetés par l’Évêché de Strasbourg.
Depuis, l’établissement a évolué. De Petit Séminaire, il est devenu Séminaire de Jeunes et aujourd’hui Collège épiscopal Sem’ de Walbourg.
Il retrouve ainsi sa place parmi les 4 établissements d’enseignement épiscopaux (Saint-Étienne à Strasbourg, Saint-André à Colmar et Zillisheim).