Im Waldgebiet von Ober-Olm ließ 1764 der Mainzische Erzbischof und Kurfürst Emmerich Joseph von Breitbach-Bürresheim für 600 Gulden ein schlichtes Jagdschloss errichten.
Die parallel zur Bretzenheimer Straße angelegte Schneise bildete eine Sichtachse von dem kleinen Jagdschloss zum Mainzer Dom. Als 1787 Karl Theodor von Dalberg als Weihbischof in sein Amt eingeführt wurde, diente ihm das kleine Schloss zu Ober-Olm mit dem Jagdrevier als Schauplatz eines Empfangs.
Zu Beginn des 19. Jahrhunderts gelangte das Schloss in staatlichen Besitz (Großherzogtum Hessen).
Ab 1816 beherbergte Schloss Ober-Olm einen Forstbetrieb. Nach dem Zweiten Weltkrieg befand sich dort die Oberförsterei Mainz. 1957 erwarb die Familie Philipp Haag das zuvor grundlegend sanierte Schloss.