Initiator des Pfalzbaus bzw. des Ausbaus vorhandener Gebäude zu einer Pfalz in Ingelheim war wohl Karl der Große, welcher sich der Quellenlage zufolge erstmals 774 in Ingelheim aufhielt, um von dort aus Truppenkontingente in den Sachsenkrieg zu schicken.
Wie alt die Anlage in ihren Ursprüngen wirklich ist, lässt sich nicht klären. Einhard, der Verfasser der Lebensbeschreibung Karls des Großen mit dem Titel  "Vita Karoli Magni", nennt unter den herausragenden Bauleistungen des Kaisers auch die Pfalz in Ingelheim. Allerdings könnte es sich 774 noch um einen Wirtschaftshof gehandelt haben.
In den Jahren vor 807 wurde die spätere Pfalz als  "villa" bezeichnet. Zwischenzeitlich konnten bei Grabungen unter der Saalkirche Trockenmauerfundamente aus dem 7. Jahrhundert festgestellt werden, welche auf eine erheblich frühere Besiedlung schließen lassen. Nach 774 residierte Karl der Große von Dezember 787 - Mitte 788 in Ingelheim. Er bezog dort Winterquartier und setzte im Sommer 788 Herzog Tassilo III. von Bayern während der dort stattfindenden Reichsversammlung ab.
Das letzte bekannte Zeugnis des Kaisers aus Ingelheim ist eine Urkunde von 807. Diese Quellen mehrerer Aufenthalte lassen zwei Dinge vermuten: Zum einen, dass 787 die Anlage bereits einem Kaiser würdig ausgestattet gewesen sein muss, hätte Karl der Große sonst ein anderes Winterquartier ausgewählt, und zum anderen, dass das Areal offensichtlich zwischen 774-787 oder/und zwischen 788-807 ausgebaut wurde, da in einer Bestätigungsurkunde aus dem Jahr 807 erstmals von  "Inghilinhaim palatio nostro", also einer Pfalz, die Rede ist. Vieles deutet auf eine vorläufige Beendigung der Baumaßnahmen nicht vor 814 hin.

Das Areal der Kaiserpfalz hat eine Fläche von ca. 145 x 115 Metern (Gebäudekomplex ca. 100 x 90 Meter) und liegt auf dem Hang einer Mittelterrasse in ca. 3 km Entfernung zum Rhein im Bereich des heutigen Flures  "Im Saal".
Die Fundamente der Anlage sind nahezu komplett erhalten und an vielen Stellen durch Markierungen im Boden sichtbar gemacht, sofern das Gelände nicht überbaut ist. Es haben sich jedoch auch einige aufgehende Reste erhalten. Der Grund für die insgesamt wenigen, sichtbaren Gebäudeteile der Pfalz ist unter anderem in der Bebauung bzw. in einem Absinken des Areals zu einem Dorf im 14. Jahrhundert zu suchen. Weite Teile der Anlage wurden im Pfälzischen Erbfolgekrieg Ende des 17. Jahrhunderts zerstört und die Pfalz als Steinbruch benutzt.