Genauso schwierig wie die Klärung eines Gründungszeitpunkts ist die Beantwortung der Frage, wie die Pfalz zu Zeiten Karls ausgesehen hat. Der heute teilweise rekonstruierbare, geschlossene Baukomplex aus karolingischer Zeit sieht im Südwesten eine repräsentative Halle, die so genannte Aula Regia, eine einschiffige Halle mit Apsis und Narthex, und im Osten, das Gelände abschließend, einen halbkreisförmiger, exetra-artigen Bau, an dessen Scheitelpunkt sich ein Tor, das sog.  "Heidesheimer Tor", befand. Definitiv existierte eine unterirdische Wasserleitung. Darüber hinaus schien die Anlage kaum befestigt gewesen zu sein.
Alle weiteren Gebäude sind schwer zu identifizieren und zu datieren: Im Osten der Aula Regia ein paralleler Viereckbau mit Apsis, im Norden des Geländes ein nach Osten ausgerichtetes, langes Gebäude, an welches sich mehrere kleinere anschließen, die mit der freigelegten Brunnenstube, aber auch mit einer möglichen Kapelle in Verbindung gebracht werden. Ob bereits in karolingischer Zeit ein Sakralbau vorzufinden war, lässt sich nicht klären.
Unweit des Badehauses wurden 2004 Fundamente eines rechteckigen Gebäudes entdeckt, das durch drei rechtwinklig angeordnete Konchen auffällt. Dieser Fund, eventuell ein so genannter Trikonchos, könnte als karolingische Kapelle verstanden werden.
Gleiches trifft auf das bereits erwähnte, kleinere Parallelgebäude östlich der Aula Regia zu. Die heute im Mittelpunkt stehende Saalkirche wurde definitiv erst im 10. Jahrhundert errichtet. Dazu später mehr.
Ludwig der Fromme hielt sich mindestens 10 Mal sicher in der Pfalz auf. Quellen berichten von mindestens fünf Reichsversammlungen, vier Gesandtschaftsempfängen, darunter auch ein Aufenthalt des dänischen Königs, und mehreren Kirchensynoden. Eine ausführliche Schilderung des Schmucks in der  "regia domus" und der  "templa dei summa" beinhaltet ein Loblied Ermoldus Nigellus von 826. Er berichtet über Marmor, Fresken und Bildprogramme und weiß angeblich von  "100 Säulen, 1000 Türen und 1000 Kammern" zu berichten. In der späten Karolingerzeit sind nur sieben Aufenthalte, unter anderem von Lothar I. und Ludwig IV., bekannt. Unter den Ottonen wurde die Pfalz ab Otto I. offensichtlich vermehrt aufgesucht, vor allem um dort Ostern zu zelebrieren.
In der zweiten Hälfte des 10. Jahrhunderts finden sechs Reichssynoden statt. Erwähnenswert ist die aus dem Jahr 948, da diese nicht auf dem Gelände der Pfalz stattfand, sondern in der benachbarten St. Remigiuskirche. Unter Umständen könnte das ein Indiz dafür sein, dass die Pfalz keine ausreichend große Kapelle bzw. Kirche besaß. Dafür spricht auch, dass gegen Ende des Jahrhunderts, spätestens 997, die bereits angesprochene Saalkirche auf dem Pfalzgelände errichtet wurde. 997 gestattete Otto III. Hugo von Tuscien und dem Bischof von Straßburg unterhalb der Pfalz und des Königshofes ein Gebäude zu errichten - vielleicht deswegen, weil die vorhandenen Räumlichkeiten während der Feiern knapp wurden. Gleichzeitig ist eine Renovierung der Aula Regia in seiner Regierungszeit dendrochronologisch nachweisbar.
Für die Salier hat die Pfalz anscheinend eine geringere Bedeutung gehabt. Heinrich III. ließ sich 1043 dort vermählen, Heinrich IV. dankte 1105 in der Ingelheimer Pfalz ab.
Auch in der Stauferzeit sind lediglich vier Aufenthalte belegt. Dies erscheint verwunderlich, da Kaiser Friedrich I. Barbarossa die Anlage baulich stark veränderte. Um das Jahr 1160, so schildert es Rahewin in der Gesta Frederici, baute der Kaiser die Pfalz wieder auf, nachdem sie begann zu verfallen. Gleichzeitig erweiterte er den Komplex. Besonders hervorzuheben ist hierbei der wehrhafte Ausbau der Außenmauern und die Errichtung eines Zwingers im Süden.

1249 benötigte Wilhelm von Holland einen Monat, um die Pfalz, die im 12. Jahrhundert in vielerlei Hinsicht zu einer Reichsburg ausgebaut wurde, einzunehmen.
Im 12. Jahrhundert wurde zudem die Saalkirche renoviert und nach dem Geschmack der Zeit umgestaltet. Unsicher ist dagegen der Wiederaufbau des nördlichen Gebäudes zur Zeit der Staufer, ebenso wie die Errichtung einer Burg durch die Herren von Bolanden im Südwesten der Anlage. Genährt wird diese Theorie durch einen sichtbaren Turmstumpf mit dem Namen  Bolander.
Reichspolitisch verlor die Pfalz ab dem 12. Jahrhundert zusehends an Bedeutung. 1354 ist Karl IV. als letzter Herrscher in Ingelheim nachgewiesen. Er funktionierte ein Pfalzgebäude, höchstwahrscheinlich die Aula Regia, zu einem Augustinerchorherrenstift, genannt  "Karlsmünster", um und beauftragte die Mönche mit der Erhaltung der Gebäude.
1356 verpfändete Karl IV. das Dorf Ingelheim an die Stadt Mainz. In der Folgezeit wechselten häufig die Besitzer des Ortes, ab 1375 wird die ehemalige Pfalz kurpfälzisch.
Im Jahr 1402 setzt eine Besiedlung des Areals ein. 1487 wird innerhalb des Geländes ein Rathaus erwähnt, 1576 die Propstei säkularisiert und die Saalkirche zwischenzeitlich zum Getreidespeicher.
Sowohl der Dreißigjährige Krieg als auch ein verheerender Brand von 1689 taten ihr Übriges.
Spätestens seit dem 19. Jahrhundert ist das ehemalige Pfalzgelände völlig verbaut. In den letzten hundert Jahren ist die wieder als Kulturgut angesehene Anlage Stück für Stück dem interessierten Publikum zugänglich gemacht worden.