Louis XV, accompagné du dauphin, pose la première pierre en 1764, au cours d'une grande cérémonie.
Au fur et à mesure que s'élevait l'édifice, sa hardiesse le rendait vulnérable, il se fendillait, et l'on dit que Soufflot en serait mort de chagrin. Son œuvre fut menée à bien par ses disciples Maximilien Brémion, Jean-Baptiste Rondelet et Soufflot le Romain au prix de modifications qui alourdirent le monument. Cette fragilité était due à la nature du sol, miné par de nombreux puits et carrières. D'ailleurs, quand je suis allée au Panthéon, j'ai été intriguée par les filets accrochés au-dessus de nous et du fait que nous ne pouvions pas circuler au centre de l'édifice, mais seulement sur les côtés. J'ai compris ensuite en visitant la crypte que cette sécurité est due au fait que certaines parties du plafond s'en sont déjà détachées et que les gérants ne veulent donc pas prendre le risque qu'un touriste soit assommé. J'en déduis que malgré les changements apportés par ceux qui achevèrent le bâtiment, celui-ci est tout de même resté fragile.
Comme il fallut d'abord prendre le temps de consolider le sous-sol, l'église était à peine achevée quand éclata la Révolution française. La Constituante décida d'affecter l'église à une nécropole des Grands Hommes capables, par leur vertu réelle ou supposée, d'édifier le peuple et ses nouveaux maîtres tels que Voltaire ou Rousseau. En 1791, elle chargea Antoine Quatremère de Quincy d'effacer tous les attributs religieux et de murer 38 des 47 fenêtres pour accentuer l'"effet sépulcral" : on en voit les traces de l'extérieur. Disparurent également les deux clochers du chevet et le lanternon du dôme. En effet, dès l'entrée, on remarque que les murs sont aveugles ; l'intérieur est éclairé artificiellement et par quelques fenêtres situées dans la partie supérieure.
Le XIXe siècle ne cessa d'hésiter entre la vocation civique (Louis-Philippe) et la vocation religieuse (les deux Empires) : en 1806, le Panthéon, rendu au culte, redevenait l'église Sainte-Geneviève qui redevint Panthéon de 1831 à 1852, puis de nouveau église Sainte-Geneviève. Les funérailles de Victor Hugo en 1885 consacrent définitivement l'édifice aux liturgies républicaines. Toutefois, ces changements successifs n'ont pas remédié à l'appauvrissement que lui imposa la Révolution, lui conférant un aspect oppressant, contraire au vœu de Soufflot.