La construction du Palais du Luxembourg, confiée en 1615, par Marie de Médicis, à l'architecte Salomon de Brosse, est à peu près achevée en 1631.
Installée, dès 1625, dans le Palais, Marie de Médicis doit le quitter l'année même de son achèvement, et s'exiler sur l'ordre de son fils Louis XIII, à l'issue de l'épisode dit de la "journée des dupes".
Le Palais conserve toutefois sa vocation de résidence princière, accueillant successivement Gaston d'Orléans (1642), puis sa veuve et ses filles la Duchesse de Montpensier et la Duchesse de Guise (1660) qui en fait don à Louis XIV (1694).
En 1715, il revient au régent Philippe d'Orléans, qui l'abandonne à ses filles, la Duchesse de Berry et Louise Élisabeth d'Orléans, ex-reine d'Espagne. Louis XVI donne le Palais à son frère, le Comte de Provence, futur Louis XVIII (1778), qui en sera chassé par la Révolution Française.
Le Palais devient prison pendant la Révolution, avant d'être affecté, en 1795, au Directoire, puis, fin 1799, au "Sénat conservateur". Il subit alors de profondes modifications architecturales, afin de lui permettre de répondre mieux à sa vocation parlementaire, qu'il ne perdra plus, sauf pendant quelques courtes périodes. Tandis que son aspect extérieur reste, pour l'essentiel, inchangé, ses aménagements intérieurs sont très sensiblement modifiés, entre 1799 et 1805, par l'architecte Chalgrin. L'escalier principal d'accès au premier étage laisse la place à la Salle des Séances du Sénat et se trouve, de ce fait, déplacé de la partie centrale du bâtiment vers l'aile Ouest.
En 1814, le Palais est affecté à la "Chambre des Pairs" de la Restauration. Sous la Monarchie de Juillet, l'accroissement du nombre des Pairs de France conduit l'architecte Alphonse de Gisors, à avancer la façade sud de trente mètres sur le jardin, pour permettre la construction de la Bibliothèque et de la Salle des Séances actuelles.
Il tire, en 1852, les ultimes conséquences de ces extensions, en supprimant, sur l'ordre de Napoléon III, les cloisons séparant encore les trois salles du bâtiment principal, réalisant ainsi la grande galerie, alors Salle du Trône (et dénommée aujourd'hui "salle des Conférences"), dans un Palais affecté au Sénat du Second Empire et qui a accueilli, en 1848, l'éphémère "Commission des travailleurs".
À la chute du Second Empire, le Palais abrite d'abord la Préfecture de la Seine. En 1879, lorsque le siège des Pouvoirs publics est transféré de Versailles à Paris, il est affecté au Sénat de la IIIème République, qui y siège jusqu'en 1940, date à laquelle il est occupé par l'État-Major de la Luftwaffe-Ouest.
En 1944, le Palais devient le siège de l'Assemblée consultative provisoire. En 1945, la Haute Cour de justice y tient ses séances, puis en 1946, la Conférence de la Paix. Fin 1946, le Palais est affecté au Conseil de la République, puis, en 1958, au Sénat de la Vème République.
