Le Palais du Luxembourg est occupé pendant quatre ans par l'état-major général de la Luftwaffe pour tout le front de l'Ouest, et le Petit-Luxembourg aménagé pour le Feldmarschall Speerle qui le dirige (précédé, pour quelques semaines, par le Général Milch). Les effectifs en place sont d'environ 1 500 personnes.
Dans une lettre datée du 9 octobre 1940 (JPG - 60 Ko), le Président du Sénat proteste auprès du maréchal Pétain, contre « la désinvolture avec laquelle cette prise de possession (a été) opérée ».
Des chantiers multiples sont entrepris dès l'été 1940. La distribution intérieure du Palais est considérablement modifiée. De nombreux bureaux supplémentaires sont créés par cloisonnement des grandes pièces, et les installations techniques adaptées aux nouveaux besoins, très différents de ceux d'une assemblée parlementaire. Un nouveau réseau de sonneries est mis en place, et celui de la séance supprimé pour éviter toute confusion.
Peintures et tentures sont complètement refaites, aussi bien dans les locaux les plus ordinaires que dans les salons d'apparat. En dehors des salles historiques, le ripolin est, d'après certains courriers anecdotiques de l'époque, massivement employé.
A la Présidence, les Allemands entreprennent en outre des travaux de confort : installation d'un service général d'eau chaude en sous-sol, transformation et agrandissement des cuisines, création de deux salles de bains au rez-de-chaussée, avec revêtements en faïence, installation d'un comptoir de bar, d'un monte-plats électrique, d'un four à pain, construction d'une petite terrasse privée en rez-de-jardin, pour le cabinet de travail sur la façade sud.
Les logements de fonction situés dans l'enceinte même du Palais sont réquisitionnés. Quelques ouvriers, électriciens ou chauffagistes, susceptibles de rendre service à l'occupant, continueront cependant à demeurer sur place.
L'architecte Marcel Macary reçoit un ordre de réquisition dès le 25 août 1940. Tous les travaux sont exécutés à la demande et sous l'autorité des Allemands, en particulier du commandant Eichholz, architecte en chef des services allemands. Macary intervient journellement, comme en témoignent ses nombreuses notes de l'époque, pour obtenir, au prix de grandes difficultés, que les travaux exigés soient réduits, ou toujours exécutés de manière à ne pas occasionner de dégât durable pour la conservation du Palais. On doit à son obstination sans faille que le Palais du Luxembourg n'ait subi aucun préjudice irréparable.
Les principaux locaux « historiques » -Escalier d'Honneur, Salle des Conférences, hémicycle, Galerie des Bustes, Salon des Messagers d'Etat, Salon Victor Hugo, sont « conservés dans l'état existant », selon l'expression des rapports administratifs de l'époque. La Salle du Livre d'or est transformée en bureau, mais simplement par la mise en place de mobilier.
Fin 1943, les Allemands décident de construire, sous la partie du Jardin du Luxembourg contiguë à la façade est du Palais, un abri souterrain dont le radier sera à 14 mètres au-dessous du sol. Il comprendra une grande galerie de circulation nord-sud qui desservira 10 galeries d'abri perpendiculaires. Au 18 août 1944, date d'abandon du chantier, 7 de ces galeries sont complètement terminées, côté nord. Peu à peu, le Palais s'est transformé en forteresse souterraine, dont les issues aboutissent en surface dans un énorme blockhaus bétonné.
Les Allemands utilisent et « améliorent » en outre l'abri de défense passive construit avant guerre dans les jardins de la Présidence. Ils décident d'en construire un autre, entre la Présidence et le Musée du Luxembourg.