Dès son arrivée à Bordeaux, l'Assemblée nationale nomme une nouvelle commission de décentralisation.
Fin mars 1871, s'ouvre le débat sur la désignation des maires. Reprenant le décret de 1848 sur l'élection des conseillers municipaux dans les communes de moins de 6 000 habitants, les députés décident par 285 voix pour et 275 contre, d'étendre cette disposition à l'ensemble des communes.
Thiers dont les idées sont favorables à la centralisation, s'oppose à cette extension et menace de démissionner.
"J'ai trop à cœur l'intérêt de mon pays et l'accomplissement de la mission accablante dont vous m'avez chargée, pour hésiter à déclarer nettement que, si l'article que vous venez de voter n'était pas amendé, je ne pourrai pas conserver le fardeau du pouvoir".
L'Assemblée accepte un compromis : seules les communes de moins de 20 000 habitants seront concernées.
La nouvelle commission de décentralisation a commencé ses travaux en prenant pour référence ceux de la Seconde République.
Trois propositions sont déposées et l'Assemblée nationale est appelée à se prononcer sur les conclusions de la commission que le rapporteur, Waddington, présente ainsi : "Nous avons cherché à séparer autant que possible la gestion des affaires départementales de celles de l'État tout en ménageant les intérêts et les habitudes des populations." L'originalité du texte en discussion réside dans la création d'une commission départementale, émanation du conseil général qui a la possibilité de formuler un avis, de faire un rapport sur les affaires soumises par le préfet au conseil général et de présenter des observations sur les projets de budget.
Le 27 juin 1871 commencent des débats longs et laborieux : la discussion sur l'ordre dans lequel seront appelés les amendements et les contre-projets durent la moitié d'une séance. L'article 16 relatif à la vérification par le conseil général des pouvoirs de ses membres est renvoyé cinq fois à la commission. Certains députés sont partisans de modifications comme les républicains Magnin et Bethmont qui veulent substituer au préfet pour toutes les affaires d'ordre départemental un administrateur élu par le conseil général ou comme Raudot qui envisage de remplacer les départements par 24 grandes régions. La commission départementale fait l'objet des graves attaques des radicaux Louis Blanc et Brisson qui y redoutent la prépondérance des grands propriétaires fonciers et de Thiers, par l'intermédiaire de son ministre de l'intérieur, Lambrecht : "la mise en pratique de cette commission départementale m'inspire de grandes craintes".
La loi est finalement adoptée et promulguée le 10 août 1871 ; elle réorganise les institutions départementales : le conseil général est composé de conseillers élus pour 6 ans, la commission départementale dispose d'attributions propres et d'attributions déléguées par le conseil général et le préfet prépare et exécute les affaires soumises au conseil général.
L'année 1874 voit un brusque recul des libertés municipales avec l'adoption le 20 janvier d'un projet de loi du duc de Broglie confiant la nomination des maires au pouvoir exécutif.
Deux ans plus tard cette loi est abrogée et on revient au dispositif de 1871.