Issu d'une lignée d'officiers français illustre mais désargentée à sa naissance en 1787, Charles-Louis-Gaston d'Audiffret intègre l'administration publique. Il en gravit rapidement les échelons et le poste de directeur de la comptabilité générale des finances lui est confié en 1814. La même année, il obtient la Légion d'honneur.
Il conserve son poste durant les Cent-Jours, sans pour autant adhérer à l'acte additionnel.
Il poursuit brillamment sa carrière, successivement nommé conseiller d'État en 1828, puis président de la Cour des comptes un an après. Il conserve ce poste pendant trente ans et se signale par sa réforme de la comptabilité publique.
Devenu pair de France en 1837, il est très souvent désigné comme rapporteur des lois de finances.
Grand-officier de la Légion d'honneur en 1847, il est nommé sénateur en janvier 1852.
En 1862, il produit un règlement général de la comptabilité publique. En 1876, il publie ses mémoires, intitulés, Souvenirs de ma carrière. Sa plus grande oeuvre (six volumes) est consacrée au Système financier de la France.
Il meurt le 19 avril 1878.