Fils d'un maître-serrurier, Joseph Marie Vien est successivement employé chez un procureur puis un ingénieur avant d'exercer la fonction d'ouvrier décorateur dans une fabrique de faïences. Cédant à son goût pour la peinture, il intègre les ateliers de Giral (à Montpellier) puis de Natoire (à Paris), en 1741.
Un prix obtenu en 1743 lui permet de poursuivre ses études à Rome, comme pensionnaire du roi.
Il est élu membre de l'Académie de peinture en 1754. Devenu professeur, il compte David parmi ses élèves. Puis il dirige l'Académie de France à Rome. Il obtient les titres de recteur de l'Académie de peinture en 1781 puis de premier peintre du roi en 1789.
Pendant la Révolution, il poursuit ses travaux et intègre l'Institut en 1795. En l'an VIII, il est nommé membre du Sénat conservateur et reçoit quelques titres honorifiques ( Commandeur de la Légion d'honneur, titre de comte).
Il propose de rétablir un musée au Luxembourg - le Palais avait en effet accueilli, entre 1750 et 1780, le premier musée public de peinture de France, et un des tout premiers d'Europe.
La proposition de Vien est soumise aux autorités du Sénat et au ministre de l'Intérieur, Chaptal, qui l'acceptent et décident de réinstaller un musée dans la galerie orientale du Palais du Luxembourg, l'actuelle Annexe de la Bibliothèque. Vien participe activement à l'élaboration de la médaille commémorative du Sénat.
A sa mort, en 1809, son œuvre compte 179 toiles, dont l'Embarquement de Sainte Marthe, la Prédication de Saint Denis... Son corps a été inhumé au Panthéon le 31 mars 1809.