Léonor Mérimée, peintre aux goûts classiques, par deux fois grand prix de Rome, délaisse bientôt le pinceau pour étudier les procédés matériels de peinture (composition chimique des couleurs, supports...). A partir de 1802, il donne également des cours de dessin, ce qui lui permet de subvenir aux besoins de la famille qu'il vient de former. En effet, à l'âge de 46 ans, il a épousé Anne Moreau, peintre elle aussi. Cette femme intelligente, au fort caractère, est la descendante de Marie Leprince de Beaumont, auteur de contes pour enfants, en particulier de La Belle et la Bête. Prosper Mérimée, qui naît à Paris le 28 septembre 1803, est l'enfant unique de ce couple bourgeois, au libéralisme discret. Il n'est pas baptisé, l'anticléricalisme de la mère l'emportant sur l'agnosticisme modéré du père.
Malgré un entourage familial qui veille à développer ses talents, Mérimée souffre d'une certaine froideur de ses parents, notamment de sa mère, peu douée pour les effusions. Stendhal écrit qu'elle est « susceptible d'attendrissement une fois par an ». Plutôt que de le prévenir des dangers, elle les lui laisse expérimenter : « Ainsi on m'a tout enfant laissé constater par une petite brûlure que la flamme d'une bougie ne valait rien à manier et que le parquet d'une chambre était moins doux qu'un coussin. C'est ainsi qu'on m'a élevé. » (Lettre à Mme de Montijo). Lorsqu'à cinq ans, Anne se moque de son repentir, à propos d'une sottise dont elle l'avait puni, il se promet de ne plus avoir à demander pardon et de mieux masquer ses sentiments. « Souviens-toi de te méfier
Ses premières années sont solitaires, notamment à cause de nombreux déménagements qui le privent d'amitiés durables. Celles-ci se développent à son entrée au lycée Napoléon (devenu lycée Henri IV à la Restauration), en 1811. Il se lie en particulier avec Jean-Jacques Ampère, le fils du physicien.
Il subit l'influence de son esprit curieux, tout en se gardant d'adopter sa dispersion.
Il se révèle un élève doué pour les langues anciennes, comme en témoignent les nombreux accessits qu'il reçoit. Sa mère écrit alors de lui : « Il a force ambition, mais il est mauvais et goilleur (sic) à taper. Sa santé n'est pas mauvaise. Cependant il est maigre comme un hareng. » Baignant dans un milieu anglophile - son arrière-grand-mère maternelle a séjourné 17 ans en Grande-Bretagne - il apprend vite l'anglais, qu'il maîtrise parfaitement à quinze ans. Parallèlement à ses études, il cultive un goût pour le fantastique qui influencera ses écrits, sans qu'il adhère pour autant à l'irrationnel.
Son éducation artistique est assurée par Simon-Jacques Rochard, un ami de Léonor. Contrairement au père de Mérimée, Rochard est ouvert au romantisme et donne une grande importance à la couleur. Mérimée ne devient pas un grand artiste mais manie dessin et couleurs avec aisance. « Prosper » écrit son père à Rochard « a toujours la fantaisie de faire du barbouillage d'après nature, et il se flatte d'arriver un jour à faire des pochades qui rappelleront les vôtres et celles des artistes anglais ». Mérimée gardera toujours ce goût du dessin, produisant, notamment au cours de ses voyages, une multitude d'aquarelles et de croquis.
Après le lycée il s'inscrit, conformément au voeu de son père, à la faculté de droit. La carrière juridique ne présente pas à ses yeux un grand attrait, mais n'étant pas assez riche pour vivre d'une rente, il accepte sans révolte de se lancer dans ces études. Malheureusement, il est piètre orateur et ne pourra pas faire un brillant avocat. Il obtient cependant sa licence en 1823. A la même époque, il est réformé du service militaire pour « faiblesse de constitution ».
Durant ses études, il commence à fréquenter les salons que lui ouvrent ses amis : celui de Mme Récamier, où il est introduit par Ampère, celui du diplomate suisse Stapfer, où il rencontre Stendhal, celui de Viollet-le-Duc père ou encore celui d'Etienne Delécluze. C'est là qu'il fait ses débuts littéraires, intégrant le clan romantique tout en gardant ses distances avec les excès d'effusion.
Sa passion pour les voyages, qu'il assouvira surtout en tant qu'Inspecteur des Monuments historiques, prend forme en 1826, date à laquelle il se rend à deux reprises en Angleterre. En 1830, à la suite d'une déception amoureuse, il part pour un long voyage en Espagne. Il y rencontre Manuela de Montijo, mère de la future impératrice Eugénie avec laquelle il noue une longue et profonde amitié.
Lorsqu'il revient en France, la situation politique a changé et ses relations libérales lui permettent d'entamer une carrière de fonctionnaire