D. LA CONJUGAISON ENTRE LA LOGIQUE DE L'IA SYMBOLIQUE ET L'EFFICACITÉ DE L'IA CONNEXIONNISTE
Les technologies d'IA peuvent être enchâssées les unes dans les autres et conjuguées pour produire de meilleurs résultats. Combiner l'IA connexionniste avec des modèles logiques ou des modèles de représentation du monde réel sera indispensable. L'espace-temps reste en effet inconnu des meilleures IA génératives.
On peut se rapprocher de telles articulations avec les Arbres de pensées ou Trees of Thoughts (ToT). Sans relever directement de l'IA symbolique, cette technique s'en rapproche par son recours à des étapes formelles de raisonnement, les idées venant s'articuler logiquement les unes par rapport aux autres. L'IA devient alors neuro-symbolique car empruntant à la fois des réseaux neuronaux et des raisonnements symboliques. Cette méthode peut être appliquée directement à tous les grands modèles de langage actuels grâce à une instruction décomposée en plusieurs phases de raisonnement. On parle pour ces techniques de prompt engineering. À l'avenir, outre cet art du prompt, on trouvera de nombreuses façons de combiner et d'hybrider les technologies, notamment les deux branches de l'IA, afin que les systèmes se rapprochent de nos raisonnements logiques.
E. LA LONGUE ET COMPLEXE CHAÎNE DE VALEUR DE L'IA
La chaîne de valeur de l'IA comporte une dizaine d'étapes. Tout commence avec l'énergie et les matières premières : les semi-conducteurs en silicium permettent la fabrication des puces, des logiciels permettent de concevoir ces microprocesseurs et des machines lithographiques gravent le silicium à l'échelle moléculaire. Nvidia est devenu, pour le moment, l'acteur dominant de ce premier maillon de la chaîne.
Le deuxième maillon, celui des infrastructures, se subdivise en de nombreuses couches :
- la collecte et le nettoyage de données ;
- le stockage de données dans de vastes data centers ;
- l'informatique en nuage (cloud) pour les calculs ;
- lors de la phase de développement des modèles, le recours spécifique à des supercalculateurs.
La multiplication de ces infrastructures entraîne des coûts très élevés et des impacts environnementaux considérables. Nvidia devra, par exemple, réaliser un chiffre d'affaires de 600 milliards de dollars pour lui permettre un retour sur investissement.
L'étape suivante est celle de la définition des modèles d'IA, elle-même subdivisée en plusieurs phases :
- la conception de l'architecture du modèle ;
- l'entraînement du modèle de fondation à l'aide des infrastructures et d'algorithmes ;
- le réglage fin par des apprentissages supervisés et une phase d'alignement.
Les modèles de fondation s'intercalent donc entre la définition de l'architecture du modèle et le fine-tuning, ce qui permet aux systèmes d'IA d'être déployés pour des applications spécifiques ou d'être diffusés auprès du grand public.
La dernière étape est celle des utilisateurs, les applications caractérisant l'aval. Les systèmes d'IA ne deviennent accessibles aux utilisateurs qu'à travers une couche de services applicatifs, dont les fameux LLM d'OpenAI, comme ChatGPT, conçu à partir du modèle de fondation GPT-4.