Les agents avant les LLM ?
Nous entendons beaucoup parler d’agent, les articles et les posts sont envahis par les mots “Agentic AI” (maintenant, celui-ci aussi 👀) mais est-ce vraiment nouveau ? Dans les années 90, certains parlaient déjà d’agent et le décrivait comme une entité qui fonctionne de manière continue et autonome dans un environnement dynamique et évolutif. D’autres sont plus philosophiques et parle d’une entité dont l'état est représenté par des concepts mentaux tels que les croyances, les capacités, les choix et les engagements. Les actions sont restreintes et régis par des règles fixes.
L'agent, bien avant aujourd'hui
Le Reinforcement Learning introduit à l’agent la capacité d’apprentissage en intéragissant avec son environement et en recevant un retour de celui-ci (récompense ou pénalité). Un tel agent peut alors apprendre en continue et généraliser un grand nombre de situations en réalisant des actions plus nombreuses notamment lorsqu’il est couplé à un réseau de neurone (Deep Reinforcement Learning).
L'ère des LLMs
Les “AI Agents”, quant à eux, sont une évolution du concept d’agent ou du moins une autre version de ce dernier. La prise de décision est gérée par un LLM dont la puissance apporte une très bonne et large capacité de raisonnement. L’agent ne réagit plus à son environnement, mais à l’entrée de l’utilisateur, qui dicte le déroulement de ses actions. Ici, l’objectif n’est pas d’apprendre à accomplir une tâche, mais simplement de l’exécuter efficacement. L’utilisateur demande la météo à Paris, le LLM déduit qu’il faut faire un appel à un outil externe, l’Agent fait une requête à une API météo, observe le résultat et le renvoie à l’utilisateur.
La notion d’agent n’est donc pas un concept figé, mais une approche pouvant s’adapter à des contextes variés et des objectifs différents. Dans le cas des LLMs, il permet à ces derniers d’intéragir avec des outils les rendant encore plus puissants comme on a pu le voir dans la présentation de o3 et o4 mini, les nouveaux modèles agents d’OpenAI.
Aujourd'hui c'est les Agents IA, et demain ?
📚 Sources
- An overview of agent-oriented programming Y Shoham - Software agents, 1997
- THE LANDSCAPE OF EMERGING AI AGENT ARCHITECTURES FOR REASONING, PLANNING, AND TOOL CALLING: A SURVEY Tula Masterman, 2024
- Modelling social action for AI agents Cristiano Castelfranchi, 1998
- DEEP REINFORCEMENT LEARNING: AN OVERVIEW Yuxi Li, 2018
- Towards An Unsupervised Reward Function For A Deep Reinforcement Learning Based Intrusion Detection System Bilel Saghrouchni and al. , 2024
- Hugging Face Agents Course