Le 29 Avril 2024, un mystérieux modèle d’intelligence artificielle est apparu sur lmsys. C’est une organisation d’étudiants de Berkeley qui développe des projets liés à l’IA et des larges modèles de langage. Ils sont notamment connus pour avoir créé LMSYS arena qui permet de faire s’affronter des Intelligence artificielle pour juger les réponses et décider qui est la plus performante. 

On peut tester de nombreux modèles sur LMSYS, comme GPT 3.5 ou encore Claude. Mais depuis le 29 Avril, un nouveau modèle nommé GPT-2 est apparu et bouleverse les internautes.

Le mystérieux modèle GPT-2

Cela fait quelques semaines que des rumeurs circulent autour de Chat GPT. La dernière version GPT-4 commence à dater et selon de nombreuses personnes, il serait même de moins en moins efficace. Mais, beaucoup d’experts laissent sous-entendre qu’Open AI lancerait sa nouvelle version de Chat GPT en 2024 et que les résultats seraient incroyables, justifiant une telle attente. 

Bien sûr, certains s’en laissent aller à des théories. Open AI aurait déjà réussi à développer une intelligence artificielle générale ou AGI qui serait largement plus performante que les humains. D’autres pensent au contraire qu’ils ont atteint les limites de puissances et qu’ils ne peuvent plus améliorer leur modèle pour l’instant.

L’arrivée de GPT-2 sans aucune annonce de la part d’Open AI et sur un site externe suscite les interrogations. D’autant que les tests montrent des résultats vraiment convaincants. Le modèle semble être en mesure de mieux comprendre les questions et de pouvoir “réfléchir” bien mieux que les autres modèles. 

Quelles sont les capacités de GPT-2 ?

Au moment où le modèle a fait son apparition parmi les modèles de test de LMSYS, les utilisateurs se sont rués dessus et ont effectué plusieurs tests pour juger de la qualité ou non du modèle. Et les résultats sont impressionnants.

GPT-2 comprend mieux les questions et semble capable d’une réflexion poussée.

Sur cet exemple, @skirano pose cette question à GPT-2 : Qu’est qui est le plus lourd : Un kilo de plumes ou un kilo de plomb. Bon, généralement, on pose cette question pour piéger un enfant mais les modèles d’IA actuels ont beaucoup de mal à comprendre et les réponses vont différer. La plupart des modèles font l’erreur habituelle : Du plomb ça semble plus lourd qu’une plume alors c’est plus lourd. Mais pas ici, GPT-2 ne s’est pas fait avoir.

Autre exemple qui montre l’amélioration de la compréhension, GPT-2 est capable de comprendre une énigme. Il réagit de manière moins robotique. Ici, il analyse la suite d’addition et comprend qu’on attend de lui qu’il complète la suite de chiffre. GPT 4, la dernière version en date d’Open AI répond 11 à cette question car factuellement 5+6 =11. 

GPT-2 a le même niveau en mathématiques que les 4 meilleurs étudiants des USA. 

Autre test mené par @itsandrewgao, il montre que GPT-2 est capable de résoudre un problème mathématique complexe de l’International Math Olympiad soit la compétition la plus dure de mathématiques. Actuellement, seulement 4 étudiants aux USA sont capables de résoudre un problème de ce niveau.

Le plus impressionnant, c’est que ce problème vient d’être résolu. Ce qui veut dire que soit le modèle est très récent et aurait intégré la résolution du problème dans sa base d’étude ou alors qu’il a réellement les capacités intellectuelles pour résoudre un problème de ce niveau.

GPT-2 est même capable de faire de l’art.

@phill–2, a testé GPT-2 en lui faisant faire de l’art ASCII. C’est une manière de faire des dessins avec les symboles présents sur un clavier. Sur cette comparaison, on peut voir GPT-2 qui réussit à faire une licorne parfaitement contrairement à l’autre modèle (sur la gauche) dont le dessin se passe de commentaire.

Un nouveau Chat GPT ou une version mis à jour.

Il faut savoir qu’il y a déjà eu un modèle nommé GPT-2 juste avant GPT-3 qui a impressionné le monde entier. Mais ce modèle là qui est apparu le 29 Avril n’a aucune ressemblance avec l’ancien modèle GPT-2. Il est plus puissant, plus rapide et peut répondre à des questions qui d’habitude sont trop complexes pour les modèles actuels. Ce GPT-2 n’est donc pas le GPT-2 que l’on a déjà vu. Alors qu’est ce que c’est ?

Il y a trois hypothèses qui se dégagent.

Chat GPT 5 va bientôt être lancé.

Le principe de LMSYS, c’est de comparer des modèles pour élire le plus performant. C’est une manière facile et honnête pour faire un benchmark des modèles de langage. Pour pouvoir tester son modèle et se comparer à ce qui se fait actuellement, Open AI aurait alors mis à disposition Chat GPT-5 aux testeurs. 

Le problème, c’est qu’Open AI n’a jamais fonctionné ainsi et les tests de benchmark ont toujours été réalisés en interne. De plus, l’organisation de San Francisco a toujours aimé faire des communications importantes pour ses nouveaux produits. Comme pour Sora, son intelligence artificielle de génération de vidéos, il y a quelques semaines. Alors pourquoi, ils feraient différemment cette fois-ci ?

GPT-2 est GPT-2 mais avec des réglages plus efficaces.

L’autre possibilité, c’est que le nom soit le vrai nom. Il s’agit réellement de GPT-2. Mais alors, pour quelle raison est-il bien plus puissant que lorsqu’il a été lancé ? Peut-être qu’Open AI teste des modifications pour améliorer ses anciens modèles. L’idée serait qu’ils auraient du mal à améliorer sensiblement GPT-4 pour des raisons d’énergie et de ressources. Cependant, en améliorant un ancien modèle, moins demandant en ressources, peut-être qu’il serait possible d’obtenir de meilleurs résultats. 

C’est déjà le cas sur GPT-4 où il est possible d’améliorer les performances du modèle uniquement avec des instructions personnalisées. La logique d’Open AI serait peut-être de réduire la taille de ses modèles tout en améliorant leurs performances car ils seraient plus adaptés à certains types de tâches. 

Il y a quelques mois, Sam Altman, le pdg d’Open AI semblait partir sur ce postulat : L’avenir ne serait pas composé de modèles immenses mais plutôt de petits modèles très spécialisés.

GPT-2 est l'œuvre d’une autre entreprise. 

Après, tout GPT est un acronyme qui définit un certain type de modèles de langage. Peut-être que ce GPT-2 a été créé par une autre entreprise pour concurrencer Chat GPT. Peut-être que c’est l'œuvre d’un certain Elon Musk qui est en froid avec Open AI depuis quelques années et qui a relancé la guerre ces dernières semaines avec des tweets visant la direction d’Open AI.

Elon Musk développe sa propre intelligence artificielle dans l’entreprise XAI. Cette IA, dénommée Grok a déjà été lancée et a de bons résultats. Peut-être que nous avons là la deuxième version de Grok et que le nom de GPT-2 a été choisi pour rester incognito pour l’instant (et pour se moquer d’Open AI).

Comment tester GPT-2 gratuitement ?

Dans tous les cas, nous en saurons plus dans les prochaines semaines. Si vous aussi, vous voulez tester GPT-2 et vous faire votre propre avis, vous pouvez vous rendre sur le site de LMSYS et le tester gratuitement par vous-même sur le site de LMSYS.

Cependant, il y a des limitations importantes car de nombreuses personnes essaient de l’utiliser.

‍