Qu’est ce que le GTP-3?
GPT-3 est le dernier d’une série de modèles linguistiques d’apprentissage automatique conçus pour automatiser la rédaction d’articles cohérents.
Les programmes informatiques comme GPT-3 peuvent générer des textes d’articles en apprenant à partir d’énormes ensembles de données et en intégrant des modèles dans leurs réseaux neuronaux (ou simplement, l’apprentissage profond).
Le modèle a été créé par des chercheurs d’OpenAI, un groupe de recherche basé à San Francisco qui vise à « bénéficier à l’humanité dans son ensemble », selon son site web. Le groupe a été cofondé par Elon Musk et Sam Altman en 2015.
La version complète de GPT-3 a une capacité de 175 milliards de paramètres d’apprentissage automatique.Comment fonctionne GPT-3
Il s’agit d’un modèle de réseau neuronal qui utilise l’apprentissage profond pour créer du texte en puisant dans un ensemble de données. Dans ce cas, l’ensemble de données est constitué d’entrées Wikipédia et OpenAI a choisi l’anglais comme langue de prédilection pour son modèle.
GPT-3 possède deux réseaux neuronaux :
Un qui génère du texte et un qui juge le texte généré. Tout comme nous testons notre capacité à comprendre ce que nous lisons en anglais à l’aide de tests standardisés tels que la compréhension de la lecture et la rédaction d’un essai, les auteurs d’OpenAI ont créé une « tâche » distincte qui évalue la qualité de chaque article généré. Cette « tâche d’évaluation » était un problème de reconnaissance d’images où les ordinateurs étaient testés sur leur capacité à reconnaître des objets sur la base de descriptions textuelles uniquement . La tâche d’évaluation s’est avérée si difficile pour les ordinateurs que le modèle GPT-2 d’OpenAI ne pouvait résoudre qu’après un entraînement massif.
Voici une illustration du fonctionnement de l’ensemble du processus : 1. Le premier réseau neuronal, appelé mécanisme d’auto-attention, scrute les articles de Wikipédia et en extrait des représentations sémantiques basées sur sa compréhension du monde apprise . 2. Ensuite, un générateur de phrases puise dans ces représentations sémantiques pour compléter une pensée ou une phrase. 3. Cette phrase est introduite dans le deuxième réseau neuronal, qui agit comme un critique et attribue un score à chaque texte généré.
GPT-3 est il comparable à d’autres modèles ?
OpenAI affirme que son modèle est capable de générer des phrases cohérentes jusqu’à 20 fois plus vite que son prédécesseur
La raison pour laquelle cela est important lorsque la comparaison des modèles s’explique par le fait que les modèles de langage doivent être rapides afin d’être évolutifs.
GPT-2, par exemple, ne pouvait générer une phrase que toutes les deux heures et avait une capacité de seulement 100 milliards de paramètres d’apprentissage automatique. En comparaison, GPT-3 a une capacité de 175 milliards de paramètres d’apprentissage automatique et peut générer une phrase toutes les 25 millisecondes.
Conclusion:
GPT-3 est une amélioration majeure par rapport à GPT-2 et peut générer plus de phrases par seconde.Cependant, il a toujours des difficultés avec les longues phrases et les longs passages de texte. Pour cette raison, OpenAI poursuit ses recherches sur de nouveaux modèles de langage qui seraient capables de gérer des tâches plus complexes comme le résumé et la traduction.
Oh est cet article a été généré par Jarvis (Un logiciel basé sur le GPT-3). Découvrez le ici