GPT-2 de OpenAI avait déjà beaucoup fait parlé l'année dernière mais son successeur GPT qui a 100 fois plus de paramètres d'apprentissage est sensiblement plus impressionnant même s'il faut être conscient de ses limites (ce n'est pas la base d'une AI généraliste).   Les GPT-* (Generative Pretrained Transformer) sont des modèles Transformer de texte non-supervisés. "non-supervisés" veux dire qu'ils sont entrainés sur des données peu structurées et avec un minimum d'intervention humaine.