En bref
- Anthropic a publié Claude Fable 5.1 et Claude Mythos 5.1 le 1er septembre, obtenant 52,6 % sur Terminal-Bench-Science 0.1 contre 24,7 % pour Fable 5, et 55,8 % sur Terminal-Bench 4.0 contre 42,0 %.
- Les lectures de cache coûtent désormais 75 % de moins, réduisant les coûts typiques des charges de travail d'environ 25 % et les charges de travail fortement agentiques jusqu'à 45 %, avec des prix de base inchangés à 10 $/50 $ par million de jetons.
- Fable 5.1 n'est pas inclus dans les plans Pro ni dans les sièges Team standard, qui l'exécutent sur des crédits d'utilisation ; les sièges Max et Team premium ou Enterprise l'incluent jusqu'à 50 % des limites hebdomadaires.
Anthropic a publié Claude Fable 5.1 et Claude Mythos 5.1 mardi, sa première mise à jour de la gamme de modèles Mythos depuis le lancement de Fable 5 le 9 juin.
La société affirme que les nouveaux modèles d'IA sont les « plus avancés au monde pour le codage et le travail de connaissance », et cela arrive trois mois après le début d'un cycle de lancement qui a déjà inclus une interruption de 18 jours due aux contrôles à l'exportation, une bataille de prix en plein été sur l'accès par abonnement, et une sortie en juillet de Claude Opus 5 qui a sous-coté Fable 5 sur le prix.
Fable 5.1 et Mythos 5.1 sont, selon Anthropic, le même modèle sous-jacent avec différents filtres de sécurité ajoutés. Fable 5.1 est généralement disponible pour toute personne ayant un compte Claude. Mythos 5.1 reste restreint aux professionnels vérifiés de la cybersécurité et des sciences de la vie via le programme de vérification cybernétique et le programme de vérification des sciences de la vie d'Anthropic, successeur de la voie d'accès du projet Glasswing qui limitait Mythos 5.
Ce que les benchmarks mesurent réellement
Le chiffre principal d'Anthropic provient de Terminal-Bench-Science 0.1, un benchmark qui teste si un agent IA peut effectuer des tâches de recherche scientifique dans un environnement en ligne de commande, noté en taux de réussite.
Fable 5.1 a atteint 52,6 % contre 24,7 % pour Fable 5 et 29,0 % pour Opus 5, soit plus du double de son prédécesseur.
Terminal-Bench 4.0 teste le codage agentique effectué via un terminal — écrire, exécuter et déboguer du code lors de sessions en ligne de commande en plusieurs étapes, noté en pourcentage de tâches correctement accomplies. Fable 5.1 a obtenu 55,8 %, contre 42,0 % pour Fable 5 et devant Opus 5 avec 52,3 %.
Mythos 5.1, fonctionnant avec des filtres de cybersécurité plus légers, a obtenu 60,9 % au même test ; Anthropic affirme que l'écart reflète les tâches que ses garde-fous ont interceptées et redirigées vers Opus 4.8.
Sur le dernier examen de l'humanité, un test de raisonnement multidisciplinaire construit à partir de questions de niveau expert dans des dizaines de domaines académiques et noté comme un taux de réussite, Fable 5.1 a atteint 60,9 % sans outils externes et 65,0 % avec eux, tous deux devant Opus 5, montrant que c'est le modèle le plus avancé d'Anthropic à des fins académiques.
Où il bat Opus 5, et où les calculs deviennent plus flous
Opus 5 lancé en juillet coûtait la moitié du prix par jeton de Fable 5 tout en surpassant Fable 5 sur la plupart des principaux benchmarks, rendant effectivement le modèle phare redondant pour la plupart des utilisateurs payants.
Fable 5.1 inverse cette tendance : il bat désormais Opus 5 sur tous les benchmarks publiés par Anthropic, y compris ceux où Opus 5 avait précédemment battu Fable 5.
Mais Fable 5.1 coûte toujours deux fois plus par jeton que Opus 5—10 $ en entrée et 50 $ en sortie contre 5 $ et 25 $ pour Opus 5. Les jetons sont la quantité de base d'informations qu'un modèle peut traiter (généralement environ deux tiers d'un mot anglais moyen), et les entreprises paient pour l'utilisation car les flux de travail intensifs épuisent généralement très rapidement les quotas définis dans les plans d'abonnement.
La propre argumentation d'Anthropic pour ce modèle repose sur les niveaux d'effort plutôt que sur les scores bruts : il affirme que faire fonctionner Fable 5.1 avec un effort de raisonnement faible ou moyen correspond ou dépasse les anciens résultats de Fable 5 à un coût bien inférieur, tout en réservant les niveaux d'effort les plus élevés aux problèmes qui déroutent tout le reste.
Pour le travail de routine, cet argument pour sauter complètement Opus 5 s'affaiblit à mesure que le niveau d'effort diminue.
L'accès suit la même répartition qui s'appliquait à Fable 5 après des mois d'ajustement des conditions par Anthropic. Sur les plans Pro et les sièges Team ou Enterprise standard, Fable 5.1 est entièrement tiré des crédits d'utilisation payants facturés au tarif API, car il ne fait pas partie des limites hebdomadaires de ces plans. Sur les plans Max et les sièges Team ou Enterprise premium, il est inclus comme partie standard de l'abonnement pour jusqu'à 50 % de l'utilisation hebdomadaire.
Claude Fable 5.1 est désormais disponible sur l'API Claude, Amazon Bedrock, Google Cloud et Microsoft Foundry, sous l'identifiant de modèle "claude-fable-5-1".
