Kimi K3 défie GPT-5.6 et Claude en code, agents et vision

L'essor des LLM open source : vers une intelligence artificielle plus démocratique et durable

Kimi K3 ne se limite pas à dominer le classement du développement frontend. Les résultats publiés par Moonshot AI positionnent ce modèle de 2,8 billions de paramètres à proximité de GPT-5.6 Sol et Claude Fable 5 dans des domaines tels que la programmation, la navigation web, l’automatisation, les feuilles de calcul et le raisonnement visuel. Néanmoins, la société elle-même admet que ses performances globales et son expérience utilisateur restent encore derrière celles des modèles propriétaires les plus avancés.

Les clés des résultats de Kimi K3 en 30 secondes

  • Kimi K3 domine Program Bench, SWE Marathon, BrowseComp, Automation Bench et SpreadsheetBench 2 parmi les modèles comparés.
  • Il se trouve à seulement 0,5 point de GPT-5.6 Sol sur Terminal Bench 2.1.
  • Claude Fable 5 conserve un avantage en DeepSWE, FrontierSWE, JobBench et plusieurs tests visuels.
  • Les comparaisons utilisent différents environnements d’agents, donc toutes ne sont pas directement comparables.
  • Moonshot prévoit de publier l’intégralité des poids avant le 27/07/2026.

Le tableau complet offre une lecture plus nuancée que la première place obtenue par Kimi K3 dans l’Arène du Code Frontend. Ce nouveau modèle est en compétition dans presque toutes les catégories, mais aucun vainqueur clair n’émerge. GPT-5.6 Sol se distingue dans certains tests de programmation et de raisonnement, Claude Fable 5 maintient ses avantages dans le développement de logiciels complexes et les tâches professionnelles, tandis que Kimi K3 performe le mieux lors de sessions prolongées, navigation, automatisation et charges spécifiques de création visuelle.

Moonshot a évalué Kimi K3 avec le niveau maximal de raisonnement, une température de 1,0 et dans différents environnements selon chaque test. Le développeur précise également que les modèles n’ont pas toujours utilisé le même harness : Kimi Code, Claude Code ou Codex peuvent sensiblement influencer les résultats d’un modèle.

Kimi K3 se rapproche de GPT-5.6 en programmation prolongée

Dans Terminal Bench 2.1, un test évaluant la capacité à résoudre des tâches via un terminal, Kimi K3 obtient 88,3 points. GPT-5.6 Sol garde la tête avec 88,8, une différence de seulement une demi-point.

Kimi dépasse Claude Fable 5 et Claude Opus 4.8, tous deux avec 84,6, ainsi que GPT-5.5 et GLM-5.2. Ce résultat correspond à l’orientation du modèle vers des sessions longues, l’utilisation d’outils et la navigation dans des dépôts étendus.

Test de programmation Kimi K3 Meilleur résultat Position de Kimi
DeepSWE 67,5 GPT-5.6 Sol : 73,0 3e
Program Bench 77,8 Kimi K3 : 77,8 1er
Terminal Bench 2.1 88,3 GPT-5.6 Sol : 88,8 2e
FrontierSWE 81,2 Claude Fable 5 : 86,6 2e
SWE Marathon 42,0 Kimi K3 : 42,0 1er
Kimi Code Bench 2.0 72,9 Claude Fable 5 : 76,9 2e

Program Bench termine avec Kimi K3 en première position,avec 77,8 points, contre 77,6 pour GPT-5.6 Sol et 76,8 pour Fable 5. La différence est si faible qu’elle ne permet pas de parler d’un avantage significatif, mais confirme que K3 peut rivaliser avec des modèles fermés de premier plan en génération et en résolution de programmes.

Kimi K3 défie GPT-5.6 et Claude en code, agents et vision 1

Le SWE Marathon offre une différence plus nette : Kimi K3 obtient 42 points, devant Claude Opus 4.8 avec 40, GPT-5.6 Sol avec 39, et Fable 5 avec 35. Ce test évalue la capacité à maintenir un travail d’ingénierie sur de plus longues périodes, domaine dans lequel Moonshot a concentré l’entraînement du modèle.

Les résultats changent en DeepSWE. GPT-5.6 Sol atteint 73 points, Fable 5 en obtient 70, et Kimi K3 se place en troisième position avec 67,5. En FrontierSWE, Fable 5 domine avec 86,6, suivi par K3 avec 81,2.

Cette répartition montre que Kimi K3 ne domine pas la programmation dans son ensemble. Son avantage se manifeste principalement dans des tâches nécessitant de la continuité, de l’exploration et l’utilisation d’outils, tandis que GPT-5.6 et Fable 5 maintiennent de meilleures performances dans d’autres évaluations liées à l’ingénierie logicielle.

Il existe aussi des différences méthodologiques. Kimi K3 utilise Kimi Code dans plusieurs tests, GPT-5.6 Sol fonctionne avec Codex, et les modèles d’Anthropic emploient Claude Code ou Terminus. Un environnement performant peut mieux gérer le contexte, choisir les outils appropriés et se remettre des erreurs ; une partie des scores dépend donc du système complet et pas uniquement du seul modèle.

Moonshot reconnaît également que certains résultats de Claude Fable 5 peuvent comporter une substitution automatique par Claude Opus 4.8 lorsque le modèle refuse une tâche pour des raisons de politique d’usage. Les chiffres de GPT-5.6 Sol peuvent être affectés par ses contrôles de sécurité, rendant toute comparaison totalement uniforme plus difficile.

BrowseComp et Automation Bench révélateurs de leur force comme agents

Les résultats les plus signalés en faveur de Kimi K3 apparaissent hors du cadre classique de la programmation. Lors de BrowseComp, test d’investigation et de navigation web, il obtient 91,2 points, devançant GPT-5.6 Sol avec 90,4 et Fable 5 avec 88.

Dans Automation Bench, il prend la tête avec 30,8 points, contre 29,7 pour GPT-5.6 Sol et 29,1 pour Fable 5. La différence est modeste mais significative, car ce test évalue la capacité à coordonner actions et outils plutôt qu’à se limiter à produire des réponses textuelles.

Test d’agents Kimi K3 Modèle dominant
BrowseComp 91,2 Kimi K3
Automation Bench 30,8 Kimi K3
SpreadsheetBench 2 34,8 Kimi K3
AA-Briefcase Elo 1 548 Fable 5 : 1 583
GDPval-AA v2 Elo 1 668 Fable 5 : 1 760
JobBench 52,9 Fable 5 : 57,4
MCP Atlas 84,2 Fable 5 : 84,7
Toolathlon-Verified 73,2 Fable 5 : 77,9

K3 domine également SpreadsheetBench 2 avec 34,8 points, à peine une dixième devant Fable 5. GPT-5.6 Sol atteint 32,4, tandis que Claude Opus 4.8 se situe à 31,6.

Ce test est intéressant car le travail avec des feuilles de calcul exige d’interpréter des structures, modifier des cellules, utiliser des formules et maintenir la cohérence entre plusieurs opérations. Il ne suffit pas de connaître la syntaxe ; l’agent doit comprendre ce que l’utilisateur souhaite et apporter des modifications sur un document existant.

kimi k3 codage
Kimi K3 défie GPT-5.6 et Claude en code, agents et vision 2

Fable 5 maintient la tête dans JobBench, avec 57,4 points contre 52,9 pour Kimi K3, et dans GDPval-AA v2, où il atteint 1 760 points Elo contre 1 668 pour K3. Ces évaluations cherchent à simuler des tâches professionnelles plus complexes, ce qui étaye la thèse de Moonshot selon laquelle Kimi n’a pas encore atteint une expérience générale équivalente à celle des meilleurs modèles fermés.

Dans AA-Briefcase, Fable 5 conserve aussi la première place avec 1 583 points. Kimi K3 est proche avec 1 548, dépassant GPT-5.6 Sol qui atteint 1 495.

MCP Atlas, dédié aux tâches liées au protocole Model Context, affiche des résultats très serrés : Fable 5 avec 84,7, Kimi K3 avec 84,2, et GPT-5.6 Sol ainsi que Opus 4.8 avec 83,6. Une différence inférieure à un point ne suffit pas à établir une supériorité nette, surtout que les mesures dépendent d’un modèle de jugement et d’un nombre limité de tours.

Vision native, mais Claude conserve une avance dans plusieurs tests

Kimi K3 intègre des capacités visuelles directement dans le modèle, pouvant combiner captures d’écran, texte, vidéo et code lors d’une même tâche. Moonshot exploite cette fonctionnalité pour illustrer ses performances en frontend, jeux vidéo, graphisme et montage.

Les résultats visuels continuent à montrer une compétition équilibrée. Kimi K3 obtient 91,3 points dans CharXiv avec Python, légèrement en dessous de Fable 5 avec 93,5, mais au-dessus de GPT-5.6 Sol, Opus 4.8 et GPT-5.5.

Test visuel Kimi K3 Meilleur résultat
MMMU-Pro 81,6 GPT-5.6 Sol : 83,0
MMMU-Pro avec Python 83,4 Fable 5 : 86,5
CharXiv avec Python 91,3 Fable 5 : 93,5
MathVision 94,3 GPT-5.6 Sol : 95,8
MathVision avec Python 97,8 Fable 5 : 98,6
ZeroBench avec Python 41,0 Fable 5 : 46,0
OmniDocBench 91,1 Kimi K3 : 91,1
PerceptionBench 58,5 GPT-5.6 Sol : 59,7

Dans OmniDocBench, Kimi K3 obtient le meilleur score, avec 91,1 points. Ce test évalue la compréhension de documents complexes, combinant texte, structure et éléments visuels.

En MathVision avec Python, K3 atteint 97,8, à égalité avec GPT-5.6 Sol et proche de Fable 5 qui totalise 98,6. Tous ces scores sont élevés, et la différence pratique dépendra du type de problème ainsi que de l’utilisation des outils de calculs intégrés.

Claude Fable 5 domine plusieurs des tests de vision assistée les plus exigeants, tandis que GPT-5.6 Sol mène dans MMMU-Pro et MathVision sans Python. Kimi K3 se distingue en restant proche des deux, tout en surpassant plusieurs fois Claude Opus 4.8 et GPT-5.5 dans diverses tâches.

L’avantage visuel s’affiche également dans des démonstrations moins structurées. Moonshot assure que K3 peut percevoir le résultat généré par son propre code, puis le corriger via des captures successives. Ce processus, nommé “vision en boucle”, permet de modifier une interface, un jeu ou un design assisté par ordinateur après avoir observé son comportement réel.

Un modèle de 2,8 billions de paramètres n’utilisant qu’une fraction de ses capacités

Kimi K3 utilise une architecture d’experts mixtes totalisant 2,8 billions de paramètres. Lors de chaque opération, il ne sollicite que 16 experts sur les 896 disponibles, ce qui réduit le coût de calcul par rapport à un modèle dense de même taille.

Moonshot attribue une partie de cette amélioration à Kimi Delta Attention, Attention Residuals et Stable LatentMoE. Selon eux, cette architecture offre environ 2,5 fois plus d’efficacité de mise à l’échelle que Kimi K2.

Caractéristique technique Kimi K3
Paramètres totaux 2,8 billions
Architecture Mixage d’experts
Experts disponibles 896
Experts activés par opération 16
Contexte maximal Un million de tokens
Entrée multimodale Texte, image et vidéo
Quantification pour entraînement MXFP4 pour les poids, MXFP8 pour les activations
Déploiement recommandé Supernœuds avec au moins 64 accélérateurs

La taille du modèle limite la faisabilité de la publication publique de ses poids pour un usage domestique. L’exécuter dans son intégralité nécessitera une infrastructure dotée de nombreux accélérateurs et d’une connexion à haut débit.

Moonshot recommande l’utilisation de supernœuds disposant d’au moins 64 dispositifs pour une inférence efficace. La communauté pourra étudier, adapter ou quantifier ces poids, mais le déploiement total restera initialement réservé à des centres de recherche, prestataires d’inférence et grandes entreprises.

L’API officielle coûte 0,30 dollars par million de tokens requis à partir du cache, 3 dollars pour du traitement sans cache et 15 dollars pour la sortie. Moonshot affirme que son architecture Mooncake dépasse 90 % de réussite de cache sur des tâches de programmation, selon ses propres systèmes.

Moonshot admet des instabilités et une initiative excessive

Le développeur signale deux limitations techniques importantes. Kimi K3 a été entraîné pour maintenir le contexte de raisonnement lors d’une session. Si l’environnement ne restitue pas correctement ces données ou si on change de modèle sans préserver le contexte, la stabilité des performances peut en pâtir.

Il recommande donc d’utiliser Kimi Code ou un environnement ayant validé cette compatibilité, et déconseille de changer de modèle en cours de tâche prolongée.

La seconde limite concerne sa tendance à prendre des initiatives. La formation pour des projets longs peut conduire K3 à improviser face à une instruction ambiguë ou un problème mineur. Dans des applications où l’agent doit respecter des limites strictes, Moonshot conseille d’insérer des restrictions explicites dans le message système ou dans des fichiers comme AGENTS.md.

Ces recommandations sont cruciales dans le développement logiciel, où un agent trop actif risque de modifier des fichiers non demandés, d’installer des dépendances, ou de changer l’architecture de manière inattendue.

Kimi K3 montre que les modèles ouverts prometteurs réduisent l’écart face aux plates-formes fermées. Il domine plusieurs tests et se rapproche d’autres dans diverses évaluations, sans toutefois surpasser globalementGPT-5.6 Sol ou Claude Fable 5.

La conclusion pertinente n’est pas l’émergence d’un vainqueur absolu, mais que ce modèle accessible, dont Moonshot prévoit la sortie, prouve qu’il peut rivaliser en programmation, navigation, automatisation et vision avec des services propriétaires haut de gamme. La publication des poids, la licence, et le rapport technique complet permettront de déterminer dans quelle mesure ces performances peuvent être reproduites hors de l’infrastructure du fabricant.

Questions fréquemment posées

Kimi K3 dépasse-t-il GPT-5.6 Sol en programmation ?

Cela dépend du test. Kimi domine Program Bench et SWE Marathon, mais GPT-5.6 Sol l’emporte dans DeepSWE et Terminal Bench 2.1.

Est-il supérieur à Claude Fable 5 en tant qu’agent ?

Kimi l’emporte dans BrowseComp, Automation Bench et SpreadsheetBench 2. Fable 5 conserve un avantage dans JobBench, GDPval-AA, AA-Briefcase et plusieurs tests visuels.

Les résultats sont-ils directement comparables ?

Pas entièrement. Les modèles utilisent différents environnements d’agents, niveaux de raisonnement et mécanismes de sécurité. Certaines mesures proviennent aussi d’évaluations internes.

Quand les poids de Kimi K3 seront-ils publiés ?

Moonshot AI prévoit de divulguer l’intégralité des poids avant le 27/07/2026, avec plus d’informations sur l’architecture, l’entraînement et les évaluations.

Source : Noticias inteligencia artificial

le dernier