Kimi K3 est plus fort ET ment plus : la capacité et la fiabilité ne sont pas la même courbe

Cette semaine, deux histoires cohabitent : l’IA n’a jamais été aussi capable ni aussi bon marché — et elle n’a jamais autant inventé. Juste avant la libération de ses poids (le 27 juillet), Kimi K3 se fait épingler par des tests indépendants : son taux d’hallucination grimpe à ~51 %, en hausse, alors même que sa précision factuelle progresse. C’est le paradoxe le plus utile de l’année pour un solo qui bosse avec l’IA : capacité et fiabilité ne sont pas la même courbe.

Ce qui s’est passé

Kimi K3, présenté comme le plus grand modèle open-weight jamais publié (2 800 milliards de paramètres), a pris la tête d’un classement de code et sort ses poids en libre le 27 juillet. Mais Artificial Analysis relève un chiffre absent des graphiques du fabricant : son taux d’hallucination atteint ~51 % (contre 39 % sur la version précédente), tandis que sa précision factuelle grimpe de 33 % à 46 % sur le même test. Autrement dit : il répond juste plus souvent et invente plus souvent.

Un point d’honnêteté, parce qu’AXO ne fait pas de sensationnalisme : ce taux se mesure sur les réponses non correctes, et Claude Fable 5 affiche ~55 % sur le même benchmark. Le problème n’est donc pas « Kimi est nul » — l’invention est une propriété structurelle des LLM, pas un défaut d’un seul modèle. La vraie information, c’est la trajectoire : on peut gagner en capacité tout en régressant en honnêteté. Les deux ne montent pas ensemble.

Ce que ça veut dire

Retiens ceci : un score de benchmark ne te dit pas si le modèle dit vrai. Un modèle peut être excellent en code, rapide, pas cher — on t’a montré l’effondrement des prix et un Opus 5 plus autonome — et te sortir avec le même aplomb une date fausse, une citation inventée, une statistique qui n’existe pas.

Pour un solo, c’est un angle mort dangereux, parce que l’IA est plus convaincante quand elle a tort que la plupart des humains quand ils ont raison. Le risque n’est pas qu’elle bafouille : c’est qu’elle affirme une bêtise dans une phrase parfaitement tournée que tu vas relayer à un client ou publier sous ton nom. La fluidité n’est pas de la fiabilité.

Ce que tu fais lundi matin

Trois réflexes.

Traite tout fait sorti d’une IA comme non vérifié. Chiffre, date, citation, nom, référence légale, source : par défaut, c’est à confirmer. Utilise l’IA pour structurer et rédiger, pas pour te fournir des faits que tu ne recoupes pas. Une source primaire vaut mille réponses assurées.

Méfie-toi surtout des réponses brillantes. Le réflexe naturel est l’inverse : plus c’est net, plus on fait confiance. Inverse-le. Une réponse trop lisse sur un sujet pointu mérite un contrôle, pas un copier-coller.

Choisis ton modèle selon la tâche, fiabilité comprise. Pour du brainstorming ou de la reformulation, l’hallucination compte peu. Pour du factuel, du chiffré, du sensible, la fiabilité prime sur le prix et sur le score — c’est tout l’esprit de la stack minimale bien pensée : le bon outil pour le bon usage, pas le plus impressionnant pour tout.

Le piège à éviter

Le piège : prendre « open-weight, pas cher, en tête d’un classement » pour « fiable ». Ce sont trois qualités indépendantes. Kimi K3 peut être un excellent choix pour coder à bas coût et un mauvais choix pour répondre à une question factuelle sensible — les deux à la fois. Le prix et le benchmark ne rachètent pas l’honnêteté.

L’autre piège : conclure « les IA mentent, je n’en utilise aucune ». Faux aussi. L’invention est gérable dès qu’on la connaît : on vérifie les faits, on garde l’IA pour ce qu’elle fait bien, on ne lui délègue pas la vérité. Le meilleur modèle n’est pas celui qui ne se trompe jamais — c’est celui dont tu vérifies le travail.