L'IA cherche bien, mais elle ne choisit pas quoi chercher : un benchmark révèle sa vraie limite (3 à 15 %)

Un nouveau test met des chiffres sur une intuition que beaucoup de solos ont sans savoir la nommer : l’IA est brillante pour avancer sur un problème posé, mais faible pour décider quel problème vaut la peine. Le benchmark, baptisé Reconstruction (publié en août 2026), demande à un modèle de retrouver l’idée centrale d’un article de recherche à partir de sa seule bibliographie — le texte, les auteurs et tout le reste étant retirés. Les meilleurs modèles de pointe plafonnent entre 3 et 15 %. Voici pourquoi ce résultat te concerne, même si tu ne fais pas de recherche.

Ce qui s’est passé

L’astuce du test est maligne. En ne laissant que la liste des références, il tente de séparer la vraie génération d’idées de la simple récupération de ce que le modèle a mémorisé pendant son entraînement — le biais qui fausse toutes les démonstrations de « créativité de l’IA ». Un score de 3 à 15 % suggère que les modèles sont bien plus faibles qu’on ne le croit pour proposer une direction neuve à partir d’indices épars. Détail encourageant en revanche : une approche à plusieurs agents qui se comparent et sélectionnent les meilleures pistes atteint 42 % — l’orchestration récupère une partie de ce qu’un seul passage manque.

La lecture la plus juste, c’est celle-ci : les modèles sont forts pour chercher dans un espace de solutions bien défini, et faibles pour décider quel espace mérite d’être exploré. Ils exécutent une quête, ils ne la choisissent pas.

Ce que ça veut dire

Pour un solo, cette distinction est de l’or. Elle trace la frontière entre ce que tu peux déléguer à l’IA et ce qui reste irréductiblement ton job. « Rédige-moi trois versions de cette page », « résume ces retours clients », « trouve les objections possibles à cette offre » : problèmes posés, l’IA excelle. En revanche, « quel produit devrais-je lancer ? », « quelle est la vraie douleur de mon marché ? », « quelle direction prendre cette année ? » : là, tu lui demandes de choisir la question, et c’est précisément ce qu’elle fait mal.

C’est le prolongement concret de l’idée que l’IA ne remplace pas ton métier, elle le redéfinit : elle déplace ta valeur de « celui qui exécute » vers « celui qui cadre et décide ». Le jugement stratégique — viser la bonne cible — devient ton avantage le plus difficile à copier.

Ce que tu fais lundi matin

Range tes usages de l’IA en deux tas. D’un côté, les tâches où tu poses la question et la cible : là, délègue à fond, l’IA te fera gagner un temps fou. De l’autre, les décisions où il faut inventer la question ou choisir la direction : garde-les pour toi, quitte à utiliser l’IA comme sparring-partner qui liste des options — mais la décision te revient. Et quand tu délègues, cadre bien : plus ton problème est précis, meilleure est l’IA. C’est tout l’intérêt de la méthode AXO pour prompter — un prompt, c’est un espace de recherche que tu délimites pour la machine.

Le piège à éviter

Le piège : prendre la fluidité de l’IA pour de la pertinence stratégique. Un modèle te répondra toujours avec assurance à « quelle est la meilleure idée de business pour moi ? » — et sa réponse sonnera bien. Mais un score de 3 à 15 % quand il faut réellement inventer une direction devrait te rappeler que « ça semble solide » n’est pas « c’est la bonne cible ». La confiance de l’output n’est pas une preuve de justesse ; c’est un des cas où l’IA est mauvaise.

L’autre piège : te dévaloriser en croyant que l’IA va bientôt tout décider à ta place. Ce benchmark dit l’inverse. Le goulot n’est pas ta capacité à exécuter — l’IA la démultiplie — c’est ta capacité à choisir quoi faire, pour qui, et pourquoi. C’est rare, ça ne s’automatise pas, et c’est exactement ce qui fait la différence entre un solo qui subit ses outils et un solo qui les pilote. Cultive ce muscle-là : il vaudra de plus en plus cher à mesure que l’exécution devient gratuite.