Mesurer l'adoption de l'IA par le travail qui en sort

Regarder les résultats et les obstacles sans noter les personnes.

· 9 min de lecture

Une équipe peut utiliser l'IA chaque jour sans améliorer les décisions ou les livrables qui comptent. Les connexions et les prompts envoyés attestent une activité. Pour comprendre ce que cette activité change, il faut aller regarder le travail produit et ce qu'il devient.

Cette distinction compte aussi pour les personnes qui utilisent les outils. Une mesure centrée sur la fréquence encourage à prouver qu'on s'en sert. Une mesure centrée sur le résultat permet une autre conversation : sur quelle tâche l'aide est-elle utile, et où manque-t-il encore un accès, une méthode ou une compétence ?

Adam Faik décrit un déplacement voisin dans son équipe PM/design : il remplace un projet de suivi par étiquettes et déclarations par des liens vers des artefacts. Il présente ce dispositif comme une première version expérimentale, dont la qualité doit encore être contrôlée. Ce retour de praticien donne une piste ; il ne démontre pas qu’un quota de livrables mesure l’impact de l’IA.

La proposition de cet article garde le travail comme point de départ, puis regarde ce qu’il devient. Elle ne fournit ni score individuel ni estimation d’un gain moyen. Son intérêt serait de choisir l’accompagnement et les usages à poursuivre, pas de produire un taux de transformation de toute l’entreprise.

Choisir un résultat que l'on sait relire

Prenons une équipe fictive qui prépare des décisions produit. Compter les synthèses générées lui donne un volume. Examiner si les décisions retrouvent leurs sources, leurs inconnues et leurs conséquences dit quelque chose de plus proche du travail attendu.

Le livrable peut être modeste : une analyse d'entretiens, un prototype destiné à répondre à une question, un dossier d'arbitrage. Ce qui importe est de définir les critères avant d'utiliser le document comme preuve d'adoption.

Une analyse « faite avec l'IA » n'est pas encore une analyse de qualité. Elle doit conserver les contre-exemples, distinguer les propos des déductions et permettre de revenir aux sources. Les critères portent sur la tâche ; la présence de l'outil ne les remplace pas.

Pour suivre ce raisonnement, prenons une équipe fictive qui édite un logiciel de traduction de jeux. Elle emploie l’IA pour préparer des notes d’arbitrage sur les demandes des studios. Les situations qui suivent sont inventées et n’attestent aucun effet réel.

Une note est utilisable si elle retrouve la demande du studio, les contraintes de traduction et les options à décider. Une page bien rédigée qui oublie une contrainte reste à reprendre. Une autre note peut être moins élégante et préparer correctement le choix. Avant de compter les documents, la personne qui les utilise explique la différence.

Choisir ces critères peut révéler un désaccord sur le travail lui-même. Si la direction attend une recommandation et l’équipe une exploration ouverte, aucun indicateur « assisté par IA » ne résout l’écart. Il faut d’abord préciser à quelle décision sert la note et qui en accepte la préparation.

Définir ce qui entre dans le compte

Le dénominateur change l’histoire. Toutes les initiatives n’ont pas le même besoin d’analyse, le même accès aux données ou le même droit d’utiliser un service. Distingue ce qui est éligible, ce qui a été essayé et ce qui n’a pas été observé.

Dans un relevé fictif de six chantiers, trois justifient une note d’arbitrage. Deux produisent un document accepté selon les critères convenus ; le troisième attend encore un accès autorisé aux sources. Les autres chantiers n’exigent pas ce livrable. Deux sur trois décrit la couverture de ce travail éligible, pas l’adoption de l’IA sur six projets ni la qualité de toutes les décisions.

Même ce petit compte demande de conserver les cas. Si l’accès bloque un chantier, le classer « équipe peu engagée » orienterait vers une formation qui ne répond pas au problème. Si les deux documents acceptés doivent tout au travail humain qui suit la génération, leur étiquette IA ne décrit pas la contribution réelle de l’outil.

Les traces d’activité restent utiles pour certaines questions. Des connexions impossibles ou un essai interrompu peuvent signaler une difficulté d’accès ou de prise en main. Elles deviennent trompeuses lorsqu’on leur fait dire que le travail s’améliore. Il faut associer chaque signal à la question qu’il peut éclairer.

Observer le passage au maillon suivant

Un prototype peut être convaincant et ne jamais servir à tester la question qui l'a motivé. Une synthèse peut être acceptée puis provoquer plusieurs reprises parce que les décisions qu'elle contient étaient ambiguës.

Il faut donc suivre quelques livrables au-delà de leur création. Qui les a utilisés ? Quelle action ont-ils rendue possible ? Qu'a-t-il fallu corriger ? La mesure devient plus exigeante, mais elle évite de récompenser une production qui surcharge simplement les collègues.

Dans l'équipe fictive, on pourrait suivre la part des dossiers acceptés selon la grille et les reprises nécessaires lors de l'arbitrage. Il faudrait conserver le nombre de dossiers, leur complexité et la période. Une variation entre deux semaines ne prouverait pas que l'IA en est la cause.

Une note acceptée puis inutilisée mérite aussi une question. La décision a-t-elle été reportée ? Le lecteur avait-il besoin d’une conversation plutôt que d’un document ? La page est-elle arrivée après l’engagement commercial ? Ces explications ne demandent pas la même correction. Une absence d’usage ne prouve pas automatiquement un défaut de qualité.

Pour quelques cas, garde la suite connue : note consultée, question traitée, reprise demandée, décision reportée. Ne transforme pas ce suivi en journal exhaustif des gestes de chaque personne. Il doit être assez léger pour rester utilisé et assez précis pour retrouver ce qui bloque.

Si les notes s’accumulent avant l’arbitrage, le problème peut être la capacité de décision. Faire produire encore davantage épaissirait la file. « Quand les agents produisent plus vite que l'équipe ne décide » développe ce diagnostic ; ici, son rôle est d’empêcher une mesure locale d’adoption de récompenser une surcharge en aval.

Regarder le travail en train de se faire

Un tableau ne montre pas toujours pourquoi un usage reste superficiel. L'observation d'une tâche réelle peut révéler un document inaccessible, une question mal formulée ou une personne qui ne sait pas comment contrôler la réponse.

Ce moment demande un cadre clair : on observe le dispositif pour améliorer l'aide, pas pour classer les personnes selon leur maîtrise d'un outil. Une personne qui refuse une sortie incorrecte peut avoir moins de livrables « assistés » et exercer un meilleur jugement.

L'accompagnement peut alors porter sur un geste précis : préparer les sources, comparer les versions, vérifier une affirmation ou corriger le format. La prochaine occurrence de travail permet de voir si l'obstacle a été levé.

Dans le scénario, une personne ne trouve pas la version autorisée du dossier studio. Une autre dispose du bon dossier mais ne sait pas vérifier les références proposées. Une troisième écarte une sortie qui mélange deux clients. Le même nombre de documents produits masquerait trois situations très différentes : accès, méthode de contrôle et jugement correctement exercé.

Propose une aide limitée au blocage observé. La personne prépare ensuite une nouvelle note ou reprend une tâche comparable, et explique comment elle a vérifié le résultat. Un exemple réussi pendant une séance accompagnée montre que le geste est possible dans ces conditions ; il ne garantit pas qu’il sera repris seul un mois plus tard.

Il peut être utile de partager quelques exemples autorisés avec leur contexte et leur principale correction. Un « bon résultat » sans les entrées nécessaires donne une recette difficile à réutiliser. Une bibliothèque trop lourde peut aussi devenir une nouvelle charge d’entretien. L’équipe choisit ce qui sert vraiment à la prochaine occurrence.

Ne pas réduire les pratiques utiles à un document généré

Une personne peut utiliser l’IA pour chercher une objection, puis ne retenir aucune phrase produite. L’effet éventuel se trouve dans son raisonnement, pas dans un fichier étiqueté. À l’inverse, un document généré et partagé peut n’avoir rien changé à la préparation.

Le suivi par livrables est donc une porte d’entrée pour examiner le travail, pas une définition complète de l’adoption. Complète-le par quelques récits de tâches, avec ce que l’aide a modifié et ce qui reste incertain. Une déclaration reste une déclaration ; elle peut orienter une observation sans devenir une mesure de valeur.

Le coût doit rester visible aussi. Préparation des sources, contrôle, reprises et aide entre collègues peuvent consommer le temps libéré à la génération. « Calculer le coût d'un résultat accepté avec un agent IA » distingue cette charge, sa valorisation et les dépenses réelles. Une meilleure qualité peut justifier plus de temps : ce choix doit pouvoir apparaître dans le bilan.

Ne pas faire d'une mesure locale un score de transformation

Quelques artefacts réussis montrent qu'un usage existe. Ils ne démontrent ni une adoption durable, ni un gain net, ni une meilleure performance de toute l'équipe.

Certaines tâches n'ont d'ailleurs aucune raison d'utiliser l'IA. Exiger un artefact généré pour chaque initiative fabriquerait une obligation d'activité sous un autre nom. Le périmètre doit couvrir les cas où une aide est effectivement attendue, avec la possibilité d'en sortir lorsqu'elle n'apporte rien.

On peut commencer dans le suivi déjà utilisé par l'équipe : un lien vers le livrable, une appréciation selon des critères connus et la correction principale. Si la déclaration devient plus coûteuse que l'information obtenue, simplifier.

Le résultat intéressant d'une revue peut être « cet usage ne tient pas encore ». Cela permet de choisir une aide ou de retirer un dispositif. Un indicateur qui n'autorise que l'augmentation de l'usage aura du mal à rendre cette conclusion visible.

Limites et suite à choisir

La comparaison entre personnes ou équipes serait particulièrement fragile : tâches, expérience, accès et contraintes diffèrent. Ce suivi ne prépare pas un palmarès des meilleurs utilisateurs. Même au niveau collectif, une hausse peut venir d’un changement de périmètre ou d’un soutien temporaire ; elle ne prouve pas un progrès durable.

La qualité des notes garde une part de jugement. Fais expliciter les désaccords entre relecteurs au lieu de les cacher dans une moyenne. Si l’équipe veut examiner la régularité d’une fonction générative, « Tester une fonction IA sur plusieurs réponses plutôt qu'une belle démo » répond à cette autre question.

À la fin d’une période choisie, le responsable doit pouvoir nommer quelques décisions : un accès à débloquer, un geste à accompagner, un usage à poursuivre ou à abandonner, une mesure à simplifier. Le bilan conserve les cas inconnus et les limites de comparaison. Cette proposition n’a pas été évaluée dans l’équipe fictive ; son résultat attendu est une décision d’accompagnement plus précise, pas une promesse chiffrée d’adoption.

Dans la bibliothèque

Des outils de la catégorie Organisation. Voir toute la catégorie →

À lire ensuite

Recevoir la newsletter

Des tutos, des essais et des retours bruts sur ce que je construis. Le lien pour te désabonner est en bas de chaque édition.

L’inscription se termine sur Substack, dans un nouvel onglet.