Recherche technologique
Ce que l’IA fait vraiment
au travail.
Les meilleures expériences menées à ce jour racontent une histoire plus étrange que l’engouement ambiant. Les débutants y gagnent le plus, les experts peuvent ralentir sans s’en rendre compte, et un flot de contenus produits par l’IA franchit à peine la ligne d’arrivée.
Demandez à quiconque utilise un chatbot au travail s’il le rend plus rapide : la plupart répondront oui sans hésiter. Ces dernières années, des chercheurs ont vérifié, avec des chronomètres, des groupes témoins et des registres de paie plutôt que des opinions. Leur réponse est plus intéressante qu’un simple oui.
Prenez l’essai mené par METR, un laboratoire de recherche à but non lucratif. Seize développeurs expérimentés ont traité 246 tâches réelles sur des projets qu’ils connaissaient sur le bout des doigts, et un tirage à pile ou face décidait si chaque tâche pouvait se faire avec l’IA. Avant de commencer, les développeurs prévoyaient que l’IA réduirait leur temps de 24 %. Une fois le travail terminé, ils pensaient toujours qu’elle leur avait fait gagner 20 %. Le chronomètre a dit le contraire : avec l’IA autorisée, le travail a pris 19 % de temps en plus.
Cet écart entre l’impression que donne l’IA et ce qu’elle apporte réellement traverse les meilleures recherches sur l’IA au travail. Les gains sont réels. Ils sont aussi inégaux, faciles à surestimer et étonnamment faciles à perdre avant d’atteindre le résultat net. Voici ce qu’ont trouvé les études les plus solides, et ce que cela signifie si vous dirigez une entreprise.
Les grands gagnants sont les nouveaux venus
La plus vaste étude de l’IA en situation réelle de travail a suivi 5 172 agents du service client pendant que leur entreprise déployait un assistant qui leur suggérait des réponses lors de leurs échanges par chat avec les clients. Les économistes Erik Brynjolfsson, Danielle Li et Lindsey Raymond ont constaté que les agents équipés de l’assistant résolvaient en moyenne 15 % de problèmes de plus par heure.
La moyenne cache l’essentiel. Les agents les moins expérimentés et les moins qualifiés ont gagné environ 30 %. Des agents en poste depuis deux mois, avec l’IA, ont fait aussi bien que des agents ayant plus de six mois d’expérience sans elle. Les agents les plus expérimentés ont à peine accéléré, et la qualité de leur travail a légèrement baissé.
L’explication est simple, et un peu profonde. L’assistant avait appris des conversations des meilleurs agents : il transmettait donc discrètement leurs habitudes à tous les autres. Les clients l’ont remarqué aussi. Ils étaient plus polis et demandaient moins souvent à parler à un responsable.
Brillante, jusqu’à ce qu’elle ne le soit plus
Dans une étude menée avec le Boston Consulting Group, des chercheurs de Harvard Business School, de Wharton et du MIT ont confié à 758 consultants des missions client réalistes et tiré au sort ceux qui pourraient utiliser un modèle d’IA de pointe. Sur 18 tâches bien à la portée de l’IA, du travail créatif à l’analyse, les consultants qui l’utilisaient ont accompli 12,2 % de tâches en plus, travaillé 25,1 % plus vite et rendu un travail nettement meilleur.
Puis est venue une tâche choisie pour se situer juste au-delà des capacités de l’IA : un problème d’affaires épineux qui ne semblait pas plus difficile que les autres. Là, les consultants qui utilisaient l’IA étaient 19 % moins susceptibles de trouver la bonne réponse que ceux qui travaillaient seuls. Les chercheurs appellent cela la frontière en dents de scie. L’IA excelle dans certaines tâches et induit en erreur dans d’autres qui semblent tout aussi difficiles, et rien en apparence ne permet de distinguer les unes des autres.
Les développeurs de METR se sont heurtés à la même limite, avec une particularité. Ils étaient experts de leurs propres projets, précisément le profil qui, selon l’étude sur le service client, gagne le moins, et ils n’ont pas du tout senti le ralentissement. Quand METR a tenté de refaire le test avec des outils plus récents, l’équipe s’est heurtée à un problème révélateur : de 30 % à 50 % des développeurs disaient écarter certaines tâches parce qu’ils ne voulaient pas les faire sans IA. METR pense désormais que les outils plus récents accélèrent probablement les développeurs, mais ne peut plus mesurer de combien.
Plus d’activité ne veut pas dire plus de travail fini
L’étude la plus récente et la plus vaste sur l’IA et la production porte sur le logiciel, où chaque étape laisse une trace. Mert Demirer, Leon Musolff et Liyuan Yang, du MIT et de Wharton, ont suivi plus de 500 000 développeurs sur GitHub, avec des données sur la façon dont chacun d’eux utilisait l’IA.
Chaque génération d’outils a fait grimper encore l’activité de codage. L’autocomplétion l’a augmentée de 30 %. Les agents de codage interactifs ont porté le gain total à 180 %. Les agents autonomes, à 240 %. Regardez maintenant ce qui a été livré. Ce bond de 240 % de l’activité s’est traduit par une hausse de 80 % des projets et de seulement 30 % des versions publiées. Sur quatre grandes boutiques d’applications, le nombre de nouvelles applications a fortement augmenté, mais l’utilisation totale des nouvelles applications n’a pas augmenté du tout.
Les auteurs parlent du maillon faible. L’IA accélère les parties d’un travail qu’elle touche, mais ce travail doit toujours être relu, approuvé, corrigé et publié par des humains, et ces étapes deviennent le goulot d’étranglement. Plus de brouillons ne veut pas dire plus de travail fini.
Un essai randomisé au sein du service client d’Alibaba montre la même tendance, sous les yeux des clients. Un agent IA a été activé pour environ la moitié de 647 employés du service, sur quelque 680 000 conversations. Les conversations que l’agent menait seul à terme étaient bien plus rapides, mais les clients leur donnaient presque un point de moins sur une échelle de cinq. Le pire cas survenait lorsque le système attendait qu’un client soit visiblement agacé avant de faire appel à un humain. Ces conversations duraient plus longtemps, davantage de clients revenaient avec le même problème dans la semaine, et les notes chutaient de près d’un point. Quand des superviseurs intervenaient tôt, de leur propre initiative, la baisse des notes se réduisait à environ un demi-point.
Les salaires n’ont pas bougé. L’embauche, peut-être.
Si l’IA rendait les gens spectaculairement plus productifs, on s’attendrait à le voir dans les salaires et les heures travaillées. Anders Humlum et Emilie Vestergaard, de Chicago Booth et de l’Université de Copenhague, ont croisé de vastes enquêtes avec les registres officiels danois des revenus et des heures pour le vérifier. Ils décrivent des courants rapides sous une eau calme. La plupart des employeurs des métiers exposés avaient lancé des initiatives autour des chatbots, les travailleurs faisaient état de réels bénéfices, et les nouvelles tâches liées à l’IA étaient partout. Pourtant, ils n’ont trouvé aucun effet mesurable sur les revenus ou les heures déclarées, avec une précision suffisante pour exclure tout effet supérieur à 2 %. Ce qui a changé, c’est la forme du travail, avec de nouvelles tâches comme rédiger avec l’IA, vérifier ses résultats et l’intégrer au poste.
Le signal le plus net à ce jour vient des États-Unis. À partir des données de paie d’ADP, Erik Brynjolfsson, Bharat Chandar et Ruyu Chen, de Stanford, n’ont trouvé aucun signe de pertes d’emplois généralisées. Mais l’emploi des travailleurs de 22 à 25 ans dans les métiers les plus exposés à l’IA est désormais inférieur de 19 % à ce qu’il serait s’il avait suivi le rythme de leurs pairs dans des métiers moins exposés. L’écart s’explique surtout par moins d’embauches de jeunes plutôt que par davantage de licenciements, et il se concentre dans les métiers où l’IA remplace des tâches au lieu d’y aider. Les auteurs prennent soin de parler d’une tendance, pas d’une preuve.
Ce que cela signifie pour votre entreprise
La recherche ne dit pas que l’IA est surestimée, ni qu’elle va vous sauver. Elle dit que les retombées dépendent de l’endroit où vous la dirigez et de la façon dont vous la contrôlez.
- Commencez par vos nouvelles recrues et vos tâches les plus répétitives. C’est là que les gains ont été les plus importants, et là que l’IA peut transmettre ce que vos meilleurs éléments savent déjà.
- Mesurez, ne sondez pas. Les développeurs qui se sentaient 20 % plus rapides étaient 19 % plus lents. Suivez le temps par tâche, les reprises et les notes clients avant et après tout déploiement.
- Trouvez votre propre frontière en dents de scie. Testez l’IA sur de vraies tâches de votre entreprise et vérifiez les réponses. Laissez aux humains les décisions qui demandent du jugement, la tarification et tout ce qui sort de l’ordinaire.
- Si l’IA parle à vos clients, passez le relais tôt. Une personne qui intervient avant que le client ne s’agace protège vos notes. Un sauvetage après coup est le pire scénario.
- Prévoyez le nouveau goulot d’étranglement. L’IA multiplie les brouillons bien plus vite que le travail fini. Votre capacité à vérifier, approuver et publier détermine si vous verrez les gains.
- Continuez à embaucher et à former des juniors. L’IA rend les nouvelles recrues productives plus tôt, et l’avertissement le plus clair des données, c’est que les entreprises en embauchent moins.
La même logique vaut en marketing. L’IA peut rédiger dix annonces en une minute, mais il faut des gens qui connaissent votre marché pour choisir celle qui vend, et pour prouver qu’elle a fonctionné. Si vous voulez de l’aide pour mettre l’IA au travail là où elle rapporte, réservez un appel stratégique.
Les études
Chaque chiffre de cet article provient de l’une de ces sources. Les documents de travail, rapports et données sectorielles sont signalés, car ils n’ont pas été évalués par d’autres chercheurs.
- Un assistant IA pour 5 172 agents du service client Par Erik Brynjolfsson, Danielle Li et Lindsey Raymond Lire l’étude (s’ouvre dans un nouvel onglet)
- La frontière en dents de scie : 758 consultants au Boston Consulting Group Par Fabrizio Dell'Acqua, Edward McFowland III et leurs collègues Lire l’étude (s’ouvre dans un nouvel onglet)
- Seize développeurs expérimentés, avec et sans IA Par Joel Becker, Nate Rush et leurs collègues Lire l’étude (s’ouvre dans un nouvel onglet)
- Le même test, refait avec des outils plus récents Par Joel Becker, Nate Rush et leurs collègues Lire l’étude (s’ouvre dans un nouvel onglet)
- Écrire du code ou le livrer, sur 500 000 développeurs Par Mert Demirer, Leon Musolff et Liyuan Yang Lire l’étude (s’ouvre dans un nouvel onglet)
- Un agent IA au service client d’Alibaba Par Yiwei Wang, Chuan Zhu et leurs collègues Lire l’étude (s’ouvre dans un nouvel onglet)
- Chatbots et salaires au Danemark Par Anders Humlum et Emilie Vestergaard Lire l’étude (s’ouvre dans un nouvel onglet)
- Les jeunes travailleurs dans les métiers les plus exposés à l’IA Par Erik Brynjolfsson, Bharat Chandar et Ruyu Chen Lire l’étude (s’ouvre dans un nouvel onglet)