Techonderzoek
Wat AI echt
doet op het werk.
De beste experimenten tot nu toe vertellen een vreemder verhaal dan de hype. Beginners winnen het meest, experts kunnen trager worden zonder het te merken, en een stortvloed aan AI-output haalt nauwelijks de finish.
Vraag iemand die op het werk een chatbot gebruikt of die hem sneller maakt, en de meesten zeggen zonder nadenken ja. Onderzoekers hebben de afgelopen jaren gecontroleerd of dat klopt, met stopwatches, controlegroepen en salarisadministraties in plaats van meningen. Hun antwoord is interessanter dan ja.
Neem het onderzoek van METR, een non-profit onderzoekslab. Zestien ervaren softwareontwikkelaars werkten 246 echte taken af in projecten die ze door en door kenden, en een muntworp bepaalde per taak of AI gebruikt mocht worden. Vooraf voorspelden de ontwikkelaars dat AI hun tijd met 24% zou verkorten. Achteraf dachten ze nog steeds dat het hun 20% had bespaard. De klok zei het tegenovergestelde: met AI duurde het werk 19% langer.
Die kloof tussen hoe AI voelt en wat het oplevert, loopt door het beste onderzoek naar AI op het werk. De winst is echt. Maar ze is ook ongelijk verdeeld, makkelijk te overschatten en verrassend makkelijk kwijt te raken voordat ze de winst-en-verliesrekening bereikt. Dit vonden de sterkste onderzoeken, en dit betekent het als je een bedrijf runt.
De grootste winnaars zijn de nieuwste mensen
Het grootste onderzoek naar AI op een echte werkplek volgde 5.172 klantenservicemedewerkers terwijl hun bedrijf een assistent invoerde die antwoorden voorstelde tijdens chats met klanten. De economen Erik Brynjolfsson, Danielle Li en Lindsey Raymond zagen dat medewerkers met de assistent gemiddeld 15% meer problemen per uur oplosten.
Het gemiddelde verhult het echte verhaal. De minst ervaren en minst vaardige medewerkers gingen er zo’n 30% op vooruit. Medewerkers die twee maanden in dienst waren, presteerden met AI even goed als medewerkers met meer dan zes maanden ervaring zonder AI. De meest ervaren medewerkers werden nauwelijks sneller, en de kwaliteit van hun werk ging zelfs iets omlaag.
De verklaring is simpel, en een beetje diepzinnig. De assistent had geleerd van de gesprekken van de beste medewerkers en gaf hun gewoontes ongemerkt door aan alle anderen. Ook klanten merkten het. Ze waren beleefder en vroegen minder vaak naar een manager.
Briljant, tot het dat niet meer is
In een onderzoek samen met Boston Consulting Group gaven onderzoekers van Harvard Business School, Wharton en MIT 758 consultants realistisch klantwerk en bepaalden ze willekeurig wie een toonaangevend AI-model mocht gebruiken. Bij 18 taken die ruim binnen de mogelijkheden van de AI lagen, van creatief werk tot analyse, rondden de consultants die het gebruikten 12,2% meer taken af, werkten ze 25,1% sneller en leverden ze duidelijk beter werk.
Daarna volgde een taak die bewust net buiten de mogelijkheden van de AI was gekozen: een lastig bedrijfsprobleem dat niet moeilijker leek dan de rest. Daar hadden consultants met AI 19% minder kans op het juiste antwoord dan wie alleen werkte. De onderzoekers noemen dit de grillige grens. AI blinkt uit in sommige taken en zit ernaast bij andere die net zo moeilijk lijken, en aan de buitenkant zie je niet welke welke is.
De ontwikkelaars van METR liepen tegen dezelfde grens aan, met een twist. Ze waren experts in hun eigen projecten, precies de mensen die volgens het supportonderzoek het minst winnen, en ze merkten de vertraging helemaal niet. Toen METR de test wilde herhalen met nieuwere tools, stuitte het op een veelzeggend probleem: 30% tot 50% van de ontwikkelaars zei bepaalde taken achter te houden omdat ze die niet zonder AI wilden doen. METR denkt nu dat nieuwere tools ontwikkelaars waarschijnlijk wel sneller maken, maar kon niet meer meten hoeveel.
Meer activiteit is niet meer afgerond werk
Het nieuwste en grootste onderzoek naar AI en output kijkt naar software, waar elke stap een spoor achterlaat. Mert Demirer, Leon Musolff en Liyuan Yang van MIT en Wharton volgden meer dan 500.000 ontwikkelaars op GitHub, samen met data over hoe elk van hen AI gebruikte.
Elke generatie tools verhoogde de programmeeractiviteit verder. Autocomplete verhoogde die met 30%. Interactieve programmeeragents brachten de totale winst op 180%. Autonome agents brachten die op 240%. Kijk dan naar wat er werd opgeleverd. Die sprong van 240% in activiteit werd een stijging van 80% in projecten en maar 30% in releases. In vier grote appwinkels steeg het aantal nieuwe apps sterk, maar het totale gebruik van nieuwe apps steeg helemaal niet.
De auteurs noemen het de zwakke schakel. AI versnelt de delen van een taak die het raakt, maar het werk moet nog steeds door mensen worden beoordeeld, goedgekeurd, gerepareerd en uitgebracht, en die stappen worden het knelpunt. Meer concepten is niet meer afgerond werk.
Een gerandomiseerd onderzoek binnen de klantenservice van Alibaba laat hetzelfde patroon zien, met klanten die meekijken. Bij ongeveer de helft van 647 servicemedewerkers werd een AI-agent ingeschakeld, verspreid over zo’n 680.000 chats. Chats die de agent zelfstandig afrondde, waren veel sneller, maar klanten gaven ze bijna een volle punt lager op een schaal van vijf. Het slechtst ging het als het systeem wachtte tot een klant zichtbaar gefrustreerd was voordat het een mens inschakelde. Die chats duurden langer, meer klanten kwamen binnen een week terug met hetzelfde probleem, en de beoordelingen daalden met bijna een volle punt. Als supervisors uit zichzelf vroeg ingrepen, slonk de daling tot ongeveer een halve punt.
Salarissen zijn niet veranderd. Het aannamebeleid misschien wel.
Als AI mensen veel productiever zou maken, zou je dat terugzien in loon en uren. Anders Humlum en Emilie Vestergaard van Chicago Booth en de Universiteit van Kopenhagen koppelden grote enquêtes aan de officiële Deense registers van inkomen en uren om dat uit te zoeken. Ze beschrijven snelle stromingen onder stil water. De meeste werkgevers in de blootgestelde beroepen waren chatbotinitiatieven gestart, werknemers meldden echte voordelen, en nieuwe AI-taken waren overal. Toch vonden ze geen meetbaar effect op inkomen of geregistreerde uren, precies genoeg om alles groter dan 2% uit te sluiten. Wat veranderde, was de vorm van het werk, met nieuwe taken zoals schrijven met AI, de output ervan controleren en het in het werk inpassen.
Het duidelijkste signaal tot nu toe komt uit de Verenigde Staten. Op basis van salarisgegevens van ADP vonden Erik Brynjolfsson, Bharat Chandar en Ruyu Chen van Stanford geen teken van grootschalig banenverlies. Maar de werkgelegenheid van 22- tot 25-jarigen in de banen die het meest aan AI zijn blootgesteld, ligt nu 19% lager dan wanneer die gelijke tred had gehouden met leeftijdsgenoten in minder blootgestelde banen. Dat verschil komt vooral doordat er minder jongeren worden aangenomen, niet doordat er meer worden ontslagen, en het concentreert zich in banen waarin AI taken vervangt in plaats van erbij helpt. De auteurs noemen het voorzichtig een patroon, geen bewijs.
Wat het betekent voor je bedrijf
Het onderzoek zegt niet dat AI overhyped is, en ook niet dat AI je gaat redden. Het zegt dat de opbrengst afhangt van waar je het op richt en hoe je het controleert.
- Begin bij je nieuwste mensen en je meest herhaalbare werk. Daar was de winst het grootst, en daar kan AI doorgeven wat je beste mensen al weten.
- Meet, en vraag niet alleen rond. De ontwikkelaars die zich 20% sneller voelden, waren 19% trager. Houd tijd per opdracht, herstelwerk en klantbeoordelingen bij, voor en na je iets invoert.
- Vind je eigen grillige grens. Probeer AI uit op echte taken uit je bedrijf en controleer de antwoorden. Laat mensen de leiding houden over afwegingen, prijzen en alles wat ongebruikelijk is.
- Praat AI met je klanten? Draag dan vroeg over. Iemand die ingrijpt voordat de klant geïrriteerd raakt, beschermt je beoordelingen. Een redding achteraf is de slechtste uitkomst van allemaal.
- Plan voor het nieuwe knelpunt. AI vermenigvuldigt concepten veel sneller dan afgerond werk. Je capaciteit om te controleren, goed te keuren en te publiceren bepaalt of je de winst ziet.
- Blijf junioren aannemen en opleiden. AI maakt nieuwe mensen sneller productief, en de duidelijkste waarschuwing in de data is dat bedrijven er minder van aannemen.
Dezelfde logica geldt voor marketing. AI kan tien advertenties in een minuut schrijven, maar je hebt mensen nodig die je markt kennen om de advertentie te kiezen die verkoopt, en om te bewijzen dat het werkte. Wil je hulp om AI in te zetten waar het rendeert, plan dan een strategiegesprek.
Het onderzoek
Elk cijfer in dit verhaal komt uit een van deze bronnen. Werkdocumenten, rapporten en branchedata zijn gemarkeerd, omdat andere onderzoekers ze niet hebben beoordeeld.
- Een AI-assistent voor 5.172 klantenservicemedewerkers Door Erik Brynjolfsson, Danielle Li en Lindsey Raymond Lees de studie (opent in een nieuw tabblad)
- De grillige grens: 758 consultants bij Boston Consulting Group Door Fabrizio Dell'Acqua, Edward McFowland III en collega’s Lees de studie (opent in een nieuw tabblad)
- Zestien ervaren ontwikkelaars, met en zonder AI Door Joel Becker, Nate Rush en collega’s Lees de studie (opent in een nieuw tabblad)
- Dezelfde test, opnieuw uitgevoerd met nieuwere tools Door Joel Becker, Nate Rush en collega’s Lees de studie (opent in een nieuw tabblad)
- Code schrijven versus code opleveren, bij 500.000 ontwikkelaars Door Mert Demirer, Leon Musolff en Liyuan Yang Lees de studie (opent in een nieuw tabblad)
- Een AI-agent in de klantenservice van Alibaba Door Yiwei Wang, Chuan Zhu en collega’s Lees de studie (opent in een nieuw tabblad)
- Chatbots en salarissen in Denemarken Door Anders Humlum en Emilie Vestergaard Lees de studie (opent in een nieuw tabblad)
- Jonge werknemers in de banen die het meest aan AI zijn blootgesteld Door Erik Brynjolfsson, Bharat Chandar en Ruyu Chen Lees de studie (opent in een nieuw tabblad)