Tech-Forschung
Was KI am Arbeitsplatz
wirklich bewirkt.
Die besten bisherigen Experimente erzählen eine seltsamere Geschichte als der Hype. Einsteiger profitieren am meisten, Experten werden womöglich langsamer, ohne es zu merken, und eine Flut von KI-Output kommt kaum ins Ziel.
Fragen Sie Menschen, die bei der Arbeit einen Chatbot nutzen, ob sie dadurch schneller werden, und die meisten sagen ohne zu zögern Ja. Forschende haben die letzten Jahre damit verbracht, das zu überprüfen, mit Stoppuhren, Kontrollgruppen und Lohndaten statt Meinungen. Ihre Antwort ist interessanter als ein Ja.
Nehmen Sie die Studie von METR, einem gemeinnützigen Forschungslabor. Sechzehn erfahrene Softwareentwickler arbeiteten 246 echte Aufgaben in Projekten ab, die sie in- und auswendig kannten, und ein Münzwurf entschied, ob bei der jeweiligen Aufgabe KI erlaubt war. Vor dem Start schätzten die Entwickler, KI würde ihre Zeit um 24 % verkürzen. Nach dem Ende glaubten sie immer noch, sie hätte ihnen 20 % gespart. Die Uhr sagte das Gegenteil: Mit KI dauerte die Arbeit 19 % länger.
Diese Lücke zwischen dem, wie sich KI anfühlt, und dem, was sie liefert, zieht sich durch die beste Forschung zu KI am Arbeitsplatz. Die Gewinne sind real. Sie sind aber auch ungleich verteilt, leicht zu überschätzen und erstaunlich schnell wieder verloren, bevor sie im Ergebnis ankommen. Hier lesen Sie, was die belastbarsten Studien herausgefunden haben und was das bedeutet, wenn Sie ein Unternehmen führen.
Die größten Gewinner sind die Neuesten im Team
Die größte Studie zu KI an einem echten Arbeitsplatz begleitete 5.172 Supportkräfte, als ihr Unternehmen einen Assistenten einführte, der während der Chats mit Kunden Antworten vorschlug. Die Ökonominnen und Ökonomen Erik Brynjolfsson, Danielle Li und Lindsey Raymond stellten fest, dass Supportkräfte mit dem Assistenten im Schnitt 15 % mehr Anfragen pro Stunde lösten.
Der Durchschnitt verdeckt die eigentliche Geschichte. Die unerfahrensten und am wenigsten qualifizierten Supportkräfte legten um etwa 30 % zu. Supportkräfte, die seit zwei Monaten im Job waren, leisteten mit KI so viel wie Supportkräfte mit mehr als sechs Monaten Erfahrung ohne KI. Die erfahrensten wurden kaum schneller, und die Qualität ihrer Arbeit sank leicht.
Die Erklärung ist einfach und ein wenig tiefgründig. Der Assistent hatte aus den Gesprächen der besten Supportkräfte gelernt und gab deren Gewohnheiten so ganz nebenbei an alle anderen weiter. Auch die Kunden merkten es. Sie waren höflicher und verlangten seltener nach einer Führungskraft.
Brillant, bis sie es nicht mehr ist
In einer Studie mit der Boston Consulting Group gaben Forschende der Harvard Business School, von Wharton und vom MIT 758 Consultants realistische Kundenaufgaben und losten aus, wer ein führendes KI-Modell nutzen durfte. Bei 18 Aufgaben, die klar im Leistungsbereich der KI lagen, von kreativer Arbeit bis zur Analyse, erledigten die Consultants mit KI 12,2 % mehr Aufgaben, arbeiteten 25,1 % schneller und lieferten deutlich bessere Ergebnisse.
Dann kam eine Aufgabe, die bewusst knapp jenseits der Fähigkeiten der KI lag: ein kniffliges Geschäftsproblem, das nicht schwerer aussah als die anderen. Hier kamen Consultants mit KI um 19 % seltener zur richtigen Antwort als diejenigen, die allein arbeiteten. Die Forschenden nennen das die zerklüftete Grenze. KI ist bei manchen Aufgaben hervorragend und bei anderen, die genauso schwer aussehen, irreführend, und an der Oberfläche erkennen Sie nicht, welche welche ist.
Die METR-Entwickler stießen auf dieselbe Grenze, mit einer Wendung. Sie waren Experten für ihre eigenen Projekte, also genau die Menschen, die laut der Support-Studie am wenigsten profitieren, und sie spürten die Verlangsamung überhaupt nicht. Als METR versuchte, den Test mit neueren Tools zu wiederholen, stieß das Team auf ein vielsagendes Problem: 30 % bis 50 % der Entwickler gaben an, manche Aufgaben zurückzuhalten, weil sie sie nicht ohne KI erledigen wollten. METR geht inzwischen davon aus, dass neuere Tools Entwickler wahrscheinlich tatsächlich schneller machen, konnte aber nicht mehr messen, um wie viel.
Mehr Aktivität ist nicht mehr fertige Arbeit
Die neueste und größte Studie zu KI und Output untersucht Software, wo jeder Schritt Spuren hinterlässt. Mert Demirer, Leon Musolff und Liyuan Yang vom MIT und von Wharton verfolgten mehr als 500.000 Entwickler auf GitHub, samt Daten dazu, wie jeder von ihnen KI nutzte.
Jede Generation von Tools steigerte die Coding-Aktivität weiter. Autovervollständigung hob sie um 30 %. Interaktive Coding-Agenten brachten den Gesamtzuwachs auf 180 %, autonome Agenten auf 240 %. Dann sehen Sie sich an, was tatsächlich ausgeliefert wurde. Aus dem Aktivitätssprung von 240 % wurden 80 % mehr Projekte und nur 30 % mehr Releases. In vier großen App-Marktplätzen stieg die Zahl neuer Apps stark an, die gesamte Nutzung neuer Apps aber überhaupt nicht.
Die Autoren nennen es das schwache Glied. KI beschleunigt die Teile einer Arbeit, die sie berührt, aber die Arbeit muss weiterhin von Menschen geprüft, freigegeben, korrigiert und veröffentlicht werden, und diese Schritte werden zum Engpass. Mehr Entwürfe sind nicht mehr fertige Arbeit.
Eine randomisierte Studie im Kundenservice von Alibaba zeigt dasselbe Muster, während Kunden zusehen. Ein KI-Agent wurde für etwa die Hälfte von 647 Servicemitarbeitenden eingeschaltet, über rund 680.000 Chats hinweg. Chats, die der Agent allein abschloss, waren deutlich schneller, doch Kunden bewerteten sie auf einer Fünf-Punkte-Skala fast einen ganzen Punkt schlechter. Am schlimmsten war es, wenn das System wartete, bis ein Kunde sichtlich frustriert war, bevor es einen Menschen hinzuzog. Diese Chats dauerten länger, mehr Kunden meldeten sich innerhalb einer Woche mit demselben Problem wieder, und die Bewertungen sanken um fast einen ganzen Punkt. Griffen Vorgesetzte früh und aus eigenem Antrieb ein, schrumpfte der Rückgang der Bewertungen auf etwa einen halben Punkt.
Die Gehälter haben sich nicht bewegt. Die Einstellungen vielleicht schon.
Würde KI Menschen dramatisch produktiver machen, müsste sich das bei Löhnen und Arbeitszeiten zeigen. Anders Humlum und Emilie Vestergaard von Chicago Booth und der Universität Kopenhagen verknüpften große Umfragen mit Dänemarks amtlichen Daten zu Einkommen und Arbeitsstunden, um das herauszufinden. Sie beschreiben schnelle Strömungen unter stillem Wasser. Die meisten Arbeitgeber in den betroffenen Berufen hatten Chatbot-Initiativen gestartet, Beschäftigte berichteten von echtem Nutzen, und neue KI-Aufgaben gab es überall. Trotzdem fanden sie keinen messbaren Effekt auf Einkommen oder erfasste Arbeitsstunden, präzise genug, um alles über 2 % auszuschließen. Verändert hat sich die Gestalt der Arbeit, mit neuen Aufgaben wie dem Schreiben mit KI, dem Prüfen ihrer Ergebnisse und ihrer Einbindung in den Job.
Das bislang deutlichste Signal kommt aus den USA. Anhand von Lohnabrechnungsdaten von ADP fanden Erik Brynjolfsson, Bharat Chandar und Ruyu Chen von Stanford keine Anzeichen für flächendeckenden Stellenabbau. Die Beschäftigung von 22- bis 25-Jährigen in den Jobs, die KI am stärksten ausgesetzt sind, liegt jedoch inzwischen 19 % unter dem Niveau, das sie erreicht hätte, wenn sie mit Gleichaltrigen in weniger betroffenen Jobs Schritt gehalten hätte. Die Lücke entsteht vor allem dadurch, dass weniger junge Menschen eingestellt und nicht mehr entlassen werden, und sie konzentriert sich auf Jobs, in denen KI Aufgaben ersetzt, statt bei ihnen zu helfen. Die Autoren sprechen bewusst von einem Muster, nicht von einem Beweis.
Was das für Ihr Unternehmen bedeutet
Die Forschung sagt nicht, dass KI überbewertet ist, und auch nicht, dass KI Sie retten wird. Sie sagt: Der Nutzen hängt davon ab, wo Sie sie einsetzen und wie Sie sie überprüfen.
- Beginnen Sie mit Ihren neuesten Leuten und Ihrer am besten wiederholbaren Arbeit. Dort waren die Gewinne am größten, und dort kann KI weitergeben, was Ihre besten Leute bereits wissen.
- Messen statt fragen. Die Entwickler, die sich 20 % schneller fühlten, waren 19 % langsamer. Erfassen Sie Zeit pro Auftrag, Nacharbeit und Kundenbewertungen, bevor und nachdem Sie etwas einführen.
- Finden Sie Ihre eigene zerklüftete Grenze. Testen Sie KI an echten Aufgaben aus Ihrem Unternehmen und prüfen Sie die Antworten. Ermessensentscheidungen, Preise und alles Ungewöhnliche bleiben in der Verantwortung von Menschen.
- Wenn KI mit Ihren Kunden spricht: früh übergeben. Ein Mensch, der eingreift, bevor der Kunde genervt ist, schützt Ihre Bewertungen. Eine Rettung im Nachhinein ist das schlechteste Ergebnis von allen.
- Planen Sie für den neuen Engpass. KI vervielfacht Entwürfe viel schneller als fertige Arbeit. Ihre Kapazität zum Prüfen, Freigeben und Veröffentlichen entscheidet, ob Sie die Gewinne sehen.
- Stellen Sie weiter Nachwuchskräfte ein und bilden Sie sie aus. KI macht neue Leute schneller produktiv, und die deutlichste Warnung in den Daten ist, dass Unternehmen weniger von ihnen einstellen.
Im Marketing gilt dieselbe Logik. KI kann in einer Minute zehn Anzeigen entwerfen, aber es braucht Menschen, die Ihren Markt kennen, um die eine auszuwählen, die verkauft, und um zu belegen, dass sie funktioniert hat. Wenn Sie Unterstützung dabei möchten, KI dort einzusetzen, wo es sich auszahlt, buchen Sie ein Strategiegespräch.
Die Studien
Jede Zahl in diesem Beitrag stammt aus einer dieser Quellen. Arbeitspapiere, Berichte und Branchendaten sind gekennzeichnet, weil sie nicht von anderen Forschenden begutachtet wurden.
- Ein KI-Assistent für 5.172 Supportkräfte Von Erik Brynjolfsson, Danielle Li und Lindsey Raymond Studie lesen (öffnet in einem neuen Tab)
- Die zerklüftete Grenze: 758 Consultants der Boston Consulting Group Von Fabrizio Dell'Acqua, Edward McFowland III u. a. Studie lesen (öffnet in einem neuen Tab)
- Sechzehn erfahrene Entwickler, mit und ohne KI Von Joel Becker, Nate Rush u. a. Studie lesen (öffnet in einem neuen Tab)
- Derselbe Test, wiederholt mit neueren Tools Von Joel Becker, Nate Rush u. a. Studie lesen (öffnet in einem neuen Tab)
- Code schreiben versus Code ausliefern, bei 500.000 Entwicklern Von Mert Demirer, Leon Musolff und Liyuan Yang Studie lesen (öffnet in einem neuen Tab)
- Ein KI-Agent im Kundenservice von Alibaba Von Yiwei Wang, Chuan Zhu u. a. Studie lesen (öffnet in einem neuen Tab)
- Chatbots und Gehälter in Dänemark Von Anders Humlum und Emilie Vestergaard Studie lesen (öffnet in einem neuen Tab)
- Junge Beschäftigte in den Jobs, die KI am stärksten ausgesetzt sind Von Erik Brynjolfsson, Bharat Chandar und Ruyu Chen Studie lesen (öffnet in einem neuen Tab)