Die Harvard-Studie besagt, dass KI mehr Code geschrieben und nichts ausgeliefert hat. Lesen Sie es zweimal.
Mehr Leitungen, mehr Pull-Requests, dieselbe ausgelieferte Software. Der Engpass wurde zur Überprüfung verschoben.
Forscher in Harvard untersuchten Daten von über 700.000 Mitarbeitern in 718 Unternehmen und fanden heraus, dass vollständig agentenbasierte Codierungstools die Anzahl der Codezeilen um 30 Prozent und der Pull-Anfragen um 23 Prozent steigerten. Beide Zahlen waren statistisch signifikant.
Das Unangenehme daran: Sie stellten keine messbare Veränderung bei gelösten Problemen oder Epics fest, ihrem Ersatz für Software, die tatsächlich ausgeliefert wird. Der Gewinn betraf das Volumen, nicht die Ergebnisse.
Sie haben es zurückverfolgt, um es zu überprüfen. Die Zeit zur Überprüfung einer Pull-Anfrage stieg um 49 Prozent, nachdem Teams Agenten eingeführt hatten, und die Kommentare pro Anfrage stiegen um 35 Prozent. Die Agenten schrieben schneller, als Menschen es überprüfen konnten.
Die Lektion besteht nicht darin, „aufhören, Agenten zu verwenden“. Es heißt: „Stellen Sie Prüfer ein, sonst stapelt sich der Code ungelesen.“ Wir haben den Writer optimiert und den Editor vergessen.