Das Start-up Cognition Labs hat einige Zeit lang an einem KI-Assistenten speziell für Programmieraufgaben gearbeitet. Das Ergebnis ist Devin, ein Softwareentwicklungstool, welches mittels künstlicher Intelligenz Prompts versteht und selbstständig passenden Code dazu generiert. Die Software soll dabei wie ein menschlicher Softwareentwickler arbeiten, wie kurze Demonstrationen zeigen.
In einem Beispiel soll Devin etwa die Leistung von Facebooks Llama-Sprachmodell evaluieren. Devin interpretiert zunächst die per Textprompt gestellte Anweisung und erstellt sich einen To-do-Plan. In einem separaten Fenster können Nutzer stets sehen, welche Schritte das Programm durchführt. Im Beispiel sucht Devin etwa zunächst im Internet nach den passenden APIs für Benchmark-Tools und erstellt anschließend ein Python-Script.
Devin verwendet eine eigene Kommandozeile, einen eigenen Code-Editor und einen eigenen Browser. Die Software imitiert so den natürlichen Workflow eines menschlichen Entwicklers und zeigt die Ergebnisse stets in Fenstern an. Das Programm soll zudem selbstständig Fehler erkennen und automatisch analysieren und debuggen können. Die Erfolgsquote, diverse Bugs zu finden und zu beheben, liegt aktuell laut Hersteller bei 13,86 Prozent. Die Software soll damit wesentlich effizienter arbeiten als beispielsweise Claude 2, GPT-4 oder Llama 13B.
Game of Life oder KI trainieren
In einigen weiteren Beispielen wird klar: Devin benötigt trotzdem diverse menschliche Anweisungen, um ein passendes Ergebnis zu erstellen. In einem Codebeispiel soll die KI etwa das Game of Life programmieren. Mittels manueller Prompts durch die User können an den ersten Versionen diverse Änderungen und Verbesserungen vorgenommen werden. So wird über die Zeit etwa die Performance des Programms verbessert oder einige neue Features, beispielsweise ein Action-Event beim Mausklick, hinzugefügt.
Die Beispiele werden teilweise geschnitten und editiert. So wirkt die KI schneller, als sie möglicherweise in der Realität arbeitet. Da sie wohl speziell auf Developer-Themen ausgelegt wurde, kann sie aber diverse Tasks angehen.
Neben dem Generieren von Code kann das auch das Finden und Beheben von Bugs, das Klonen von Github-Repos oder das Feintuning anderer KI-Modelle sein. In einem Beispiel konnte Devin beispielsweise auch eine Aufgabenstellung auf dem Arbeitsmarktplatz Upwork annehmen und bewältigen.
Aktuell befindet sich die Software noch in der Preview. Es handelt sich zudem um das erste Produkt des Start-ups. Vorsicht und eine gewisse Skepsis gegenüber den Aussagen sind angebracht. User, die das Modell ausprobieren wollen, können sich auf eine Warteliste setzen lassen.
