Seite 2: Viel passiert in nur drei Monaten

Inhaltsverzeichnis

In drei kurzen Monaten ist also viel passiert. Doch woher kommt ChatGPT eigentlich wirklich? Und welche Schritte hat OpenAI unternommen, um sicherzustellen, dass es wirklich "ready" für die Veröffentlichung war? Wohin geht die Reise als nächstes? Die Macher von OpenAI geben Antworten. Der Text wurde aus Gründen der Länge und Übersichtlichkeit editiert.

Jan Leike: "Ehrlich gesagt war es überwältigend. Wir sind überrascht worden und haben dann einfach versucht, diesen Rückstand aufzuholen."

John Schulman: "In den Tagen nach der Veröffentlichung habe ich viel auf Twitter geschaut, und es gab diese echt verrückte Phase, in der sich mein Feed mit ChatGPT-Screenshots füllte. Ich hatte erwartet, dass das Ding für die Leute intuitiv nutzbar sein würde, schnell eine Fangemeinde findet. Aber ich hatte nicht erwartet, dass es diesen Grad an Mainstream-Popularität erreichen würde."

Sandhini Agarwal: "Ich glaube, es war für uns alle eine Überraschung, wie stark die Leute ChatGPT zu nutzen begannen. Wir arbeiten so viel an diesen Modellen, dass wir manchmal vergessen, wie überwältigend sie für die Außenwelt sein können."

Liam Fedus: "Wir waren wirklich überrascht, wie gut es angenommen wurde. Es gab schon so viele frühere Versuche, einen universell einsetzbaren Chatbot zu entwickeln und ich wusste, dass die Chancen eher gegen uns stehen würden. Ein privater Betatest hat uns dann jedoch das Selbstvertrauen gegeben, dass wir es hier mit etwas zu tun haben, das den Leuten wirklich gefallen könnte."

Jan Leike: "Ich würde gerne besser verstehen, was das alles angetrieben hat – was diese Viralität brachte. Ehrlich gesagt verstehen wir es immer noch nicht. Wir wissen es nicht."

Die Technologie von ChatGPT ist nicht neu

Ein Teil der Verwirrung des ChatGPT-Teams rührte daher, dass der Großteil der Technologie des Chatbots nicht neu ist. ChatGPT ist eine Finetuning-Version von GPT-3.5, einer Familie von großen Sprachmodellen, die OpenAI Monate vor dem Chatbot veröffentlicht hatte. GPT-3.5 ist wiederum eine aktualisierte Version von GPT-3, das 2020 erschienen war. Das Unternehmen stellt diese Modelle auf seiner Website über Programmierschnittstellen (APIs) zur Verfügung, die es anderen Softwareentwicklern erlaubt, die Modelle in ihren eigenen Code einzubinden. Im Januar 2022 war zudem InstructGPT veröffentlicht worden, eine besser an Nutzerinteraktionen angepasste Variante. Die Öffentlichkeit bekam davon aber nur am Rande etwas mit.

Liam Fedus: "Das ChatGPT-Modell wurde auf der Grundlage desselben Sprachmodells wie InstructGPT einem Finetuning unterzogen und wir haben eine ähnliche Methodik verwendet. Wir hatten dann einige Konversationsdaten hinzugefügt und den Trainingsprozess weiter optimiert. Wir wollten das aber nicht als großen grundlegenden Fortschritt verkaufen. Wie sich herausstellte, hatten die Konversationsdaten einen großen positiven Einfluss auf ChatGPT."

John Schulman: "Die reinen technischen Fähigkeiten, wie sie von Standard-Benchmarks bewertet werden, unterscheiden sich nicht wesentlich zwischen den Modellen, aber ChatGPT ist für die Menschen zugänglicher und benutzbarer."

Jan Leike: "In gewisser Weise kann man ChatGPT als eine neue Version eines KI-Systems verstehen, das wir schon eine Weile hatten. Es ist kein grundlegend leistungsfähigeres Modell als das, was wir vorher anboten. Die gleichen Basismodelle waren schon fast ein Jahr lang über die API verfügbar, bevor ChatGPT herauskam. Auf eine Art haben wir es mehr auf das ausgerichtet, was Menschen damit tun wollen. Es spricht mit ihnen in einem Dialog, es ist über eine Chat-Schnittstelle leicht zugänglich, es versucht, hilfreich zu sein. Das ist der erstaunliche Fortschritt daran und ich glaube, die Leute sehen das auch."

John Schulman: "Es erkennt leichter, was der Nutzer will. Und die User können im Hin und Her des Dialoges zu dem gelangen, was sie wollen."

Das Geheimnis von ChatGPT

ChatGPT wurde auf sehr ähnliche Weise wie InstructGPT trainiert, und zwar mit einer Technik, die sich "Reinforcement Learning from Human Feedback" (RLHF) nennt. Dies ist das eigentliche Geheimnis von ChatGPT. Die Grundidee dabei ist, ein großes Sprachmodell zu nehmen, das die Tendenz hat, alles auszuspucken, was es möchte, also vorhersagt – in diesem Fall GPT-3.5 – und es darauf zu optimieren, Antworten auszugeben, die menschliche Nutzer tatsächlich bevorzugen.

Jan Leike: "Wir ließen eine große Gruppe von Leuten ChatGPT-Prompts und deren Antworten lesen und dann bewerten, ob eine Antwort einer anderen vorzuziehen ist. Alle diese Daten wurden dann in einem Trainingslauf zusammengeführt. Vieles davon entspricht dem, was wir mit InstructGPT gemacht haben. Man möchte, dass das Modell hilfreich ist, man möchte, dass es wahrheitsgemäß antwortet, man will, dass es – Sie wissen schon, was ich meine – nicht toxisch ist. Und dann gibt es Dinge, die spezifisch auf die Produktion von Dialogen und die Rolle eines Assistenten gemünzt sind. Beispielsweise wenn der Prompt nicht so klar ist, sollte ChatGPT Folgefragen stellen. Es sollte auch klarmachen, dass es ein KI-System ist. Es sollte keine Identität einer Person annehmen, die es nicht ist. Es sollte außerdem nicht behaupten, Fähigkeiten zu haben, die es nicht besitzt. Und wenn ein Benutzer es bittet, Aufgaben zu erledigen, die es nicht tun sollte, muss es die ablehnen. Einer dieser Satzteile, die bei diesem Training dann auftauchten, war: 'Als ein von OpenAI trainiertes Sprachmodell [kann ich]...' Das wurde von da nicht explizit eingebaut, aber es ist eines der Dinge, die von den menschlichen Bewertern als wichtig eingestuft wurden."

Sandhini Agarwal: "Ja, ich glaube, genau so ist es passiert. Es gab eine Liste mit verschiedenen Kriterien, nach denen die menschlichen Bewerter das Modell einstufen mussten, z. B. Wahrheitsgehalt. Aber sie begannen auch, Dinge zu bevorzugen, die sie als sinnvolle Praxis ansahen, z. B. dass das System nicht vorgibt, etwas zu sein, das es nicht ist."