Die Grundidee hinter den GPT-Modellen ist genial einfach: Finde zu einem gegebenen Text immer das nächste passende Wort – und wiederhole das, bis genug Text erzeugt wurde (siehe Abbildung 1)!
Wenn also der vorgegebene Text eine Frage ist, wird ChatGPT zunächst nur das erste Wort der Antwort bestimmen, ohne dass die gesamte Antwort oder auch nur ihr grober Inhalt schon feststehen. Daraufhin liest der Algorithmus die Frage und das erste Wort der Antwort von Neuem als Eingabe ein und erzeugt das nächste passende Wort, das also nun das zweite der Antwort ist.
Dieser Prozess wird so lange wiederholt, bis das nächste "Wort" ein Abbruchkommando ist, das den Vorgang beendet. Während Menschen normalerweise mit einer Grobstruktur für den gesamten Text beginnen und diese dann schrittweise detaillieren, handelt ChatGPT also salopp formuliert nach der Devise: "Woher soll ich wissen, was ich denke, bevor ich lese, was ich schreibe?"