GPT-3, erklärt: Diese neue Sprach-KI ist unheimlich, lustig – und eine große Sache

Computer nähern sich dem Bestehen des Turing-Tests.

Im vergangenen Monat kündigte OpenAI, das von Elon Musk gegründete Forschungslabor für künstliche Intelligenz , die Ankunft der neuesten Version eines KI-Systems an, an dem gearbeitet wurde und das die menschliche Sprache imitieren kann, ein Modell namens GPT-3.

In den folgenden Wochen hatten die Leute die Möglichkeit, mit dem Programm zu spielen

Wenn Sie Nachrichten über KI auf www.onlinebetrug.net verfolgen, haben Sie möglicherweise einige Schlagzeilen gesehen, die dies als einen großen, sogar beängstigenden Schritt nach vorne bezeichnen .

Ich habe jetzt die letzten Tage damit verbracht, GPT-3 genauer zu betrachten und damit herumzuspielen. Ich bin hier, um Ihnen zu sagen: Der Hype ist real. Es hat seine Mängel, aber machen Sie keinen Fehler: GPT-3 ist ein enormer Sprung für die KI.

Vor einem Jahr habe ich mich hingesetzt, um mit dem Vorläufer von GPT-3 zu spielen, der GPT-2 genannt wurde (Sie haben es erraten) . Mein damaliges Urteil war, dass es ziemlich gut war . Wenn GPT-2 eine Eingabeaufforderung erhält – beispielsweise eine Phrase oder einen Satz -, kann es einen anständigen Nachrichtenartikel schreiben, in dem imaginäre Quellen und Organisationen zusammengestellt und in mehreren Absätzen referenziert werden. Es war keineswegs intelligent – es verstand die Welt nicht wirklich -, aber es war immer noch ein unheimlicher Blick darauf, wie es sein könnte, mit einem Computer zu interagieren, der dies tut.

Ein Jahr später ist GPT-3 hier und es ist schlauer. Viel schlauer. OpenAI verfolgte den gleichen grundlegenden Ansatz wie GPT-2 (mehr dazu weiter unten) und verbrachte mehr Zeit damit, es mit einem größeren Datensatz zu trainieren. Das Ergebnis ist ein Programm, das verschiedene Tests der Sprachfähigkeit, die Forscher des maschinellen Lernens entwickelt haben, um unsere Computerprogramme zu vergleichen, deutlich besser bestehen kann. (Sie können sich anmelden, um mit GPT-3 zu spielen, aber es gibt eine Warteliste .)

Diese Beschreibung versteht jedoch, was GPT-3 ist und was es tut

„Es überrascht mich ständig“, sagte mir Arram Sabeti, ein Erfinder mit frühem Zugang zu GPT-3, der Hunderte von Beispielen für Ergebnisse des Programms veröffentlicht hat. „Eine witzige Analogie, eine Wendung – die wiederholte Erfahrung, die ich gemacht habe, ist, dass es unmöglich ist, das einfach zu schreiben. Es zeigt Dinge, die sich sehr nach allgemeiner Intelligenz anfühlen. “

Nicht jeder stimmt zu. „Programme für künstliche Intelligenz haben kein Bewusstsein und kein Selbstbewusstsein“, schrieb der Forscher Gwern Branwen in seinem Artikel über GPT-3. „Sie werden niemals einen Sinn für Humor haben können. Sie werden niemals in der Lage sein, Kunst, Schönheit oder Liebe zu schätzen. Sie werden sich niemals einsam fühlen. Sie werden niemals Empathie für andere Menschen, für Tiere, für die Umwelt haben. Sie werden niemals Musik genießen oder sich verlieben oder im Handumdrehen weinen. “

Router

Entschuldigung, ich habe gelogen. GPT-3 hat das geschrieben . Branwen gab ihm eine Aufforderung – ein paar Worte, die Skepsis gegenüber KI ausdrücken – und GPT-3 brachte eine lange und überzeugende Rede darüber auf, wie Computer niemals wirklich intelligent sein werden.

Branwen selbst sagte mir, er sei von den Fähigkeiten von GPT-3 überrascht. Wenn Programme im GPT-Stil skaliert werden, können sie das nächste Wort immer besser vorhersagen. Bis zu einem gewissen Punkt, sagte Branwen, macht diese verbesserte Vorhersage „die Nachahmung nur ein wenig genauer: ein bisschen besser in der englischen Grammatik, ein bisschen besser in Trivia-Fragen.“ GPT-3 schlägt Branwen vor, dass „ab einem bestimmten Punkt [Verbesserung der Vorhersage] von Logik und Argumentation ausgeht und was viel zu sehr nach Denken aussieht“.

GPT-3 ist in gewisser Hinsicht ein wirklich einfaches Programm. Beim maschinellen Lernen wird ein bekannter, nicht einmal auf dem neuesten Stand der Technik liegender Ansatz verfolgt. GPT-3 wird als unheimlich kluger Sprachgenerator eingesetzt, da es den größten Teil des Internets als Daten zur Verfügung stellt, auf die es sich trainieren kann – Nachrichten, Wiki-Artikel, sogar Forenbeiträge und Fanfiction – und die viel Zeit und Ressourcen zum Kauen bietet. Das ist an sich schon cool und hat große Auswirkungen auf die Zukunft der KI.

Wie GPT-3 funktioniert

Um zu verstehen, was ein Sprung GPT-3 darstellt, wäre es hilfreich, zwei grundlegende Konzepte beim maschinellen Lernen zu überprüfen: überwachtes und unbeaufsichtigtes Lernen.

Bis vor einigen Jahren wurden Sprach-AIs vorwiegend durch einen Ansatz unterrichtet, der als „überwachtes Lernen“ bezeichnet wird. Hier haben Sie große, sorgfältig beschriftete Datensätze, die Eingaben und gewünschte Ausgaben enthalten. Sie bringen der KI bei, wie die Ausgänge anhand der Eingänge erzeugt werden.

Das kann zu guten Ergebnissen führen – Sätze, Absätze und Geschichten, die eine solide Arbeit leisten und die menschliche Sprache imitieren -, erfordert jedoch die Erstellung großer Datenmengen und die sorgfältige Kennzeichnung jedes Datenbits.

Durch überwachtes Lernen erwerben Menschen keine Fähigkeiten und Kenntnisse. Wir ziehen Rückschlüsse auf die Welt ohne die sorgfältig umrissenen Beispiele aus überwachtem Lernen. Mit anderen Worten, wir lernen viel unbeaufsichtigt .

Viele Menschen glauben, dass Fortschritte bei den allgemeinen KI-Fähigkeiten Fortschritte beim unbeaufsichtigten Lernen erfordern, bei denen die KI vielen unbeschrifteten Daten ausgesetzt ist und alles andere selbst herausfinden muss. Unbeaufsichtigtes Lernen ist einfacher zu skalieren, da es viel mehr unstrukturierte Daten als strukturierte Daten gibt (keine Notwendigkeit, alle diese Daten zu kennzeichnen), und unbeaufsichtigtes Lernen kann sich über Aufgaben hinweg besser verallgemeinern lassen.

GPT-3 ist (wie seine Vorgänger) ein unbeaufsichtigter Lernender. es hat alles, was es über Sprache weiß, aus unbeschrifteten Daten aufgenommen. Insbesondere fütterten Forscher den größten Teil des Internets, von beliebten Reddit-Posts über Wikipedia über Nachrichtenartikel bis hin zu Fanfiction.

GPT-3 verwendet diesen riesigen Informationsschatz, um eine äußerst einfache Aufgabe zu erledigen: Erraten Sie, welche Wörter bei einer bestimmten anfänglichen Eingabeaufforderung am wahrscheinlichsten als Nächstes kommen. Wenn Sie beispielsweise möchten, dass GPT-3 eine Nachricht über die Klimapolitik von Joe Biden schreibt, können Sie Folgendes eingeben: „Joe Biden hat heute seinen Plan zur Bekämpfung des Klimawandels angekündigt.“ Von dort aus kümmert sich GPT-3 um den Rest.

Hier ist, was GPT-3 tun kann

OpenAI steuert den Zugriff auf GPT-3. Sie können den Zugriff für Recherchen, eine Geschäftsidee oder einfach zum Herumspielen anfordern, obwohl es eine lange Warteliste für den Zugriff gibt. (Es ist vorerst kostenlos, aber möglicherweise später im Handel erhältlich.) Sobald Sie Zugriff haben, können Sie mit dem Programm interagieren, indem Sie Eingabeaufforderungen eingeben, auf die es antworten soll.

GPT-3 wurde bisher für alle Arten von Projekten verwendet, von imaginären Gesprächen zwischen historischen Figuren über das Zusammenfassen von Filmen mit Emoji bis hin zum Schreiben von Code .