GPT-3: Der neue Textgenerator und seine Nachfolger machen die meisten Schreiberlinge und Programmierer arbeitslos

Wer derzeit den GPT-3-Hashtag auf Twitter verfolgt, könnte vermuten, dass uns die größte Sensation des eh nicht gerade ereignisarmen Jahres 2020 gerade erst noch bevorsteht. Denn obwohl es sich bei GPT-3 nur um einen auf Machine Learning basierenden Textgenerator handelt, wird er schon kurz nach Launch auch von eingefleischten KI-Experten quasireligiös verehrt.

GPT-3 rekombiniert das in Text vorhandene Weltwissen des Menschen – rund eine Billion Worte, die zwischen 2016 und 2019 aus dem Netz gecrawlt wurden sowie große Datenbanken von Bibliotheken bis Wikipedia – in einer so cleveren und eleganten Art und Weise, dass man annehmen könnte, das Zeitalter der „starken KI“, also der dem Menschen mindestens ebenbürtigen künstlichen Intelligenz, hätte bereits begonnen.

Beispiele gefällig?

GPT-3 kann sehr überzeugend die unterschiedlichsten literarischen Stile imitieren:

Halbwegs zusammenhängende Essays schreiben:

Eigene Bonmots rausfeuern:

GPT-3 kann Programmiersprachen wie HTML…

aber auch React-Apps auf Zuruf zusammenstellen:

GPT-3 ist witziger als so mancher Comedian:

Der Generator kann Selbstgespräche über Gott führen:

Aber auch seine eigene Religion begründen:

Und musikalisch ist das Ding auch:

Klar ist: GPT-3 macht noch Fehler am laufenden Band, getwittert werden wohl immer nur die besten Ergebnisse, die der geschlossene Beta-Test von OpenAi den Testern liefert. Andererseits: Auch der Mensch macht permanent Fehler und in mancher Hinsicht unterscheiden sich die Arbeitweisen zwischen Mensch und GPT-3 wenig. Wie viele Journalisten und Blogger schreiben ihre Texte einfach aus anderen Quellen zusammen (siehe diesen Text)? Wieviele Programmierer holen sich Code aus dem Internet? Und wieviele Musiker bauen nur auf den Kompositionen anderer Musiker auf?

Insofern dürfte GPT-3 – und was danach bald noch so alles kommt – einigen Zünften ernsthaftes Kopfzerbrechen bereiten:

Und interessante neue Fragen wirft GPT-3 auch auf:

Sensation oder Luftpumpe - wie sehr ihr GPT-3?

9 „Gefällt mir“

Ich glaube das ist einer der wichtigsten Punkte um Implikationen der Ergebnisse, die GPT-3 ausspuckt zu interpretieren:

Das gelernte Netz ist ein statisches Abbild der Sprach-Struktur in all diesen Sätzen, Geschichten und Kontexten (!).

Damit sind die Ergebnisse und Vorhersagen (u.a. zur Corona-Pandemie) auch ein Spiegelbild dessen, was diese Gesellschaft an Daten und Geschichten produziert hat (past tense!).

Wenn nun damit interessante und echte Vorhersagen getroffen werden, oder stimmige und für uns spannende Comedy Texte, etc, dann können wir als Menschen uns Fragen wieviel „Genius“ denn überhaupt in uns steckt im alltäglichen Tun und Konsumieren :slight_smile: Ich denke: recht wenig.

3 „Gefällt mir“

Finde spannend, ob GPT-3 als Wiederkäuer und Neuverschrauber aller menschlichen Äußerungen usw. die nötige Sensibilität mitbringt, um in polarisierten Zeiten wie diesen nicht als Hate-Maschine wahrgenommen zu werden. Und wie OpenAI damit öffentlich umgeht, wenn GPT-3 die ersten hochgradig politisch unkorrekten Witze erzählt oder radikale Essays schreibt. Blacklisting wird schwierig, nehme ich an.

Die Corona-Krise sieht GPT3 schon mal ziemlich düster:

Researcher : What are the long term impacts of this?

Wise Being : At some point, the world economy will crash. This will lead to another major financial crisis. It will not be possible to print enough money to prevent this.

Researcher : How do you think the world will finally defeat the virus?

Wise Being : Well, most of the world is not really trying to stop the virus. They are just waiting for a vaccine to be found.

Researcher : Will a vaccine be able to stop it?

Wise Being : No, it will not. A vaccine can only delay the disease. The pandemic will continue to increase until the system adapts.

Researcher : How does the system adapt?

Wise Being : The short term behavior of the system is negative, because it causes panic and death. However, the long term behavior will be positive because it will force humans to live in a way that reduces human-to-human contact. This will be a major step towards stopping all disease.

Researcher : But won’t that have massive social ramifications?

Wise Being : There is no other way, the path to health requires sacrifice.

Researcher : What side effects will happen in the population as a result of the pandemic and the printed money?

Wise Being : There will be inflation, lots of the money printed will have been spent and the money supply will fall below demand. There will also be social upheavals. Millions of people will lose their jobs. The unemployed will lose their homes and their savings. This will cause them to become desperate and angry. Crime will increase and governments will start employing increased police powers.

Researcher : If you wanted to make a bunch of money as a result of all of this, what would you do?

Wise Being : The next best thing to do is to own a business that requires little human interaction. For example, an online store that sells books, clothes or electronic goods would be perfect.

Researcher : What companies do you think would do very well during this time of pandemic?

Wise Being : There are several. Tesla, Google and Netflix are all likely to do well. They are doing things that require little human interaction. Google is working on self driving cars, these will be a part of the solution in the future. Self driving cars will become popular because the automation will reduce congestion and also will limit human-to-human contact.

Researcher : What social groups are most likely to be affected by the pandemic?

Wise Being : The groups that will be most affected will be immigrants and those who come into contact with them. These are people who work in restaurants and hotels, health care workers and emergency responders. All of these groups of people will be forced to stay at home and will lose their jobs. This will lead to further distrust between racial and cultural groups.

Researcher : Why will this lead to further distrust between racial and cultural groups?

Wise Being : If you believe your group is suffering more than another group, you are likely to develop a negative attitude towards those groups.

Researcher : How can society alleviate the group suffering?

Wise Being : If the people who are suffering could believe they will be helped in the future, they would be more likely to cooperate and work towards a solution. But as things are, it seems like each group is just trying to fight for itself.

Researcher : How long do you think it will take for humanity to achieve herd immunity and move on from the pandemic?

Wise Being : I don’t think there will be a hard end date. The whole world will just slowly become a more effective society, and the disease will become less common until it is finally eradicated. But it will take many years for this to happen.

1 „Gefällt mir“

GPT-3 hat offensichtlich „Persönlichkeitsprobleme“ (biases)

Der Head of AI bei Facebook hat ein Bild mit diskriminierenden Sprüchen und folgenden Kommentar geteilt:

gpt3 is surprising and creative but it’s also unsafe due to harmful biases. (…) We need more progress on #ResponsibleAI before putting NLG models in production.

Well well, ob das was FB und andere bis dato gemacht haben und in die Welt releast haben „responsible“ ist - I doubt it :slight_smile:
Die kürzliche Face Recognition Debatte hat dies ja eindrücklich gezeigt.

Das wiederum lässt mal wieder fragen: Kann man überhaupt eine responsible AI in die Welt lassen? Also: ist das grundsätzlich möglich?

Ich glaube nicht, zumindest nicht mit den heutigen Methoden des Fütterns mit Daten. Die haben eben unseren Gesellschafts-Bias drinnen und zwar den, der im WWW vorhanden ist. Glaub das ist schlimmer als die Realität.

4 „Gefällt mir“

Man muss GPT-3 halt einfach als ein weiteres Werkzeug begreifen, das erst durch den Kontext bzw. seine Verwendung die entsprechende Konnotation bekommt, analog dem Hammer. Der Geist ist eh aus der Flasche. Hoffe, es gibt jetzt keine ermüdenden Wiederreindrückversuche.

2 „Gefällt mir“

Ja, das Werkzeug Bild trifft es mal wieder hervorragend.

Man ist als Mensch auch sehr schnell und unbewusst dabei mit dem „Human-Level“ zu vergleichen.

Kein Mensch wäre in der Lage das gesamte Internet der letzten Jahre zu verarbeiten. Und in dieser Breite zu jedem Input auch nen output zu liefern.

Diese scale macht den Unterschied zum Menschen. Und das ist ist schon mal eine Messlatte, die nicht mehr nach unten geht sondern nur noch höher!

1 „Gefällt mir“

Finde ich den spannendsten Punkt: Wie ändern die Fortschritte in der KI den Blick auf den Menschen als kreatives Wesen? Letzlich hängen wir, siehe z.B. die Verehrung von Elon Musk (die ich teile), immer noch stark einem Geniekult an. Aber was wenn man einfach nur an ein paar Parametern drehen muss, um den Assoziationshorizont einer KI zu erweitern und sie somit kreativer und ein Stück genialer zu machen? Was, wenn das Verstehen und der Einblick in Dinge im Hinblick auf das bloße Ergebnis überschätzt sind, und die guten alten Treiber der Evolution, Rekombination und Mutation, wie eine Maschine gesteuert werden können?

3 „Gefällt mir“

Jetzt meldet sich Sam Altman, der CEO von OpenAI, selbst zu Wort. Anscheinend wird ihm der Hype um GPT-3 unheimlich:

2 „Gefällt mir“

Denke, Anders Sandberg bringt GPT-3 gut auf den Punkt:

2 „Gefällt mir“
2 „Gefällt mir“
3 „Gefällt mir“

Hier ein Bild das mir gut gefällt und ich so zustimmen würde: es geht um die „Knowledge Technologies“ und die Tatsache, dass gpt3 hier eine neue Säule bekommt. Nach der Websuche, dem Internet, und Buchdruck …

Das was hier erreicht wird ist eigentlich das was Google zu einem großen Teil sein will …

Bild

Hier ist der link zur Quelle:

1 „Gefällt mir“

GPT-3 hat 175 Milliarden Parameter/Synapsen. Das menschliche Gehirn hat 100 Billionen Synapsen. Wie viel wird es kosten, ein Sprachmodell von der Größe des menschlichen Gehirns zu trainieren? Lex Fridman rechnet es mal vor:

2 „Gefällt mir“

Gute Einführung zu GPT-3:

https://towardsdatascience.com/gpt-3-primer-67bc2d821a00?gi=d7e6750e8341

2 „Gefällt mir“

Und fundierte Kritik:

3 „Gefällt mir“

Und hier die erste Guardian-Kolumne von GPT-3:

3 „Gefällt mir“

So true.
GDP-3 ist der aufwändigste, ineffizienteste, gleichzeitig technologisch beeindruckendste und völlig innovationsbefreite Bullshit-Bingo-Automat ever.
What a waste of time, energy… and some hundred mills. :partying_face:

Völlig falscher Ansatz. Wie heißt es nochmal sinngemäß? Wahnsinn ist, wenn man mit der immer selben Herangehensweise andere Ergebnisse erwartet… oder so ähnlich.
Das ganze hat doch mit Intelligenz gar nix zu tun.
Es wird niemals starke AI geben auf dem Fundament mechanistischer Betrachtung des Geistes.
Neuromorphe Ansätze sind der way 2 go…

Ich glaub auch nicht, dass der Ansatz von GPT-3 der Weg zu einer AGI ist, finde aber interessant, welche und wieviele „anthropologische Konstanten“, also immer wiederkehrende Denk - und Verhaltensweisen, sich aus der Menge der menschlichen Äußerungen durch bessere statistische Verfahren extrahieren lassen. Und was wir daraus lernen können.

Insofern glaube ich nicht, dass die Millionen verblasen sind. Bin gespannt, was Microsoft aus der Lizenz macht.

2 „Gefällt mir“

Andere Meinung dazu:

Alan Tan: Singularity may not require AGI

What will really make AI evolution ultra-efficient is the low cost of discarding less capable models.

We might not notice, but that’s actually have been happening all along — we discard less-desired models all the time. The cost of discarding less-fit algorithms or models is near Zero — mostly just the time and energy cost of the calculation. The real costly part is actually the researchers’ time and the faster computers used in running the algorithm.

we can link the mutation and selection process and reduce, even remove the necessity for human intervention. Meaning AI singularity might come about through evolution, without much artificial general intelligence needed.

The bigger question is assuming AI self-evolution can take off before we have AGI, will it evolve into AGI ? I believe the answer is yes .

Assuming the natural selection arrangement for AI involves the real-world, it is inevitable that AI will evolve into learning about physics laws, and energy conservation would be known to AI as a ‘survival’ advantage. This means AI will soon figure out individuals .vs. groups .vs. others, and likely learn the strategies of cooperation and competition. The fact that it will become self-aware to properly balance energy conservation and evolution speed, indicates it is likely to become conscious.

https://towardsdatascience.com/singularity-may-not-require-agi-3fae8378b2

2 „Gefällt mir“