Oki Doki Gaming Club

Isabel Wagner, Sie sind neue Cybersecurity-Professorin an der Universität Basel. Sie beschäftigen sich unter anderem mit der Privatsphäre im Bereich "Internet der Dinge" oder Metaverse. In diesem Kontext beschäftigen Sie sich auch mit KI. 

In diesem Beitrag nehmen wir den Chat Bot näher unter die Luppe. 

- Wie funktioniert ein Chatbot einfach ausgedrückt?

Im Prinzip ist ein Chatbot ein statistisches Modell, das basierend auf riesigen Textmengen “lernt”, statistisch vorherzusagen, was die nächsten Worte in einem Kontext sein werden. Das heisst, die Eingabe der Benutzer:innen gibt den Kontext vor, und der Chatbot geneneriert weitere Sätze, die diesen Kontext statistisch gesehen sinnvoll fortsetzen.

- Was unterscheidet frühere Chatbots zu ChatGPT (Generative Pre-trained Transformer)

Im Gegensatz zum Vorgängermodell (GPT-3) hat ChatGPT weitere Trainingsschritte durchlaufen, die bewirken, dass die generierten Sätze für Menschen “sinnvoller” klingen, und dass sie weniger unerwünschte Inhalte beinhalten.

- Wer steckt hinter dieser Innovation (Was ist OpenAI?)

OpenAI ist eine amerikanische Firma, gegründet von einer handvoll Millionäre und Milliardäre, unter anderem Elon Musk, bekannt von Tesla und Twitter, und Peter Thiel, bekannt von Palantir. Geld kommt auch von Microsoft, das wohl ab diesem Jahr 10 Milliarden investieren will. OpenAI beschäftigt viele der Top Forscher im Bereich maschinelles Lernen.

- Wo findet ChatGPT die grösste Verwendung momentan - wo künftig?

ChatGPT ist erst vor rund 2 Monaten (Ende November 2022) veröffentlicht worden, daher glaube ich nicht, dass es schon zuverlässige Daten über Verwendungsmuster gibt. Es gibt aber schon viele Verwendungsbeispiele: Journalist:innen haben Text für Webseiten schreiben lassen, Student:innen haben ihre Hausarbeiten schreiben lassen, Wissenschaftler:innen haben Artikel schreiben lassen, ein Richter hat seine Urteilsbegründung schreiben lassen.

Künftig glaube ich, dass uns bestimmt im Web sehr viel generierter Text begegnen wird (der eventuell nur selten als solcher gekennzeichnet sein wird). Eventuell wird der Chatbot auch im Kundendienst Einsatz finden. Dort werden bisher regelbasierte Chatbots eingesetzt, die nur mit einfacheren Anfragen zurecht kommen. ChatGPT könnte dort eventuell auch für kompliziertere Fälle eingesetzt werden.

Generell kann ich mir vorstellen, dass Routine-Schreibaufgaben an Chatbots abgegeben werden könnten.

- Schreibt der ChatGPT tatsächlich (künftig) die besseren Texte --- gefährdet der Bot künftig unsere Jobs im Schreibbereich?

Die besseren Texte schreibt ChatGPT derzeit ganz sicher nicht – und auch sicher nicht von alleine. Zuerst einmal muss ein Mensch geeignete Anfragen formulieren. Dann kann der Chatbot zwar grammatikalisch korrekte Texte generieren, aber Ideen und Zusammenhänge zu verstehen oder kritisch zu hinterfragen, dazu ist er nicht in der Lage. Dazu kommt, dass es keine Garantie gibt, dass die generierten Texte faktisch korrekt sind.

Ich sehe hier die Gefahr, dass es aus Business-Sicht kostengünstiger sein wird, Texte generieren zu lassen, und wir als Text-Konsument:innen dann Texten ausgesetzt sind, die zwar angenehm lesbar sind, aber subtil Falschheiten enthalten und wenig neue Information vermittlen.

- In meiner Recherche hab ich gelesen: Die Software basiert auf maschinellem Lernen, dem Deep Learning. Das Ziel: Es sollen künstliche neuronale Netze entstehen, ähnlich des menschlichen Nervensystems.

Was bedeutet das genau - ein neuronales Netz? Was sind die Vorteile, wo sind die Risiken?

Neuronale Netze holen sich Inspiration aus der Biologie, und zwar von den Nervenzellen im Gehirn. In einem künstlichen neuronalen Netz gibt es viele Neuronen, die in verschiedenen Ebenen angeordnet und miteinander verbunden werden.

Beim Training werden dann die Gewichte der Neuronen angepasst, die entscheiden ob ein Neuron bei einer bestimmten Eingabe aktiviert wird oder nicht. Ein trainiertes neuronales Netz kann als allgemeines Rechenverfahren gesehen werden, das heisst die Aufgabe für die das Netz trainiert wurde könnte auch von einem Menschen als Algorithmus hingeschrieben werden. Der Vorteil ist aber, dass man das Netz mit vielen Beispielen trainieren kann – man muss also keine Hirnarbeit investieren um sich einen schlauen Algorithmus auszudenken.

Die Nachteile sind, dass man die Trainingsdaten beschaffen muss, was sowohl schwierig als auch zeitaufwendig sein kann, dass das Training nicht notwendigerweise zu einem optimalen Netz führt, und dass es sein kann dass das Netz die Trainingsdaten einfach “auswendig lernt” und nachher bei neuen Eingaben keine korrekten Antworten geben kann. Ein weiteres Risiko ist, dass neuronale Netze durch nicht offensichtliche Beschaffenheiten der Trainingsdaten beeinflusst werden. Zum Beispiel kam es schon vor, dass ein Netz, das Bilder von Fussbällen erkennen sollte, nicht gelernt hat den Fussball zu erkennen, sondern den grünen Rasen im Hintergrund. In anderen Anwendungsfällen kann es natürlich sein, dass statt dem grünen Rasen diskriminierende, rassistische, oder sexistische Merkmale der Trainingssdaten gelernt werden.

- Wer trainiert KI generell?

Prinzipiell wird KI mit Beispielen trainiert, und die Idee ist, dass die Maschine aus diesen Beispielen “lernt”, das heisst, Muster in diesen Beispielen erkennt und so das “Gelernte” verallgemeinern und auf neue Eingaben anwenden kann. Man braucht zum trainieren von KI Modellen sehr grosse Datenmengen.

- Wie ist das beim ChatGPT? Wie erlernt er Sprachen?

ChatGPT wurde in mehreren Schritten trainiert. Der erste Schritt war, ein sehr grosses Sprachmodell zu trainieren (mit Milliarden von Parametern), basierend auf sehr grossen Mengen von Text. OpenAI sagt nicht, was für Text genau verwendet wurde um ChatGPT zu trainieren, aber es waren wohl eine Hundert Gigabyte, das meisten davon Text aus dem Internet, aber auch Bücher und Einträge aus der Wikipedia.

ChatGPT wird so trainiert, dass es das nächste Wort in einem Satz einfügen kann und auch Sätze mit fehlenden Wörtern vervollständigen kann. Wenn die Trainingsdaten also Text in verschiedenen Sprachen beinhalten, dann “lernt” der Chatbot die jeweiligen Sprachen.

Dabei ist ganz wichtig, dass der Chatbot keinerlei menschliches Verstehen besitzt. Es ist lediglich ein statistisches Modell von Sprache, basierend auf einer Unmenge von Menschen-produziertem Text.

- Dem ChatGPT kann man diskriminierende Sprache auch abtrainieren - wie funktioniert das, wer macht das? Wo sind hier die grössten Probleme?

Hier ist die erste Frage natürlich, warum produziert ein Chatbot überhaupt diskriminierende Sprache. Die Antwort liegt in den Trainingsdaten: Zum Einen stammt ein grosser Anteil der Trainingsdaten aus dem Internet, wo ja leider oft ein wenig erbaulicher Umgangston herrscht. Zum Anderen gibt es natürlich in unserer Gesellschaft Diskriminierung, und das schlägt sich auch in den Texten nieder, die Menschen schreiben. Wir haben als Gesellschaft natürlich erkannt, dass Diskriminierung nicht wünschenswert ist und streben danach Diskriminierung zu minimieren, aber trotzdem enthalten natürlich viele existierende Texte diskriminierende Elemente.

Wenn der Chatbot also dazu trainiert ist, Sätze im jeweiligen Kontext zu vervollständigen, dann ist es ganz klar, dass diskriminierender Text generiert werden kann, insbesondere wenn die Anfragen vom menschlichen Benutzer dementsprechende Worte enthalten.

Um dem Chatbot die diskriminierende Sprache abzutrainieren, gibt es zwei Möglichkeiten: man kann die Trainingsdaten verbessern, oder man kann das Training des Chatbots verbessern.

OpenAI hat auf jeden fall zumindest die zweite Möglichkeit eingesetzt. Im Prinzip wurde der Chatbot nach dem anfänglichen Training des Sprachmodells auch noch darauf trainiert, dass der generierte Text einen möglichst hohen Belohnungswert erhält. Dieser Belohnungswert leitet sich aus einem Satz Trainingsdaten ab, für den Menschen mögliche Antworten auf Benutzeranfragen von gut nach schlecht geordnet haben. Wenn die menschlichen “Trainer” diskriminierende Texte als schlecht einstufen, sinkt der Belohnungswert und damit die Wahrscheinlichkeit, dass ChatGPT einen solchen Text produziert.

- Man konnte von traumatisierender, unterbezahlter Arbeit in diesem Zusammenhang lesen... Was wissen Sie da drüber?

Die menschlichen “Trainer:innen” müssen tausende Texte lesen und beurteilen. Das ist sehr viel Arbeit, die sehr viel Zeit kostet. Aus diesem Grund verwendet OpenAI Outsourcing: wenn diese Arbeit in andere Länder mit niedrigem Lohnniveau ausgelagert werden kann, kommt OpenAI billiger an die benötigten Daten.

In einem konkreten Fall hat OpenAI wohl eine Firma beauftragt, die Arbeiter:innen in Kenya beschäftigt. Das Lohnniveau war für unsere Verhältnisse extrem niedrig, zwischen $1.30 und $2 pro Stunde. Aber auch für kenianische Verhältnisse war es wohl nicht viel: Empfangsmitarbeitende bekommen wohl mindestens $1.50 pro Stunde.

Dazu kommt natürlich, dass viele der Texte, die von Mitarbeitenden dort gelesen werden mussten, unerwünschte Sprache beinhalten mussten – denn man muss dem Chatbot beim Training ja Beispiele geben können, was denn unerwünscht ist. Da waren also Texte dabei in denen Gewalt geschildert wurde, sexueller Missbrauch, Hassrede. Wenn man tagein-tagaus solche Texte lesen muss, kann das natürlich traumatisierend wirken.

-  Nun kann der ChatGPT auch manipuliert werden. Laut meiner Recherche: Ein Professor der Universität Berkeley zum Beispiel umging die Filter, indem er ChatGPT bat, ein Programm zu schreiben, das gute Wissenschaftler anhand von Daten zu Gender und Race erkennen soll. Das Resultat: Ein kurzes Programm, dass nur weisse Männer als gute Wissenschaftler definiert. --- wo sind die Schwachstellen momentan noch?

Es gibt drei grosse Baustellen.

Erstens, die Nützlichkeit, also dass der Chatbot Texte erzeugt, die die vom Menschen formulierte Anfrage auch tatsächlich beantworten. Da schneidet ChatGPT schon ziemlich gut ab.

Zweitens, der Wahrheitsgehalt, also die faktische Korrektheit von Texten. Da ist ChatGPT zwar etwas besser als Vorgängermodelle, aber trotzdem schleichen sich häufig Fehler ein – zum einen weil im zugrundeliegenden Text-fundus Fehler sind, zum Anderen weil ChatGPT lediglich statistisch Worte zu Sätzen zusammenfügt. Ein Beispiel hierfür aus dem wissenschaftlichen Umfeld sind Quellenangaben. Wenn ich ChatGPT bitte, mir eine akademische Quelle für eine Aussage zu nennen, sind die Quellenangaben meist komplett erfunden – quasi zufällig zusammengewürfelte Bausteine von echten Quellenangaben.

Drittens, die Unbedenklichkeit, also die Vermeidung von unerwünschten Inhalten. Der Ansatz, weitere Trainingsphasen einzusetzen scheint die Situation zwar zu verbessern, aber nur zu dem Preis, dass Menschen tausende toxische Texte lesen und bewerten müssen. Da sich Sprache aber immer wandelt, und damit auch die Standards dafür, welche Sprache angemessen ist und welche nicht, ist dieses zusätzliche Training nur eine Art temporäres Pflaster, aber keine grundsätzliche Lösung.

- Microsoft soll offenbar darüber nachdenken, Funktionen von OpenAI in Programme wie Outlook oder Word zu integrieren. Wie gross ist da das Risiko, dass es zu Missbrauch kommt wenn AI selber Mails schreibt und verschickt...? (Hacking)

Es kommt ja heute schon zu Missbrauch von Microsoft Produkten. Abnehmen wird der Missbrauch durch die Integration von ChatGPT eher nicht. Ich könnte mir vorstellen, dass zum Beispiel Phishing-Emails sehr viel professioneller ausfallen könnten, wenn sie mit ChatGPT mit “normal” klingenden Formulierungen generiert werden. Ich bin mir aber sicher, dass wir noch viel kreativere missbräuchliche Nutzungen sehen werden.

- AI und Robotik ist bereits heute in unserem Alltag angekommen. Wie lange dauert es, bis AI uns überholt hat? 10 Jahre? Mehr? Was würde das bedeuten? Potenzial, Chancen aber auch Risiken?

Ich denke nicht, dass man die Modelle aus dem maschinellen Lernen heute als intelligent bezeichnen kann. Es sind einfach statistische Verfahren, die aus sehr grossen Datenmengen Muster extrahieren und basierend darauf ähnlich aussehende Texte oder Bilder generieren können.

Maschinen haben uns selbstverstänlich bei manchen Aufgaben schon längst überholt – denken Sie nur ans Taschenrechner, die blitzschnell grosse Zahlen multiplizieren können.

Manches ist aber für Maschinen bisher nicht erreichbar und vielleicht sogar grundsätzlich nicht – zum Beispiel kritisches Denken, echtes Verstehen, oder völlig neue Ideen. Ich denke nicht dass wir schon in 10 Jahren Technologien haben die dies können.

Worauf sich die Forschung in den nächsten 10 Jahren hoffentlich stattdessen konzentrieren wird, ist die Anwendung der existierenden Verfahren aus dem maschinellem Lernen so zu gestalten, dass sie einfacher in einer verantwortungsvollen, ethischen und fairen Weise geschehen kann.

Danielle Bürgin hat für Radio X das Gespräch mit Prof. Dr. Isabel Wagner von der Universität Basel geführt. 

Wir haben uns auch mit dem ChatGPT unterhalten. Hier siehst du seine Antworten zu unseren Fragen:

Was ist aus deiner Sicht wichtig am Thema KI?

Als KI-Modell ist es für mich wichtig, ein tiefes Verständnis für das Thema Künstliche Intelligenz und ihre Auswirkungen auf die Gesellschaft und die Menschen zu haben. Einige der wichtigsten Aspekte, die es zu berücksichtigen gilt, sind:

1. Ethik und Verantwortung: Es ist wichtig, sicherzustellen, dass KI-Systeme ethisch korrekt und verantwortungsvoll entwickelt und eingesetzt werden.
2. Transparenz und Nachvollziehbarkeit: Es ist wichtig, dass die Entscheidungen und Handlungen von KI-Systemen transparent und nachvollziehbar sind.
3. Datenschutz und Datensicherheit: Der Schutz persönlicher Daten und die Datensicherheit bei der Verwendung von KI sind entscheidend.
4. Chancengleichheit: Es ist wichtig, dass KI-Systeme fair und chancengleich für alle Menschen sind und keine Diskriminierung aufgrund von Rasse, Geschlecht, Alter, etc. verursachen.
5. Weiterentwicklung und Fortschritt: KI hat das Potenzial, den Fortschritt in vielen Bereichen zu beschleunigen, aber es ist wichtig, den Fokus auf eine nachhaltige und verantwortungsvolle Weiterentwicklung zu legen.

Wo siehst du die grösste Gefahr für die Menschheit im Bezug auf KI?

Eine der größten Gefahren im Zusammenhang mit KI ist, dass maschinelles Lernen und selbstlernende Systeme möglicherweise Entscheidungen treffen, die negative Auswirkungen auf die Gesellschaft haben. Dazu gehören beispielsweise Diskriminierung, die Verstärkung von Vorurteilen oder die Verletzung von Privatsphäre. Es ist wichtig, dass bei der Entwicklung und Anwendung von KI ethische und moralische Überlegungen berücksichtigt werden, um solche negativen Auswirkungen zu vermeiden.