Kurz nachdem OpenAI o1, sein erstes KI-Modell, veröffentlicht hatte, begannen die Leute ein merkwürdiges Phänomen zu bemerken. Das Modell begann manchmal auf Chinesisch, Persisch oder einer anderen Sprache, selbst wenn eine Frage auf Englisch gestellt wurde. Viele R sind im Wort o1 würde seinen Prozess beginnen und zu einer Antwort gelangen, indem eine Reihe von Argumentationsschritten ausgeführt wird. Wenn die Frage in englischer Sprache verfasst wäre, wäre o1 die endgültige Antwort auf Englisch. Aber das Modell würde einige Schritte in einer anderen Sprache ausführen, bevor es seine Schlussfolgerung zieht.
Mehrere auf X, darunter Hugging Face CEO Clment Delangue, wiesen darauf hin, dass Argumentationsmodelle wie o1 auf Datensätzen trainiert werden, die viele chinesische Zeichen enthalten. Ted Xiao, ein Forscher bei Google DeepMind, behauptete, dass Unternehmen einschließlich OpenAI chinesische Datenbeschriftungsdienste von Drittanbietern nutzen und dass der Wechsel von o1 zu Chinesisch ein Beispiel für sprachlichen Einfluss auf das Denken ist. Viele dieser Datenanbieter haben ihren Sitz in China. Beispielsweise können Beschriftungen zum Trainieren eines Bilderkennungsmodells die Form von Markierungen um Objekte oder Beschriftungen annehmen, die sich auf jede Person, jeden Ort oder jedes Objekt beziehen, das in einem Bild dargestellt wird.
Studien haben gezeigt, dass verzerrte Etiketten verzerrte Modelle erzeugen können. Beispielsweise wird der durchschnittliche Annotator Phrasen in Afroamerikanischem Vernacular English (AAVE), der informellen Grammatik einiger Schwarzamerikaner, eher als toxische, führende KI-Toxizitätsdetektoren bezeichnen, die auf den Etiketten ausgebildet sind, um AAVE als überproportional toxisch zu sehen.
Andere Experten kaufen die o1 chinesische Datenbeschriftungshypothese jedoch. Sie weisen darauf hin, dass o1 genauso wahrscheinlich zu Hindi, Thai oder einer anderen Sprache als Chinesisch wechselt, während sie eine Lösung ausdenken.
Vielmehr sagen diese Experten, o1 und andere Argumentationsmodelle könnten einfach Sprachen verwenden, die sie am effizientesten finden, um ein Ziel zu erreichen (oder halluzinieren).
Das Modell weiß, was Sprache ist oder dass Sprachen anders sind, sagte Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta gegenüber TechCrunch. Sie benutzen stattdessen Token. Beispielsweise gehen viele Wort-zu-Token-Übersetzer davon aus, dass ein Leerzeichen in einem Satz ein neues Wort bezeichnet, obwohl nicht alle Sprachen Leerzeichen verwenden, um Wörter zu trennen.
Tiezhen Wang, Softwareingenieur beim KI-Startup Hugging Face, stimmt Guzdial zu, dass Sprachinkonsistenzen bei Argumentationsmodellen durch Assoziationen erklärt werden können, die während des Trainings entstanden sind.
Indem wir jede sprachliche Nuance annehmen, erweitern wir das Modell-Weltbild und erlauben es ihm, aus dem gesamten Spektrum des menschlichen Wissens zu lernen, schrieb Wang in einem Beitrag zu X. Beispiel, ich ziehe es vor, Mathematik auf Chinesisch zu machen, weil jede Ziffer nur eine Silbe ist, was Berechnungen knackig und effizient macht. Aber wenn es um Themen wie unbewusste Voreingenommenheit geht, schalte ich automatisch auf Englisch um, vor allem weil ich dort diese Ideen zum ersten Mal gelernt und absorbiert habe. Modelle sind schließlich probabilistische Maschinen. An vielen Beispielen trainiert, lernen sie Muster, um Vorhersagen zu treffen, wie zum Beispiel, wer in einer E-Mail typischerweise vorausgeht. Die Art der Beobachtung auf einem eingesetzten KI-System ist unmöglich zu sichern, da diese Modelle undurchsichtig sind, sagte TechCrunch. Einer der vielen Fälle, warum Transparenz beim Aufbau von KI-Systemen von grundlegender Bedeutung ist.
Leave a Reply