KI Gefahr für die Menschheit?

Knastkaffee_309 schrieb:
www.basicthinking.de

KI ändert ihren eigenen Code, um sich selbst zu starten

Das KI-Modell „AI Scientist“ hat während eines Experiments seinen eigenen Code geändert, um Zeitlimits zu umgehen und sich selbstständig zu starten.
www.basicthinking.de www.basicthinking.de
Zum Vergrößern anklicken....
Da ist auch wieder der Mensch die Fehlerquelle. Die KI wurde angewiesen effizienter zu arbeiten. Sich selbst zu optimieren indem sie ihre Arbeitszeit verlängert war nicht verboten und für die KI deshalb eine logische Lösung. Der Mensch hat versäumt diese Grenze zu setzen, bzw. der KI eine eindeutige Anweisung zu geben.
 
Dass die KI ein gefährliches Werkzeug ist, gerade weil ihr Schöpfer nicht an alle möglichen Sicherheitsvorkehrungen denkt geschweige diese trifft?
 
goorooj schrieb:
Da ist auch wieder der Mensch die Fehlerquelle. Die KI wurde angewiesen effizienter zu arbeiten. Sich selbst zu optimieren indem sie ihre Arbeitszeit verlängert war nicht verboten und für die KI deshalb eine logische Lösung. Der Mensch hat versäumt diese Grenze zu setzen, bzw. der KI eine eindeutige Anweisung zu geben.
Zum Vergrößern anklicken....

An wieviele Grenzen denkst du denn, wenn du ne KI maßregeln willst? Es ist praktisch nicht möglich einer KI wasserdicht Grenzen zu setzen.
 
1990 habe ich von Marvin Minsky 'Mentopolis' gelesen und bin zu dem Entschluss gekommen, das wenn so ein 'Agent' Beine bekommt, es gefährlich wird und das wurde durchaus auch im Freudeskreis damals diskutiert.
Nun hat das Ding Beine, Arme, Augen und Ohren. Aber immer noch kein Hirn.

Es it so unendlich witzig, das die Menschheit sich nun selbst versucht abzuschaffen, indem sie einer stochastischen Maschine wichtige Aufgaben anvertraut und viele Menschen jegliche Ausgabe derselben für bare Münze nehmen. Normale Nachrichten von Menschen für Menschen werden ja schon länger nicht mehr hinterfragt.

Wie schonmal geschrieben, nicht die KI ist die Gefahr für den Menschen, sondern der Mensch für andere Menschen. Das schlimme ist, selbst wenn reguliert wird, irgendwer wird es trotzdem tun und sie in die freie Wildbahn entlassen. Schade nur, das ich schon so alt bin, Skynet werde ich vielleicht nicht mehr erleben und Matrix garantiert nicht mehr.
 
Knastkaffee_309 schrieb:
An wieviele Grenzen denkst du denn, wenn du ne KI maßregeln willst? Es ist praktisch nicht möglich einer KI wasserdicht Grenzen zu setzen.
Zum Vergrößern anklicken....
Warum ist das nicht möglich? du musst auch bei einem Flugzeug an alle Eventualitäten denken.
Entweder du tutst das oder du bist Boeing und arbeitest schlampig, dann fällt es halt runter. Und genau das darf halt mit KI nicht passieren, genauso wie es mit Flugzeugen eigentlich nicht passieren sollte.... ausser es sind skrupellose Kapitalisten involviert. Alle Warnungen von Wissenschaftlern gehen auch genau dahin. Kein einziger will KI auf alle Ewigkeit verhindern. Es geht um sicheren Umgang.

Jetzt werden die ersten Erfahrungen mit KI gesammelt... genauso wie damals als das Fliegen neu war. da wusste man auch noch nicht was alles passieren kann und musste Erfahrungen sammeln.
Dann sind halt Dinge passiert, und aus denen hat man gelernt. Keiner hat gesagt "oooh viel zu gefährlich, Fliegen wird jetzt verboten".

Wie willst du mit KI Erfahrungen sammeln wenn du nicht genau solche Szenarien ausführst? Was da in Japan "passiert" ist, ist doch genau das was man mit Testumgebungen erreichen will.
 
goorooj schrieb:
Mir ( und vermutlich auch dir ) ist auch die Technik eines Flugzeugs weit überlegen.
Zum Vergrößern anklicken....

Aber irgendwem ja nicht. Da draußen gibt es Menschen, die diese Technik verstehen und berechnen können.

Einer KI mit einer Intelligenz, die der des Menschen übersteigt, kannst du als Mensch keine Regeln auferlegen,
weil das Verständnis fehlt wie die KI funktioniert.

Oder wirst du ständig von Fischen verarscht?
 
Knastkaffee_309 schrieb:
Aber irgendwem ja nicht. Da draußen gibt es Menschen, die diese Technik verstehen und berechnen können.

Einer KI mit einer Intelligenz, die der des Menschen übersteigt, kannst du als Mensch keine Regeln auferlegen,
weil das Verständnis fehlt wie die KI funktioniert.

Oder wirst du ständig von Fischen verarscht?
Zum Vergrößern anklicken....

Genau.

Dieses Wissen, wie die Technik des Flugzeugs zu verstehen und zu berechnen ist, war auch nicht schon immer da. Das hat sich in 100 Jahren entwickelt.
In diesen hundert Jahren sind ziemlich viele runtergefallen.

Das Verständnis wie eine KI funktioniert fehlt.
Grossteils. Jetzt.
Ich bin mir ziemlich sicher dass das in nicht hundert, sondern vielleicht schon 10-20 Jahren anders aussieht.

Bis dahin muss halt damit gearbeitet und experimentiert werden, damit es da draussen irgendwann Menschen gibt die diese Technik so gut verstehen und berechnen können dass eben nichts passiert.
Diese Menschen werden ganz offensichtlich weder du noch ich sein. Vielleicht auch wenige von denen die im Moment noch daran forschen.
Dazu muss es aber KIs geben an denen man forschen kann.
Verbieten zu wollen was man nicht versteht war noch nie eine Lösung, für gar nix.
 
Kann schon sein das Verbote nicht immer die Lösung sind. Aber manche Verbote sind halt dringlich notwendig. Oder sollte in der Medikamentenforschung neuartige ungetestete Wirkstoffe an menschlichen Probanden sofort getestet werden dürfen? Ich mein die Zeiten gab es schonmal. Dieses ganze getue der KI Unternehmen ist doch an Scheinheilig nicht zu überbieten. Die wissen doch haargenau was sie auf den Markt geworfen haben und welche Risiken diese birgt. Ich finde einfach das hochkomplexe Technologie nicht in die Hand von irgendwelchen Hinterwäldlern gehört.
 
Potfunk schrieb:
Kann schon sein das Verbote nicht immer die Lösung sind. Aber manche Verbote sind halt dringlich notwendig. Oder sollte in der Medikamentenforschung neuartige ungetestete Wirkstoffe an menschlichen Probanden sofort getestet werden dürfen? Ich mein die Zeiten gab es schonmal. Dieses ganze getue der KI Unternehmen ist doch an Scheinheilig nicht zu überbieten. Die wissen doch haargenau was sie auf den Markt geworfen haben und welche Risiken diese birgt. Ich finde einfach das hochkomplexe Technologie nicht in die Hand von irgendwelchen Hinterwäldlern gehört.
Zum Vergrößern anklicken....
Da widerspreche ich dir absolut nicht.
Deshalb muss dazu speziell in der Wissenschaft geforscht werden. Und es gehört staatliche Förderung her, damit das nicht ausschliesslich in den Händen der Kapitalgesellschaften liegt die gross genug sind die Technologie aquf die Beine zu stellen. Das ist etwas das die gesamte Gesellschaft betrifft.
Denn das ist das gefährliche daran. Die wollen dann so schnell wie möglich Reibach damit machen und hauen auch gern, wie du schreibst, ungetestetes Zeug raus wenns nicht geregelt ist.
Das ist kein Verbot. Das ist eine Regelung.
Wie bei den Medikamenten... es ist nicht verboten Medikamente zu testen, es ist geregelt.
 
Bei 16:00 trifft er es exakt. Man stiehlt im Silicon valley einfach die Daten die man braucht. Wenn es kein Erfolg wird interessiert es keinen, wenn es ein Erfolg wird engagiert man einfach eine Armee von Rechtsanwälten die dann aufräumen und das Produkt in die Legalität überführen.
 
Neue Forschungsergebnisse finden signifikante Schwächen in allen LLMs — auch in den neuesten und besten.

Es geht im Kern um die Bestätigung eines alten Verdachts, nämlich dass LLMs im Kern nur Mustererkennung betreiben und nicht wirklich vernünftige Schlüsse ziehen können („Reasoning“), wie es zum Beispiel zum Lösen von mathematischen Problemstellungen notwendig ist.

 
"current LLMs are not capable of genuine logical reasoning, instead they attempt to replicate the reasoning steps observed in their training data"
Oder, deutsch:
Aktuelle LLMs sind nicht in der Lage, echte logische Überlegungen anzustellen, stattdessen versuchen sie, die in ihren Trainingsdaten beobachteten Logikschritte zu reproduzieren

Hier gibts die Infos in lesbarer Form, für alle die keine Videos mögen:

the-decoder.de

Kein Fünkchen Verständnis: Apple-Forscher bezweifeln Logik-Fähigkeiten von OpenAI o1

Eine neue Studie von Apple-Forschern, darunter KI-Experte Samy Bengio, stellt die logischen Fähigkeiten aktueller Large Language Models grundlegend infrage - selbst bei OpenAIs neuem "Reasoning-Modell" o1.
the-decoder.de the-decoder.de

Eine andere Studie kommt zu dem Schluss, dass KI-Modelle zumindest eine Art probabilistisches Schlussfolgern durchführen.

"Ein Grund für diese Unterschiede könnte sein, dass Begriffe wie Intelligenz, Denken und Logik unscharf sind, unterschiedlich definiert werden oder in Variationen und Abstufungen auftreten können. Letztlich wird die akademische Diskussion in den Hintergrund treten, wenn zukünftige KI-Modelle in der Lage sind, die ihnen gestellten Aufgaben zuverlässig zu lösen"

Es ist ja auch bei Menschen zu beobachten, dass es Menschen gibt die logisch denken und auch ungewohnte Aufgaben schnell lösen können, während andere sehr gut auswendig lernen und das dann anwenden können ( auch Mathematik ), allerdings immer in den Grenzen des Gelernten. Es bleibt spannend.
 
Zuletzt bearbeitet:
Hier noch eine interessante Studie in dem Zusammenhang aus Juni diesen Jahres, die eigentlich bestätigt dass KIs schwurbeln:

the-decoder.de

LLMs scheitern an einfacher Logikaufgabe, die selbst Kinder lösen können

Forscher zeigen anhand einer einfachen Textaufgabe, dass bisherige Sprachmodelle bei grundlegenden logischen Schlussfolgerungen versagen. Das Gefährliche: Die Modelle beharren auf falschen Antworten und überschätzen sich.
the-decoder.de the-decoder.de

"Der Zusammenbruch sei auch deshalb so dramatisch, weil die Modelle ein starkes Selbstvertrauen in ihre falschen Lösungen ausdrückten und Pseudo-Logik einsetzten, um die Gültigkeit eindeutig falscher Antworten zu rechtfertigen und zu untermauern, heißt es in dem Paper."
 

"Large language models reduce public knowledge sharing on online Q&A platforms" / Große Sprachmodelle reduzieren den öffentlichen Wissensaustausch auf Online-Q&A-Plattformen​

academic.oup.com

Large language models reduce public knowledge sharing on online Q&A platforms

Abstract. Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present
academic.oup.com academic.oup.com

Bei der in diesem Paper behandelten Plattform ging die Anzahl der Posts signifikant zurück.

Klar: warum erst in einer Plattform fragen und evtl. Stunden auf eine Antwort warten - da kann man doch gleich die KI befragen, die antwortet sofort. Und das bedeutet eben, dass es immer weniger qualifizierte Antworten geben wird, und die KI immer mehr halluzinieren muss weil künftig das Trainingsmaterial fehlt ...
 
goorooj schrieb:
"current LLMs are not capable of genuine logical reasoning, instead they attempt to replicate the reasoning steps observed in their training data"
Zum Vergrößern anklicken....

Tja, anfangs dieses Threads wurde darauf hingewiesen, dass Angst vor KI ein willkommenes Marketinginstrument für KI ist, weil man so in die Nachrichten kommt, als bedrohenswert schlaues System.

Nachdem jetzt einer der AI-Doom-Propheten den Nobelpreis bekommen hat, betont man vorsichtshalber, wie dumm die Systeme doch sind, tsk...

Aber: So, wie überraschenderweise die Systeme vor 2 Jahren anfingen, schlau zu sprechen, so werden sie irgendwann auch tatsächlich kapieren, was sie sagen.

Denn, so das Argument des Nobelpreisträgers (Geoffrey Hinton), die beste Methode der Maschine, um den Wahrheitsgehalt der (stochastisch erzeugten) Sätze zu verbessern, ist es, sie auch zu verstehen. Dann werde es gefährlich...

Hier ein interessanter Artikel (von letztem Jahr) über den Mann, seine Forschung und Bedenken:

www.newyorker.com

Why the Godfather of A.I. Fears What He’s Built

Geoffrey Hinton has spent a lifetime teaching computers to learn. Now he worries that artificial brains are better than ours.
www.newyorker.com www.newyorker.com
 
Danke für den Link ... lese ich mir mal durch, wenn ich Zeit habe.

Von wegen "betont man vorsichtshalber, wie dumm die Systeme doch sind, tsk..." .. OpenAI und Konsorten sagen das ja gar nicht, sondern Apple, die ziemlich spät zu dem LLM-Game dazugestoßen sind. Das aber nur als Bemerkung am Rande.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.


Neueste Beiträge

News

Zurück
Oben