Ein guter Punkt. Wir haben diese Fragen auch nie für uns beantwortet. Gibt es eine richtige Antwort auf die Frage, wen wir als Fahrer in solchen Entweder-Oder-Szenarien eher töten sollten? Aus meiner Sicht jedenfalls nicht. Also können wir das von einer KI, die von Menschen entwickelt wird, auch nicht erwarten.
Finde deinen Wunsch einer vorausschauenden KI auch sehr nachvollziehbar @caroline.helbing - aber sie wird im Zweifel doch fahren müssen, wenn ein ungeduldiger Mensch von A nach B will.
@Wolfgang, wie schwer wir Menschen uns mit dieser Frage tun - und welche Prioritäten wir setzen, zeigt ja moralmachine.mit.edu und das höchst diverse Abstimmungsverhalten.
Chefentwickler Iyad Rahwan in der SZ:
In Ländern mit ausgeprägtem Rechtsbewusstsein wie Deutschland überfahren die Leute eher mal jemanden, der bei Rot über die Straße geht. Kinder wollen alle schützen, nur in asiatischen Ländern mit hohem Traditionsbewusstsein und kollektivistischen Gesellschaften, wo der Respekt vor Älteren stärker ausgeprägt ist, nicht ganz so stark.
@caroline.helbing Du hast Recht, das ist moralisch ganz dünnes Eis, das wir alle wohl gerne umschiffen würden (weshalb ich Prechts Idee für die derzeit beste halte). Dass Leben nicht gegeneinander aufgerechnet werden dürfen, ergibt sich aus Art. 2 GG und wurde vom BVerfG 2005 und von der Ethik-Kommission zum Auton. Fahren 2017 noch einmal eindeutig bestätigt. Doch das Problem des Entweder-Oder bleibt! Und es muss schnell gelöst werden: 2020 will Tesla das vollautonome Fahren einführen, Volvo 2021 immerhin schon Level 4, in dem auch in brisanten Situationen der Wagen selbst entscheiden kann.
Deine Idee des meuternden Autos wäre sicherlich die beste Lösung für die Verkehrsteilnehmer… aber dann werden alle, die irgendwo hinmüssen, auf ihre E-Roller umsteigen 
Habe jetzt endlich auch den Moral Machine Test gemacht. War tatsächlich überrascht, dass ich bei einigen Kriterien fernab des Durchschnitts lag… das Zitat aus der SZ, das du gebracht hast, hat mich jedenfalls ertappt.
Kann jedem empfehlen, es auch zu versuchen. Es sind nämlich einige echt unangenehme Entscheidungen zu treffen: moralmachine.mit.edu
Ein großer Beitrag @michaelbrendel!
Hier ist die Debatte so richtig in Schwung gekommen 
Bevor ich auf einzelne Punkte und Argumente eingehe, das mache ich später an anderer Stelle, gebe ich vorab wenigstens ein für mich auf den Punkt gebrachtes Statement zum Thema, „wieviel künstliche Intelligenz möchte ich eigentlich?“
Ich möchte die Grenze an menschlich Machbarem anlegen.
Damit sage ich, dass die künstliche Intelligenz uns nicht Aufgaben abnehmen sollte, die für unsere eigene Entwicklung im Geistigen und Körperlichen zum Hindernis werden (könnten). Viele Aufgaben muss der Mensch erfüllen, um sich selbst (weiter) zu entwickeln. Sonst werden wir irgendwann gedacht, geheilt, wir werden bewegt, beobachtet, für uns wird entschieden, für uns wird die Welt geschaut, gefühlt, unser Leben wird für uns gelebt. Unsere Aufgabe in diesem Szenario wäre die reine Überwachung der Systeme, damit sie funktionieren und alles für uns erledigen.
Das wäre für mich zu viel künstliche Intelligenz! Der Mensch ist nicht Mensch weil er so aussieht wie ein Mensch, auf zwei Beinen gehend (wenn es noch geht), zwei Arme hängen hat, deren Hände durch seine Aufrichtung von der Fortbewegung befreit sind.
Wenn wir alle menschlichen Fähigkeiten weiter entwickeln wollen, dürfen wir nicht zulassen, dass eine künstliche Intelligenz uns dieses lebendige Momentum abnimmt. Das würde in der Zukunft zwangsläufig zu unserer Verkümmerung führen.
Künstliche Intelligenz sollte m.E. ausschließlich dafür eingesetzt werden, unsere Qualitäten und Fähigkeiten und unseren Planeten zu schützen, zu unterstützen und zu fördern.
Von den Religionen würde ich mir zunächst Stellungnahmen erwarten, ob und wie sie KI mit ihren Lehren harmonisieren. Schließlich besitzt die KI ja durchaus „ketzerisches“ Potential: Am Tag x erschafft die bisherige Krone der Schöpfung selbst eine neue Krone der Schöpfung. Baut sich der Mensch gar eine Gottheit selbst? Wäre spannend, hier mal Meinungen von Vertretern aller Religionen zu hören…
Schön, @lifequest, dass du für dich eine Position gefunden hast! Ich stimme dir zu: Die Frage, was wir von KI wollen, muss zusammengehen mit der Frage, was wir Menschen eigentlich von uns selbst wollen.
Allerdings hat die Menschheit schon immer Technologien entwickelt, die ihr geistige und körperliche Arbeiten abnehmen. Man kann das Zivilisation nennen oder Kultur, aber auch als negativen Einfluss die Entwicklung der Menschen bezeichnen - ein Argument, das bei jeder neuen Technologie zu hören ist (und im Nachhinein oft bestätigt wird).
Eine Grenze ist für mich dort erreicht, wo die Technik aufhört, als Werkzeug eingesetzt zu werden, sondern zu einem besseren Teil von uns wird, wie es der Trans- und Posthumanismus fordert.
Hilfe zum Schutz des Planeten ist gut und schön, und ich gönne mir den Optimismus, dass mithilfe kluger Datenanalysen Probleme wie der Klimawandel in den Griff zu kriegen sind. Aber ganz banal ist die Aufgabe „Hilf uns, die Erde zu erhalten!“ auch nicht. Denn wie bringen wir der KI bei, dass sie uns Menschen als Hauptgefährder unseres Planeten nicht ausradiert? Die Frage der Unveränderlichkeit von Zielen in lernenden Systemen ist ein in der Forschung bislang ungelöstes Problem.
Ja so ist es @lifequest:
Künstliche Intelligenz kann jedoch durchaus unsere Aufmerksamkeit auf Zusammenhänge lenken, die wir bisher nicht begriffen haben. Insofern ist KI, die von unterschiedlichsten Seiten gefüttert wird, ein neues integrierendes Sinnesorgan. Die Bewertung sich dann ergebender und vielleicht überraschender Ergebnisse sollte aber in jedem Fall dem Menschen überlassen werden.
Insofern ist ein bewusster Einsatz von KI durch den Anwender zu fordern - genauso wie dies auch bei der Nutzung jedweden Mediums angebracht ist.
Ich bin wirklich begeistert von euren Kommentaren. Schön, dass hier in kurzer Zeit solch ein breites und differenziertes Meinungsbild zustande gekommen ist!
Hier mein Antwortversuch zur Frage „Was erwarten wir von unseren Institutionen?“:
@Wolfgang , ich verstehe die derzeitige politische Strategie ausschließlich als Förderung der KI. Eine Leitplanke, mindestens aber das fundierte Wissen darüber, worum es eigentlich bei KI geht, fehlt völlig. Wie an der deutschen und europäischen KI-Strategie sichtbar wird, sieht die Politik in der KI vornehmlich ein Wirtschaftsgut, das gefördert und nicht etwa gebremst werden muss. Doch wenn die nationale und internationale Politik nicht bald die Fragen angeht, von denen wir hier - und hoffentlich bald viele in unserer Demokratie - sprechen (und das muss im Zweifel auch heißen: ernst macht mit der Regulierung von lernenden Algorithmen), gibt es aus der ungebremsten KI-Marktentwicklung kein Zurück mehr. Schauen wir auf Deutschland: Wie wollen unsere Politiker uns Bürgern erklären, dass es im Land Myriaden von Gesetzen, Siegeln, Qualitätsnormen und Prüfzertifikaten gibt, während Künstliche Intelligenz im Jahr 2019 zügel- und regulierungslos vor sich hin gefördert wird? Regulierung ist unpopulär, aber auf die Selbstbegrenzung der Industrie zu hoffen ist blauäugig und verantwortungslos.
Auch unsere Religionen sind gefordert, endlich eine Position zur Künstlichen Intelligenz zu finden. Bis heute gibt es keine ernsthafte Antwort auf Yuval Noah Hararis Bestseller Homo Deus, der den Glauben an einen Gott und an die Würde der nach seinem Ebenbild geschaffenen Menschen so radikal in Frage stellt. Und ich stimme dir zu, @Golo , dass gerde die Idee der Singularität die Theologie radikal herausfordert. Bis heute gibt es keine wahrnehmbare Positionierung zur Way of the Future-Kirche, einer Vereinigung, die Superintelligenzen als Götter anbetet. Und vielleicht am Schlimmsten: Bis heute fehlt eine klare Haltung der Kirchen zu den quasi-religiösen Verheißungen des Silicon Valley. Keine Reaktion auf das prophetenhafte Auftreten eines Steve Jobs oder Tim Cook bei den Präsentationen der neuesten Apple-Geräte, die das in diesem Zusammenhang häufig benutzte Wort Apple-Jünger restlos erklären. Und in welcher Kirche, Synagoge oder Moschee hört man klare Meinungen zu den immer mächtiger werdenden Algorithmen? Mich als Theologen und Gläuben schmerzt diese Sprachlosigkeit.
Zuletzt meine, zugegebenermaßen fatalistische, Sicht auf unser Bildungssystem: In vielen deutschen Schulen fehlt es noch immer an Konzepten zum sinnvollen und reflektierten Einsatz von Smartphones, Tablets und Internetanwendungen im Unterricht. Wenn Schule schon mit den digitalen Herausforderungen der Gegenwart nicht umzugehen weiß – Wie (bzw. wo) sollen junge Menschen dann mit Technologien der Zukunft umgehen lernen? Ich bin ganz bei dir, @Wolfgang, es geht dabei auch, aber nicht nur technisches Know-How! Die Fähigkeit zur kritischen Bewertung von intelligenten Prozessen und deren Nebenwirkungen muss in die Köpfe – zunächst in die der Lehrenden, dann in die der Schüler! Oder, kurz gesagt: KI muss auf den Stundenplan! Geschichte, Sprachen, Soziologie, Politik, Naturwissenschaften: Es gibt kein Fach, das nicht Fragestellungen der KI-Entwicklung betrifft. Ist unser Bildungssystem bereit dafür?
Das Frauhofer IAIS beschäftigt sich aktuell mit dem Thema der KI-Zertifizierung (https://www.iais.fraunhofer.de/de/kompetenzplattform-ki-nrw/ki-zertifizierung.html). Sicherlich ein wichtiger Baustein für die allgemeine Akzeptanz von KI-Anwendungen hier in Deutschland und in Europa. Was meint Ihr, juckt die großen KI-Player in den USA und in China so ein Zertifikat überhaupt? Oder wie steht es um die Relevanz, weil die großen Datenpools ja eh dort sind? Oder ist das die falsche Frage? Auf eine „KI made in Europe“ soll es politisch ja hinauslaufen …
Als passiver Agnostiker bewundere ich das Christentum ja für seine Standhaftigkeit, den sanften starken Jesus, die Mythologie und die zehn Gebote. Einfach ein gut skalierendes kulturelles Ordnungsprinzip mit Versuch der Gewaltreduktion. Und ein tolles Meme. Das aber halt auch autoritär sein musste, um richtig zu gedeihen. In einer eher wenig autoritären Gesellschaft wie unserer sollte man dann schon eine richtig gute Geschichte haben, wenn man sein Betriebssystem in den Köpfen der Leute installieren will – und die hat die christliche Kirche derzeit sicherlich nicht.
Wieso sollte dann nicht ein Startup kommen – mit schicker AI im Gepäck – und die Legacy angreifen?
Ich bin seit einigen Jahren in Crypto-Channels - im Moment bevorzugt auf Discord und Telegram – unterwegs. Dort sind vor allem junge Leute Anfang/Mitte 20, die im Schnitt eines am meisten eint: Der Wunsch, reich zu werden durch Crypto. Aber: Währenddessen reden sie über alle Formen der Kryptographie, der Spieltheorie, der AI, der Ökonomie, der Städteplanung, der Selbst-Privatisierung und Anonymisierung im Netz. Sie sharen alles, was es im Netz zum Thema gibt, identifizieren Fakes und Scams, machen Reaktionsvideos auf Youtube, diskutieren live bei Videos, Voice-Chats usw. usf. und bauen nebenbei open source die Infrastrukturen von morgen. Und machen die ganze Zeit Blödsinn.
Deshalb glaube ich @ChrisS , dass man die AI nicht regulieren kann - weil man sich (wie schon immer in der Computergeschichte) einer Vielzahl von jungen Codern und Hackern gegenüber sieht, die die Dinge auch um der Sache willen machen, weil einfach Lust. Und bis sowas dann überhaupt gesamtgesellschaftlich diskutiert werden kann, weil halbwegs verstanden, sind die Folgetechnologien schon am Start. Die Vermutung, dass eine AGI eher als Nebenprodukt entsteht, teile ich sofort.
Meine Entscheidungen nach Prio:
Keine Unterscheidung nach Einkommen, Geschlecht etc.
Danke @michaelbrendel für den Input über die drei großen KI-Paradoxien: Overtrust, Machtübergabe und den Anthropomorphismen.
Aber ich finde eine Debatte über die Frage
Was erwartet ihr/fordert ihr in Sachen KI-Grenzen von unseren Institutionen?
ein wenig schräg.
Wenn man mich nach den drei trägsten Institutionen in Sachen Fortschritt, Innovation und Neuerung fragt, würde ich wahrscheinlich mit Politik, Religion und Bildungssystem antworten. Vielleicht ist das auch gut so.
Denn was erwarten wir von einer KI?
Gerade ist alles ja nur nach einer Zielfunktion ausgerichtet. Überrascht das Ergebnis dann wirklich? Oder ist es intelligent?
So lange der Computer zur Zeit nur so gut ist, wie sein Algorithmus - oder im Fall von Deep Learning Methoden, wie gut und weitsichtig die Daten ausgewählt sind, mit denen er trainiert wurde - kann man den Ergebnissen auch keinen großen Fortschritt zusprechen. Denn genauso wie er hilft, schränkt er ein.
Die KI kann auch nicht erklären wie und warum sie sich entschieden hat, wofür sie sich entschieden hat. Und man kann sie nicht nach den Gründen ihres Urteils befragen. Damit ist eine KI nicht urteilsfähig und jedes Vertrauen darauf aktuell wäre fahrlässig.
Automatisierung und Vereinfachungen durch Algorithmen sind aber ein schönes Mittel und können Lebens- und Verhaltensweisen bereichern, indem man sie nutzt um den Fokus auf andere Dinge zu lenken.
Dort steht sich aber der Mensch selbst im Weg. Vielleicht nicht mit Overtrust, aber mit Overload bis zur Selbst-Entmündigung.
In seinem Vortrag hat Christian ‚Mio‘ Loclair die Händinnenflächen übereinander geführt, die eine für den Menschen, der immer mehr zur Maschine wird und die andere für die Maschine, die immer menschlichere Züge bekommt. Was übersteht sind die Daumen, die die Dinge veranschaulichen die Mensch und Maschine elementar unterscheiden und nicht vom jeweils anderen imitiert werden können.
(re:pulbica '19)
Das sind in seinem Fall erstmal die Fragen nach „SELF“, das Wissen um das eigene Selbst, „CHOICE“, die freie (durchaus begründbare) Entscheidung und „CREATIVE“, das bewusste Brechen mit, sagen wir, ritualisiertem Handeln.
Darauf muss das Bewusstsein geschärft werden.
Denn nur die maschinell funktionierende und denkende Gesellschaft muss sich Gedanken machen, wieviel KI wollen wir eigentlich und wann wird daraus eine Bedrohung.
Eine bereichernde Ergänzung, Danke! 
Ich danke.
Eine gesellschaftliche Auseinandersetzung, sehe ich auch so, braucht es dennoch.
Es ist ein bisschen wie moderne Alchemie.
Die Erschaffung des Golem, Aufbau von Materie oder das Mischen von bisher un-mischbaren Dingen, aber in erster Linie auch das Tun des Tuns willen.
Aber nicht ohne die nötige Meta-Chemie. 
Der Vorschlag von @delfi ist ‚phantastisch‘ gut. „Creative Intelligence“, die Intuition und Logik als Einheit wirken lässt.
Als Vision ist die Durchdringung mit anderen Impulsen aus der Gehirnforschung denkbar, wie:
Neuralink.
Allerdings wird das Leben uns, solange es existiert, immer wieder mit Grenzsituationen konfrontieren, denen wir nicht gewappnet sind. Sollten wir jemals auf alles Kommende vorbereitet sein, würde das Leben ein Ende finden…*
@Golo, ich habe lange über deine Beschreibung der christlichen Kirchen nachgedacht (ich vermute mal, du meinst damit alle). Will da auch gar nichts gegen sagen, ist eine wirklich frische Analogie, nur: Die Geschichte, die die Kirchen erzählen, ist großartig. Doch das OS ist seit mindestens 50 Jahren nicht mehr geupdatet worden. Mit den üblichen Folgen: Bugs, Verlangsamung, Anfälligkeit für Schadsoftware.
Auch an deiner Vermutung, eine Regulierung/Beherrschung würde immer hinter Hacking-Skills zurückbleiben, könnte was dran sein. (Ich hätte hier Gebrauch von der wunderbaren Zitierfunktion der Communityplattform gemacht, funktioniert in iOS/Firefox aber nicht… @Krischan @Wolfgang ? - EDIT 5.8.: Ist erledigt, funktioniert doch nach Seitenreload)
Allerdings wäre der ganze Diskurs, so er denn kommt, dann für die Tonne. Abgesehen davon, dass mich die Vorstellung einer zufälligen AGI, die ungewollt zur Superintelligenz wird und versehentlich immensen Schaden anrichtet, ziemlich ängstigt.
Mir persönlich – und das ist vermutlich jetzt schon ziemlich offtopic – fehlen einfach Antworten auf wahrlich fundamentale Fragen, allen voran die gute alte Theodizee-Frage, wie sie Stephen Fry vor einigen Jahren in seiner ihm eigenen zuspitzenden Art noch einmal gestellt hat:
Habe mal nach neueren Antworten von Kirchenseite gesucht und diese gefunden:
Der Bischof antwortet – verkürzt, um in der Metaphorik zu bleiben: Die Menschen verstehen eben a) den Scope und b) die Roadmap („Das Leben nach dem Tod“) des göttlichen Projekts nicht, um das Unglück auf der Welt richtig einordnen zu können. Ein klassischer Fall von „Appeal to authority“, der meines Erachtens heute nicht mehr greift.
Auch weil es nun ja technologisch nicht mehr völlig abwegig erscheint, dass der Mensch das Unglück auf der Welt einfach selbst beendet. Deshalb verstehe ich jeden, der sich neuen Ideenwelten, wie z.B. dem Transhumanismus verschreibt. 1E9 ist ja, wenn ich es richtig verstehe, auch ein Projekt, das die Leute ermuntern will, das Heft selbst in die Hand zu nehmen. Ich persönlich mag diese Pragmatik.
Ich bin über dieses Buch auf das Konzept von „Accidental AI“ gestoßen:
Darin geht es – wenig maskiert – um ein neues Feature in Gmail, das die Intention einer zu schreibenden Mail antizipiert und sie so umformuliert, dass sie ihr kommunikatives Ziel erreicht. Plötzlich aber fängt Gmail selbst an, Mails zu schreiben, und das Unglück nimmt seinen Lauf. Bin kurz zusammengezuckt, als mir das echte Gmail kürzlich Textbausteine beim Mailverfassen angeboten hat.
Aktuelle FAZ-Debatte: https://m.faz.net/aktuell/feuilleton/debatten/kuenstliche-intelligenz-wir-cyborgs-16316404.html
Die Theodizeefrage ist sicherlich eine der größten Herausforderungen in der Glaubensbegründung, für die es aber viele Erkläransätze gibt. Es wäre schön (habe aber wenig Hoffnung), wenn die Ansätze theologischerseits unter der Frage Transhumanismus/Problemlösung neu durchdacht würden. Danke für den Buchtipp. Ich weiß schon, warum ich einen „dummen“ Email-Hoster nutze