Algorithmen – vom Ende der Selbstbestimmung

ALGORITHMEN – VOM ENDE DER SELBSTBESTIMMUNG

Über die fragwürdigen Seiten digitaler Entscheidungssysteme

Der Mensch kommt außer Mode. Jedenfalls, wenn es darum geht Entscheidungen zu fällen. Das, was uns einmal von allen anderen Existenzen auf unserem Planeten unterschieden hat, nämlich, dass wir autonome Entscheidungen treffen können, auch auf das Risiko hin uns für das Falsche oder gar für das Böse zu entscheiden, dass wir auch, aber nicht nur instinktgesteuert agieren und reagieren, genau das soll uns in Zukunft in immer stärkerem Ausmaß genommen werden. Der neue Gott heißt Algorithmus.

Ein Algorithmus ist der bessere Mensch. Er ist frei von Emotionen und fällt deshalb durchweg rationale Entscheidungen. Seine Lösungen sind allein sachorientiert und effektiv. Er ist nicht von der Tagesform abhängig. Er lässt sich nicht von Äußerlichkeiten beeinflussen. Seine Arbeit hängt nicht von einem zufälligen Intelligenzquotienten oder einer mehr oder weniger gelungenen Ausbildung ab. Auf ihn können wir uns in jeder Sachlage und zu jeder Zeit verlassen.

Und deshalb findet er mehr und mehr Verbreitung.

Algorithmen schreiben Sportberichte und Gedichte und malen Bilder. Sie steuern und optimieren Produktionsabläufe, sortieren Waren in Lagerhallen, managen die Buchhaltung. Sie bestimmen, welche Nachrichten auf unserem Bildschirm erscheinen, beeinflussen unsere Hotelwahl und unsere Dates. Sie werten Krankenakten aus, stellen Diagnosen und entwickeln Therapien, bewerten Anträge und bestimmen, wer eine Versicherungspolice bekommt oder einen Kredit. Sie filtern Orte heraus, an denen eine verstärkte polizeiliche Kontrolle stattfindet und Razzien durchgeführt werden, und sie entscheiden, wer frühzeitig aus der Haft entlassen wird.

Natürlich alles nur zu unserem Besten. Man nennt es Fortschritt. Die Frage ist hier nicht nur: Fortschritt wohin? Längst ist es auch ein Fortschreiten von etwas weg. Von unserer Humanität. Algorithmen nehmen uns Entscheidungen ab. Und Verantwortung. Wir trauen uns selbst nichts mehr zu, und deshalb entmündigen wir uns freiwillig.

Paradoxerweise macht gerade das Algorithmen so beliebt, denn sie entlasten uns in zweifacher Hinsicht: von unserer Unsicherheit bei schwierigen Entscheidungsprozessen und dem Risiko für unsere Fehler einstehen zu müssen. Und so stellen sich zahlreiche Fragen: Wie effektiv, wie rational, wieviel besser als Menschen sind Algorithmen? In welchen Zusammenhängen und wie weit wollen wir Algorithmen einsetzen und ihnen Entscheidungen überlassen? Welche gesellschaftlichen Folgen hat der Einsatz von Algorithmen, und wollen wir die akzeptieren? Lassen sich negative Auswirkungen verhindern oder eingrenzen?

Algorithmen entmündigen uns.

Neulich im Park. Schon von weitem ist zu erkennen, dass der Jogger seine letzten Körner frisst. Er wird langsamer und blickt auf sein Handy. Es ist offensichtlich, dass er aufhören sollte, aber wahrscheinlich sagt ihm sein auf medizinischen Daten beruhendes Fitness-Programm, dass das Training noch nicht beendet ist. Mit Pudding in den Beinen läuft er weiter. 500 m später ein erneuter Blick aufs Handy, er tippt einmal und plumpst aufs Gras. Das soll gesund sein? Seine körperlichen Grenzen auszutesten und auch mal zu überschreiten mag eine bereichernde und auch Selbstbewusstsein vermittelnde Erfahrung sein. Aber sich einem von Selbstoptimierern entwickelten und von Algorithmen gesteuerten Drill zu unterwerfen und bis an den Rand des Zusammenbruchs zu malträtieren, statt auf seinen eigenen Körper zu hören? Das klingt eher nach Entfremdung von sich selbst.

Siri und Alexa reden mit ihren Mitbewohnern und kennen sie bald besser, als die sich selbst. Ihre Algorithmen ermöglichen die Kommunikation, nach einer Weile fast telepathisch. Theoretisch könnte Alexa uns auch unaufgefordert unsere Lieblingsmusik vorspielen oder einen Film starten, weil sie besser weiß als wir, was uns jetzt guttut.

Zugegeben, zwei eher harmlose Beispiele, die allenfalls esoterisch Angehauchte den anthroposophischen Kopf schütteln lässt.

Schwieriger wird es schon beim autonomen Fahren. Welchen Algorithmus wollen wir selbststeuernden Autos für Unfallsituationen eingeben? Soll das System jüngere Menschen schützen oder ältere? Soll die Todeswahrscheinlichkeit der entscheidende Faktor sein oder der wirtschaftliche Schaden? Die momentan entwickelten Systeme berechnen in Sekundenschnelle die Überlebenschancen, was zu absurden Schlussfolgerungen führen kann. Fährt das Auto auf ein Hindernis zu, vor dem es nicht mehr rechtzeitig bremsen kann, muss der Autopilot ausweichen und wird das besser geschützte Opfer wählen, z.B. ein anderes Auto statt eines Fahrradfahrers. Handelt es sich um zwei Fahrradfahrer, wird es den mit Sturzhelm überfahren. Das würde bedeuten, dass man seine Überlebenschancen im autonomen Verkehr ohne Sturzhelm erhöhen würde! Nur mal theoretisch gefragt: müssten wir nicht einen Algorithmus programmieren, der uns auch selbst zum Opfer macht? Müsste das Computersystem den Wagen nicht auf das Hindernis aufprallen lassen, wenn dadurch weniger Menschen gefährdet werden als durch das Ausweichmanöver? Ich glaube nicht, dass die Mehrheit diese Entscheidung wirklich ihrem Auto überlassen will.

Ein zunehmend beliebtes Feld für den Einsatz von Algorithmen ist die Medizin. Die große Hoffnung ist, dass KI, dass deep learning medizinische Behandlung verbessert und billiger macht, nicht nur weil sie Arztbesuche erspart, sondern Diagnose und Therapie verbessert. So gibt es bereits Computerprogramme, die mit deutlich höherer Trefferquote Krebs oder Augenerkrankungen erkennen als der Mensch. Im Krankenhausalltag kann bereits heute mit zig-tausenden Daten gefütterte und sich selbst ständig weiterentwickelnde Software die beste Therapie berechnen, z.B. die Dosierung von Medikamenten – vorausgesetzt, die zugrunde liegenden Daten stimmen und das System funktioniert einwandfrei.

Wird es in Zukunft irgendeine Krankenschwester, irgendein Stationsarzt wagen, der Software zu widersprechen? Wird ein Arzt gegen den Algorithmus entscheiden, weil er aufgrund seiner Erfahrung, womöglich gar nur aufgrund seiner Intuition, eine andere Behandlung, eine schwächere Dosierung empfehlen würde? Weil ihm die Dosierung zweifelhaft erscheint und er einen Rechen- oder Programmfehler vermutet? Wohl kaum. Das persönliche Risiko, wahrscheinlichkeitstheoretisch auch das Risiko für den Patienten, wäre einfach zu hoch. Und sollte sich die Medikation ausnahmsweise mal doch als falsch erweisen, gar tödlich enden, war es halt ein tragischer Fehler des ansonsten ja unfehlbaren Programms. Die Entscheidung eines Algorithmus anzuzweifeln bringt jeden Techniker, jeden Sachbearbeiter, jeden Mediziner in Erklärungsnot und in Rechtfertigungszwang; sie zu akzeptieren befreit, zumindest juristisch, von jeder Verantwortung.

Forscher nennen dieses Phänomen des vorauseilenden Gehorsams gegenüber Computerprogrammen Algorithmic Bias. In einigen Untersuchungen zeigte sich, dass Verwaltungsangestellte nur in einem von 100 Fällen wagten, anders zu entscheiden.¹

Algorithmen haben Vorurteile

Eine zweite Form des Algorithmic Bias könnte sich als viel gravierender erweisen: digital institutionalisierte Diskriminierung. Algorithmen sind nur so gut und vorurteilsfrei wie ihre Entwickler und wie die Datenbasis, die sie verwenden. Die Daten sind das Resultat gegenwärtiger Verhältnisse, ebenso wie die Einstellungen der Programmierer. Deshalb perpetuieren Algorithmen die Gegenwart. Sie werden in einer ganz konkreten historischen Situation geschaffen, basierend auf dem gerade verfügbaren Wissen und den aktuellen sozio-ökonomischen Verhältnissen. Einmal installiert arbeiten sie völlig unabhängig von gesellschaftlichen Entwicklungen.

Z.B. in Österreich. Das dortige Arbeitsamt möchte seine finanziellen Ressourcen so effektiv wie möglich einsetzen und gezielt die Arbeitslosen fördern, bei denen die Aussichten auf eine neue Arbeitsstelle am größten sind. Seit Anfang 2020 entscheiden darüber aber nicht mehr die Mitarbeiter, sondern ein Algorithmus. Der gibt eine Prognose ab, basierend auf verschiedenen Daten wie Ausbildung, Arbeitsbiographie, Geschlecht und Alter. Personen mit guter Prognose werden vorrangig gefördert; die anderen müssen sich hinten anstellen oder gehen gänzlich leer aus. Um zu wissen, wer das ist, muss man kein Computerexperte sein: die schlechtesten Aussichten haben Langzeitarbeitslose, Ältere und Frauen, vor allem Alleinerziehende. Und denen sagt man mit der Einführung des neuen Systems: ihr hattet bisher schon wenig Chancen, jetzt sorgen wir dafür, dass ihr gar keine mehr habt. Was übrigens gleichzeitig zu einer sich selbst erfüllenden Prophezeiung führt, denn die von Vornherein problematische Annahme wird nachträglich immer wieder bestätigt.

Bei begrenzten Ressourcen stehen diese Personengruppen in der Schlange jetzt und in Zukunft ganz hinten, und wenn sie die Fördertöpfe endlich sehen können, sind sie leer. Aber die Verantwortung hat natürlich keine Regierung, keine Behörde, kein Mensch. Diskriminierung? Ein Algorithmus hat doch keine Vorurteile.

Genau so wenig wie Goldman Sachs, als sie die neue Apple Kredit Karte auf den Markt warfen, die Männern einen höheren Kreditrahmen einräumen als Frauen mit dem selben Einkommen. Das habe nichts mit Sexismus zu tun, verließ man verlauten, sondern mit einem völlig neutralen Algorithmus zur Berechnung der individuellen Kreditwürdigkeit.

In den USA berechnen Algorithmen die Höhe der Prämien von Autoversicherern. Zu den starken Kriterien zählt der Wohnort. Ein schwarzes Ghetto wird da teuer! Das hat angeblich nichts mit Rassismus zu tun, sondern allein mit Wahrscheinlichkeitsrechnung. Da sich an den sozialen Verhältnissen so schnell nichts Gravierendes ändern wird, wird sich auch der Algorithmus weiterhin selbst bestätigen. Es sei denn, die Versicherungen stellen sich selbst ein Bein: ein weiteres zentrales Kriterium ist die Kreditwürdigkeit bzw. Zahlungssicherheit, was zu absurden Ergebnissen führte: es stellte sich heraus, dass ein Jahrzehnte lang unfallfreier, aber finanzschwacher Autofahrer mit prekärem Arbeitsleben höhere Prämien zahlen muss – wenn er überhaupt einen Vertrag bekommt – als ein wohlhabender Fahrer, der regelmäßig Unfälle verursacht. Ähnliche Strukturen und problematische Algorithmen kommen, nicht nur in den USA, im Versicherungs- und Kreditgewerbe zum Einsatz.

Gleiches gilt für das Gesundheitswesen. Eine Untersuchung in den USA wies nach, dass viele dort verwendete Algorithmen rassistische Verhältnisse und Einstellungen bestätigen und verstärken; so etwa in einem Programm mit dessen Hilfe entschieden wird, welche Familien verstärkt Hilfe bei der Gesundheitsvorsorge benötigen oder in Pflegeprogramme aufgenommen werden sollten. Nach der Einführung sank die Zahl der schwarzen Familien in dem Hilfsprogramm um 50%! Der entscheidende Faktor waren die bisherigen Gesundheitsausgaben. Die Programmierer gingen einfach davon aus, dass, wer wenig ausgibt, offensichtlich auch gesund ist. Da Schwarze sich aber nach wie vor am unteren Ende der Einkommensskala befinden, bleibt ihnen auch weniger für Arztbesuche, Medikamente etc., und so verschärfte der Algorithmus sogar die Benachteiligung. Dabei unterstellt die Studie den Entwicklern gar nicht mal bewussten Rassismus. Sie haben sich schlicht zu wenig Gedanken über ihre Kriterien gemacht.²

Und wieso identifizierte die Bilderkennungssoftware von Google eine Gruppe von Afroamerikanern als Gorillas? Es lag am Datenmaterial mit dem das System trainiert wurde: die Datenbank enthielt stark überproportional Bilder von Menschen des ‚kaukasischen Typs‘ (eine amerikanische Klassifizierung). Warum das so ist, hat vielleicht nichts mit bewusstem Rassismus zu tun, sondern mit der eingeschränkten Wahrnehmung von Entwicklern, die sich in einem überwiegend weißen Milieu bewegen.³

„Mit Algorithmen blicken wir in einen Spiegel“, kommentierte Sandra Wachter, Professorin für Recht und AI-Ethik an der Oxford University. „Sie reflektieren die Ungleichheiten in unserer Gesellschaft.“⁴

Über diese Punkte hinaus gibt es weitere bedenkenswerte Aspekte im Zusammenhang mit der immer häufigeren Verwendung von Algorithmen. Dass sie nicht vorurteilsfrei sind, haben wir bereits gesehen. Auf der anderen Seite gibt es Anwendungsbereiche, in denen die Objektivität der Entscheidung durchaus verbessert werden kann. So wird darauf verwiesen, dass ein Computerprogramm bei Einstellungen oder Gerichtsverfahren tatsächlich ohne ‚Ansehen‘ der Person entscheiden würde (vorausgesetzt natürlich, dass keine Bilder oder Angaben zu Hautfarbe und Herkunft verwendet werden), unabhängig von vielleicht sachlich völlig irrelevanten Vorlieben eines Personalchefs.

Algorithmen sind empathielos.

Aber ist eine Maschine wirklich besser als der Mensch, gar der bessere, weil rationalere Mensch? Der entscheidende Unterschied besteht im Empathievermögen. Ein Algorithmus hat keine Empathie, denn die beruht auf etwas Unprogrammierbarem, auf etwas, das mit Seele zu tun hat, mit durch Sozialisation und Erfahrung gewachsenem Verständnis für den Anderen.

In den USA wird seit einiger Zeit ein Algorithmus verwendet, um über die Verhängung von Bewährungsstrafen zu entscheiden. Mal abgesehen davon, dass auch dies zu einem Skandal führte, als das Recherchenetzwerk ProPublica nachwies, dass Afro-Amerikanern systematisch ein höheres Rückfallrisiko zugeordnet und deshalb eine Gefängnisstrafe verhängt wurde⁵. Aber wollen oder sollten wir solche Entscheidungen wirklich systematisch einem digitalen Programm überlassen? Ein menschlicher Richter bringt bewusst oder unbewusst seine persönliche Einstellung in ein Urteil mit ein, aber das muss nicht immer negativ sein. Menschen haben ein anthropologisch gewachsenes Verständnis für andere Menschen, zugegeben mal mehr, mal weniger. Eine Maschine jedoch kann niemals die Motive, die Notlage, die Verwirrung eines Menschen nachvollziehen. Ihre Berechnung der Wahrscheinlichkeit einer Wiederholung der Tat beruht auf einer mathematischen Formel und binären Codes, sie sieht dem Angeklagten nicht in die Augen. Die persönliche Einschätzung des Angeklagten durch den Richter kann zu Milde führen, oder vielleicht auch zu besonderer Härte, und anschließend mag man sich über das Urteil streiten. Ob dieser empathische Richter das im konkreten Fall bessere Urteil fällt oder der Algorithmus, das kann nur die Zukunft entscheiden. Aber Milde, Gnade gar, kennt ein Algorithmus nicht!

Darüber hinaus handelt es sich bei Menschen um Einzelfälle und sie entscheiden Einzelfälle. Ein fehlerhaftes Computerprogramm, ein schlecht konstruierter Algorithmus aber wird zum Regelfall, Dann handelt es sich nicht mehr um individuelles ‚Pech‘ an den Falschen geraten zu sein, sondern wirkt sich systematisch auf eine Gruppe als Ganzes aus, auf Schwarze, auf Arme, auf Frauen.

Algorithmen sind unangreifbar.

Ja, Menschen machen Fehler. Technische Systeme aber auch (wenn auch, sofern sie ausgereift sind, weniger). Das wissen alle, die schon einmal das Internet benutzt haben, oder mit einer Panne liegen geblieben sind. Flugzeuge sind aufgrund technischer Defekte abgestürzt und Bremsen haben versagt. Wie aber gehe ich mit einer als ungerecht empfundenen Entscheidung eines Computers um, oder einer Fehldiagnose des Algorithmus? Auf wen soll man seinen Unmut, seinen Ärger projizieren? Den Sachbearbeiter kann ich beschimpfen, ihn für dumm oder ungerecht oder beides halten, und das macht es vielen Opfern von Fehlern vielleicht leichter damit klarzukommen. Ein Algorithmus dagegen ist anonym, unsichtbar – und entzieht sich jeder Schuldzuweisung!

Bis heute ist völlig ungeklärt, wer für Fehlentscheidungen von Algorithmen haftbar gemacht werden kann, was eines der größten Hemmnisse z.B. bei der Verwirklichung autonomen Fahrens ist. Der Autoverkäufer, der Programmierer oder sein Arbeitgeber? Müssen besondere Haftpflichtversicherungen abgeschlossen werden? Bisher ist nur klar, dass die Softwarefirmen sich mit Händen und Füßen gegen eine Haftungspflicht wehren, ebenso wie die Automobilproduzenten, denn Programmfehler mit Todesfolgen könnten unbezahlbar werden. Diese Frage stellt sich vor allem auch in der Medizin. Wen kann ich verklagen, wenn sich herausstellt, dass der Computerarzt eine Fehldiagnose gestellt hat, wenn die Dosis zu hoch war, oder der operierende Roboter⁶ aufgrund eines unvorhergesehenen Ereignisses die Situation falsch einschätzt und dem Patienten schweren Schaden zufügt?

Algorithmen sind undurchschaubar.

Algorithmen haben etwas Kafkaeskes: sie konfrontieren uns mit Entscheidungen, die für uns nicht nachvollziehbar sind, denn wir wissen nicht auf welcher Grundlage sie gefällt wurden. Wir wissen nicht, warum uns die Versicherung keine Police verkaufen will, warum uns die Bank keinen Kredit gewährt, warum wir nicht Teil eines Sozialhilfeprogramms werden, warum wir keine Bewährung bekommen. Der gesamte Entscheidungsprozess bleibt uns ein Rätsel. Und der Entscheider hat kein Gesicht. Je automatisierter entsprechende Verfahren ablaufen, desto weniger Sachbearbeiter wird es geben, die die Prozesse wenigstens in Gang setzen. Und so bleiben wir hilflos zurück in einem buchstäblich entmenschlichten System.

Zudem übergeben wir mehr und mehr Kontrolle an Systeme künstlicher Intelligenz und überlassen auch das Denken und Entwickeln den Maschinen, dem deep learning, den selbstlernenden Programmen, den Algorithmen, die wiederum Algorithmen und Programme generieren, die kein Mensch mehr durchblickt, die kein Programmierer mehr nachvollziehen kann.⁷ Bisher könnte mir die Bank ja auf Nachfrage erläutern, wie ich meine Kreditwürdigkeit erhöhen kann, aber will sie das und kann sie das in Zukunft?

Dhruv Batra, Spezialist für Interaktive Computertechnik an der technischen Hochschule Georgia sagte dazu schon vor längerem: „Wir verstehen schon jetzt im Allgemeinen nicht, wie komplexe AIs denken, weil wir in ihren Denkprozess nicht wirklich hineinsehen können.“⁸

Übrigens verbirgt sich hier auch eine generelle, viel zu häufig unterschätzte Gefahr des Technologiezeitalters bzw. der Digitalisierung. Unsere Instrumente werden immer ausgefeilter, unsere technischen Möglichkeiten immer vielfältiger, aber gleichzeitig sinkt die Fehlerfreundlichkeit enorm. Damit bezeichnet man das Ausmaß der Auswirkungen durch einen Fehler in einem technischen System. Fliegt eine Biogasanlage in die Luft, bleiben die Schäden überschaubar. In einem Atomkraftwerk darf nicht der geringste Fehler passieren. Ein rassistischer Richter schadet, wie gesagt, einzelnen Personen, ein auf Vorurteilen und/oder alten Daten beruhender Algorithmus wird zur institutionalisierten digitalen Diskriminierung ganzer Bevölkerungsgruppen. Eine ausgefallene Ampel lässt sich managen, ein ausgefallenes (oder gar gehacktes!) Verkehrsleitsystem nicht. Gleiches gilt für die Steuerung unserer Energieversorgung und von Produktionsprozessen. Überall wird zunehmend auf Algorithmen und deep learning gesetzt.

Algorithmen sind politisch neutral – und tendenziell autokratisch.

Man kann einen Algorithmus als rein mathematisch-technisches Phänomen betrachten, dem es völlig gleichgültig ist, ob der Anwender der MLPD angehört, der Tierschutzpartei oder der AfD. Man kann es auch wie Putin sehen: „Wer in der künstlichen Intelligenz führend ist, der wird die Welt regieren“⁹. (Wobei der vor allem an Waffensysteme dachte. Doch auf die Horrorszenarien im Zusammenhang mit selbstgesteuerten und -entscheidenden Drohnen, automatisierten Verteidigungssystemen und Roboter-Soldaten will ich hier gar nicht eingehen.¹⁰ )

Aufgrund der oben geschilderten Eigenschaften und Probleme sind Algorithmen das ideale Instrument zur Stabilisierung bürokratisch kontrollierter Macht und der Steuerung und Überwachung der Bevölkerung. Anonymisierung der Entscheidungsträger auf der einen und völlige Durchschaubarkeit des Bürgers auf der anderen Seite ergänzen sich zu einem erschreckend undemokratischen Potential, wie man am drastischsten in China sehen kann. Aber auch bei uns drohen strukturell ähnliche Entwicklungen.

Bereits heute werden in Belgien automatisiert Arbeitslose herausgefiltert, die sanktioniert werden sollen, und in Dänemark wird algorithmisch über die Kontrolle von Sozialhilfeempfängern entschieden. Erst massive öffentliche Proteste stoppten den Plan der dänischen Regierung zur automatisierten Berechnung von Risiken für das Kindeswohl. Mit einem von Algorithmen errechneten Punktesystem sollten Behörden, unabhängig von einem konkreten Verdacht, Familien ermitteln, die verstärkt beobachtet und kontrolliert werden sollten. Dabei wären z.B. Arztbesuche positiv, Scheidungen dagegen negativ bewertet worden.¹¹

In Finnland scheinen Arbeitgeber wenig von Datenschutz zu halten. Sie nutzen ein Programm, das Bewerbern das Ausfüllen von Formularen, den Lebenslauf etc. erspart. Sie müssen lediglich zustimmen, dass das Programm ihren kompletten persönlichen Emailverkehr analysieren darf. Das würde reichen, um den geeignetsten Bewerber herauszufiltern. Das alles natürlich völlig freiwillig. Bisher, so eine Firma, habe sich noch niemand verweigert.¹² Freiwillig? Oder weil das das Ende des Bewerbungsverfahrens gewesen wäre?

Zunehmender Beliebtheit erfreut sich insbesondere das sogenannte predictive policing, ein Verfahren, bei dem alle als hilfreich angesehenen (!) verfügbaren personenbezogenen Daten gesammelt und ausgewertet werden, um auf Basis von Erfahrungswerten vorherzusagen, wer wo und wann höchstwahrscheinlich eine Straftat verüben wird. Soziale Brennpunkte werden algorithmisch identifiziert, analysiert und anschließend per Kamera oder Polizeipräsenz überwacht. Die Software nennt mögliche Tatorte, Tatzeiten und wo möglich auch die potentiellen Täter. Das stammt nicht aus einer Filmkritik über „Matrix“, sondern ist in den USA bereits weit verbreitet. Auch in Belgien, dem UK und in der Schweiz sind solche Systeme bereits im Einsatz.

Der Erfolg dieser doch stark an Big Brother erinnernden Methode ist bisher umstritten. Die Befürworter halten die Einschränkung des Datenschutzes und der Privatsphäre und die Erstellung von Profilen über Wohngebiete und ihre Bewohner für hinnehmbar im Interesse größerer Sicherheit, und verweisen auf erzielte Erfolge, beispielsweise in Belgien, wo in einem Versuchsgebiet 2016 die Zahl der Einbrüche und die Kriminalitätsrate insgesamt um 40 % gesunken sei. Auch in St. Cruz, Los Angeles, Seattle und Boston schwört man auf predictive policing, das nicht nur Straftaten ganz verhindere, sondern die Ermittlungsarbeit erleichtere und somit insgesamt immense Kostenersparnisse mit sich bringe.¹³

Kritiker verweisen nicht nur auf den problematischen Kontroll- und Überwachungseifer oder auf die Vorurteilslastigkeit gerade solcher Algorithmen¹⁴. Sie bezweifeln auch die für predictive policing reklamierten Erfolge. Beispiel Einbrüche:

„Wenn wahrscheinlich ist, dass irgendwo ein Einbruch stattfindet, dann geht die Polizei dort Streife. Wenn dann nichts passiert – was heißt das? Dass der Einbrecher sowieso nicht einbrechen wollte? Dass er von der Polizei vertrieben wurde? Und wenn er einbricht und ertappt wird, hatte die Software Recht? Oder einfach so? Wie will man zwischen Kausalzusammenhang und zufälligem Zusammentreffen unterscheiden?“¹⁵

Mehrere Untersuchungen kamen bisher zu dem Ergebnis, dass eine Kausalbeziehung zwischen predictive policing und sinkender Kriminalität nicht nachgewiesen werden könne.¹⁶

Sollten solche Programme in Sozial- und Gesundheitswesen, bei Polizei und Geheimdiensten (mit Terrorbekämpfung lässt sich heute fast alles rechtfertigen) zunehmend zum Einsatz kommen, muss man zwar nicht gleich chinesische Verhältnisse fürchten – um das langfristige Funktionieren unseres Rechtsstaates aber schon, insbesondere wenn man an die zahllosen Verknüpfungsmöglichkeiten mit sozialen Netzwerken, online shopping und Videoüberwachung denkt.

Fazit

Die großen Vorteile algorithmusbasierter Computerprogramme für Verwaltung und Produktion sind unbestritten. Darum kann es auch nicht um Verbote gehen. Wie in vielen anderen Bereichen moderner Technologien kommt allerdings auch hier die öffentliche Diskussion viel zu kurz. Es geht darum, das Bewusstsein der Bürger, insbesondere aber auch der Entwickler und Anwender zu schärfen und Sicherungsmechanismen einzubauen, die rechtsstaatlich, demokratisch und sozialpolitisch gefährliche Effekte zumindest begrenzen und im Nachhinein korrigieren, idealerweise ganz vermeiden können.

Die Entwickler brauchen permanentes Feedback.

Um zu gewährleisten, dass ein Algorithmus tatsächlich sinnvollere Entscheidungen als menschliche Experten trifft, muss er ständig evaluiert, permanent überprüft und mit neuen externen Daten ergänzt werden. Nur so können sich selbst erfüllende Prophezeiungen vermieden, Verzerrungen durch dem Programm inhärente Vorurteile aufgedeckt und gesellschaftliche Veränderungen berücksichtigt werden (z.B. in Bezug auf Wohngebiete Prozesse der Gentrifizierung).

Es muss völlige Transparenz herrschen. Jeder Algorithmus muss veröffentlicht werden und für jeden einsehbar sein.

Es ist klar, dass eine solche Regelung in das Betriebsgeheimnis eingreift; schließlich verdienen Entwickler mit den von ihnen entwickelten Programmen Geld. Dazu aber würde ein Lizenzsystem ausreichen. Aber nur, wenn Wissenschaftler, Anwender und Betroffene wissen, auf welchen Grundlagen Entscheidungen getroffen werden, ist ein sinnvolles Feedback möglich, können Fehlentwicklungen festgestellt und Algorithmen verbessert werden, etwa durch eine andere Wahl oder Gewichtung einzelner Kriterien (s. Autoversicherungen, Kreditkarten). Zudem würde es Klagen wesentlich erleichtern.

Es muss spezielle Klagemöglichkeiten gegen Entscheidungen geben, die mit Hilfe von Algorithmen gefällt wurden.

Nur so kann beispielsweise ein Bankkunde erfahren, warum genau ihm ein Kredit verweigert wurde, warum die Versicherung ihn ablehnt, warum ihm eine Sozialleistung verweigert oder gestrichen wurde. D.h., jeder Betroffene muss auf Offenlegung der Algorithmen klagen können. Es muss dringend verhindert werden, dass Menschen einem technisch-maschinellen System ausgeliefert werden, das ihnen Lebenschancen nimmt und soziale Teilhabe verwehrt.

Es wäre u.U. auch darüber nachzudenken, ob algorithmusbasierte Programme ganz verboten werden können, wenn entweder nicht nachgewiesen kann, dass sie tatsächlich bessere Entscheidungen treffen als Fachpersonal, oder wenn die Fehlerfreundlichkeit über ein vertretbares Maß hinaus reduziert wird.

Bei allen das Leben von Menschen direkt beeinflussenden Entscheidungen (Gesundheits-, Rechts-, Bildungswesen etc.) muss immer ein Mensch das letzte Wort haben.

Wer glaubt, das Heil liege in kalter mathematisch-logischer Deduktion, wird lieber auf ein Computerprogramm setzen als auf ein Wesen aus Fleisch und Blut. Wer aber dem Menschen die Kontrolle über sein Leben, über sich selbst erhalten will, für den werden Algorithmen nie mehr sein als Hilfssysteme, niemals aber unangefochtene, nicht hinterfragte Autoritäten.

Wenn der Mensch sich nicht völlig entmündigen will, darf er sich der Technik, darf er sich Algorithmen und Künstlicher Intelligenz niemals unterwerfen.

¹ Siehe z.B.: Nezik, Ann-Kathrin. „Wenn Maschinen kalt entscheiden.“ Die Zeit, 24.10.19

² https://healthitanalytics.com/news/eliminating-racial-bias-in-algorithm-development/ (Zugriff 22.2.20

³https://www.scinexx.de/dossierartikel/wie-objektiv-ist-die-ki/

⁴ Zitiert in: https://www.nytimes.com/2019/11/15/technology/algorithmic-ai-bias.html (Zugriff, 22.2.20

⁵ https://www.handelsblatt.com/technik/forschung-innovation/kuenstliche-intelligenz-die-macht-der-algorithmen/22913114.html?ticket=ST-7174894-hngmLGWUc11veskMeFNI-ap1 (Zugriff 25.2.20)

Eine Erklärung der Fehlerhaftigkeit bei der Bewertung der Rückfälligkeit von Straftätern findet sich in:

https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf (Zugriff 23.2.20)

⁶ S. dazu z.B.: https://www.tagesspiegel.de/berlin/operationsroboter-in-der-medizin-ein-ganz-besonderer-assistent/24890878.html (Zugriff 18.2.20)

⁷ Am bekanntesten dürfte der eher witzige Fall des von Facebook entwickelten KI-Systems sein, dessen Algorithmen eine eigene Sprache entwickelten. Dem ‚Gespräch‘ zweier ‚Sprecher‘ konnten die Programmierer immer weniger folgen, bis sie schließlich gar nichts mehr verstanden. Das wurde ihnen so unheimlich, dass sie das Einzige taten, was noch unter ihrer Kontrolle war, um das Ganze zu stoppen: sie zogen den Stecker.

⁸ Zitiert in: https://www.welt.de/kmpkt/article167102506/Facebook-musste-AI-abschalten-die-Geheimsprache-entwickelt-hat.html (Zugriff 27.2.20)

Ähnlich äußerte sich Armin Grunwald, Leiter des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag: „Wir übertragen Algorithmen wichtige Entscheidungen, wissen aber nicht mehr, wie diese Technologie funktioniert, und müssen gleichwohl mit den Entscheidungen der intelligenten Maschinen leben“. https://www.handelsblatt.com/technik/forschung-innovation/kuenstliche-intelligenz-die-macht-der-algorithmen/22913114.html?ticket=ST-7174894-hngmLGWUc11veskMeFNI-ap1 (Zugriff 22.2.20)

⁹ Zitiert in: https://www.scinexx.de/dossierartikel/waffen-mit-computerhirn/ (Zugriff 27.2.20)

¹⁰ Siehe z.B. https://www.scinexx.de/dossierartikel/waffen-mit-computerhirn/

¹¹ https://www.heise.de/newsticker/meldung/Kuenstliche-Intelligenz-Ueberall-in-Europa-entscheiden-schon-Algorithmen-4290676.html (Zugriff 18.2.20)

¹² https://algorithmwatch.org/en/automating-society-finland/ (Zugriff 18.2.20)

¹³ https://algorithmwatch.org/en/automating-society-belgium/ (Zugriff 18.2.20);

https://www.zukunftsinstitut.de/artikel/big-data/predictive-policing/ (Zugriff 18.2.20)

¹⁴ Einen schlagenden Beweis lieferte mal wieder ein Programm der ohnehin als besonders rassistisch bekannten Polizeibehörde von Los Angeles:

https://www.spiegel.de/netzwelt/netzpolitik/predictive-policing-in-los-angeles-die-verbrecherjagd-der-zukunft-ist-schon-gescheitert-a-1281943.html (Zugriff 18.2.20)

Kritische Forscher wie Hamid Khan bezeichnen das Programm als „eine pseudowissenschaftliche Maskerade für die Kriminalisierung und Überwachung gesellschaftlicher Minderheiten – eine Art Formel, mit der die Polizei der Öffentlichkeit gegenüber begründen kann, warum sie tut, was sie tut“. (Zitiert ebd.)

¹⁵https://www.heise.de/newsticker/meldung/Missing-Link-Predictive-Policing-die-Kunst-Verbrechen-vorherzusagen-4425204.html?seite=2 (Zugriff 18.2.20)

¹⁶ Ebd.

Siehe auch: https://netzpolitik.org/2019/predictive-policing-dem-verbrechen-der-zukunft-auf-der-spur/ (Zugriff 18.2.20)

https://www.spiegel.de/netzwelt/netzpolitik/predictive-policing-in-los-angeles-die-verbrecherjagd-der-zukunft-ist-schon-gescheitert-a-1281943.html (s.o.)