Luke
Hi, du hast letztens mitbekommen, den Podcast, in dem wir immer Technik News kritisch beleuchten und uns fragen, was bedeuten diese Innovationen für dich, für die Gesellschaft und für die Wirtschaft. Wie immer mit mir, Luke und mit M.
Luke
Hi, hi, genau. Und heute haben wir eine besondere Folge. Wir sind nämlich Teil vom Podcast-Ton. Da findet ihr auch ein paar Sachen in den Show Notes natürlich dazu. Aber wer jetzt davon noch nichts gehört hat, ich habe bis vor vier Wochen davon auch noch nichts gehört gehabt, ist nämlich, dass der Podcast-Ton eine weltweite Charity-Aktion ist für gemeinnützige Organisationen. Also um einfach ein bisschen mehr Öffentlichkeit und ein bisschen mehr Sichtbarkeit für bestimmte gemeinnützige Organisationen zu machen.
Em
In Anführungsstrichen. Sehr schön.
Luke
Und das läuft immer im März. Das gab es jetzt auch schon zweimal oder drei Jahre schon mal. Und das ist dann einfach so gedacht, dass verschiedenste Podcasts, die sich dafür interessieren, einfach da mitmachen und in dem Rahmen einfach eine Episode einer gemeinnützigen Organisation widmen, die sie irgendwie spannend finden, die ihnen am Herzen liegt, über die man mal reden sollte, die einfach ein bisschen Öffentlichkeit vertragen könnte. Und wie gesagt, Infos dazu findet ihr unter podcasttonn.org, falls jetzt direkt jemand draufschauen will oder eben in den Shownotes. Und wir haben uns dieses Mal dazu entschieden, dass wir uns mit Algorithm Watch beschäftigen wollen. Und haben da einfach auch natürlich ein paar Infos zusammengetragen, haben uns ein bisschen recherchiert dazu vorab und wollen euch jetzt einfach mal ein bisschen was dazu erzählen, was Algorithm Watch so macht. Die haben natürlich eine Webseite und da haben wir ein Leitbild gefunden. Ich habe auch irgendwann schon mal den Newsletter abonniert. Von denen kann man auch durchaus empfehlen, den Newsletter. Da kommen auch immer ganz interessante News natürlich aus dem Bereich, der da, um den sich Algorithm Watch kümmert.
Em
Luke, wie immer vorbildlich. Liest du den Newsletter auch?
Luke
Ja, tatsächlich. Also ich lese den nicht mal von ganz von oben nach unten durch. Was ich dann da häufig mache, ist, dass ich in diese Links- und News-Sektion gehe, wo sie dann so bestimmte Sachen verlinken, die dann draußen in diesem Internet kursieren. Und da schaue ich dann rein und kopiere mir die Links raus und schicke dann auch ein paar von den Links eben in unseren Newsletter rein und leite das dann sozusagen da weiter.
Em
Ja, sehr nice. Ja, dann lass es doch direkt schon mal starten und einen kleinen Input geben zu dieser Organisation. Ich habe von dir vorhin schon erfahren, dass es eine gemeinnützige GmbH ist. Was macht Algorithm Watch eigentlich? Und das kann man darüber ganz gut erklären, dass man vielleicht ihre Worte auch gleich nutzt. Die haben nämlich ihr eigenes Leitbild definiert, was wir sehr schön finden. Die haben eine Vision und zwar strebt Algorithm Watch eine Welt an, in der die Technologie im Allgemeinen und algorithmische Systeme im Besonderen dem Menschen zugutekommen sollen. Das ist so eins der Hauptziele. Und diese Systeme sollen Gesellschaften also dann dementsprechend gerechter, demokratischer, inklusiver und nachhaltiger machen. Sei es jetzt hinsichtlich zugeschriebener Herkunft, Geschlechtersituation, also gendergerecht, demokratischer, inklusiver und nachhaltiger. Und das habe ich, glaube ich, gerade schon mal gesagt. Sorry, mein Telefon hat gerade geklingelt. Ich habe es jetzt wieder ausgemacht. Das war mein Wecker und es ist schon relativ spät. Kommen wir darauf zurück. Also das Gesamtthema beruht quasi auf einer Fairness, auf einer Gerechtigkeit und die Mission ist tatsächlich, dass Algorithm Watch dafür kämpft, Systeme demokratischer, rechtsstaatlicher zu machen und Freiheit statt Überwachung zu fördern, Menschenrechte statt Entmenschlichung zu fördern, Autonomie und Also zu fördern, statt Machtungleichgewichte, alles gerechter zu machen, Ungleichheit und Diskriminierung zu verhindern und somit eine solidarische und nachhaltige, nicht ausbeuterische Lebensweise zu fördern und zu ermöglichen. Das ist so die Mission.
Luke
Und wie es in dem Namen auch schon drinsteckt, geht es vor allen Dingen natürlich um algorithmische Systeme. Also nicht nur allgemeine Systeme, die da in dieser Welt existieren, sondern eben größtenteils eben um algorithmische Systeme. Natürlich beeinflussen algorithmische Systeme auch ganz viele andere Systeme, staatliche Systeme und öffentliche Systeme, Unternehmenssysteme und so weiter und so fort in heutiger Zeit. Aber das steckt ja auch schon in dem Namen drin, Algorithm Watch, also sich irgendwie Algorithmen anzuschauen. Und wenn man das nochmal ein bisschen anders paraphrasieren will, um ein tolles Fremdwort zu benutzen, könnte man es auch so beschreiben, dass man algorithmische Entscheidungssysteme transparenter, nachvollziehbarer und grundrechtskonform macht oder sie sein sollen. Und das ist jetzt natürlich so, also vielleicht so eine Betrachtung von, nachträglich gibt es bestimmte Dinge, die passieren sollen, also es gibt irgendwas, was schlecht war und dann macht man das halt so, also sozusagen reaktiv, also Algorithm Watch reagiert nur auf irgendwas, nein, so ist es nicht, sondern Algorithm Watch steht auch dafür und vor allen Dingen dafür, dass die Politik entsprechende Rahmenbedingungen schafft, Also quasi versuchen da auch, wir haben vorhin das Wort Advocacy gehört in unserer Vorbereitung, also quasi einfach eine Fürsprache für dieses Thema zu haben und da auch proaktiv an die Politik irgendwelche Vorschläge zu machen, Positionspapiere zu formulieren und so weiter und so fort, damit da in den politischen Entscheidungsgremien diese Stimme auch ein gewisses Gehör finden kann.
Em
Ja, sehr gut. Ja, es ist immer so ein bisschen schwer, sich was unter algorithmischen Entscheidungssystemen vorzustellen. Ich hatte das vorhin so in unserem Vorgespräch zusammengefasst als, ja, look, das ist doch KI. KI, KI, KI. Das Wort, was letztendlich überall entlang gespenstert, herumgeistert und dazu führt, dass sich alle Menschen Gedanken um ihre Zukunft machen. Es ist aber tatsächlich nicht nur künstliche Intelligenz in jedweder Form, um die es geht, sondern algorithmische Entscheidungssysteme müsst ihr euch so vorstellen wie Software, die im Hintergrund irgendetwas auswertet. Die zu irgendwelchen Entscheidungen führt, die aber für euch als normale Bürger nicht mehr transparent und nachvollziehbar sind.
Luke
Mach doch mal ein Beispiel aus deiner Arbeitswelt.
Em
Ich könnte jetzt eigentlich was sagen, was aber vielleicht nicht so zu 100 Prozent passt, aber mir als erstes wie so eine Rakete in den Kopf geschossen ist und meinen Kopf fast zum Explodieren gebracht hat. Nein, also ich bin ja, wie ihr es am Rande schon mal mitbekommen habt, in der Immobilienbranche tätig und unter anderem geht es bei uns auch um Finanzierung von Immobilien. Und wie eine Bank zum Beispiel über eine Finanzierung eines Privatkunden entscheidet, ist im Prinzip eine Blackbox. Du weißt nicht, was da für Algorithmen dich bewerten. Da wird deine Schufa-Auskunft gezogen, da werden deine Bonitätsdaten geprüft, da wird geguckt, welche Unterlagen du beigebracht hast und was sich in der Vergangenheit vielleicht schon mal in der Beziehung mit dieser Bank ereignet hat, im positiven wie im negativen. Und daraus resultiert dann eine Bewertung, Die schlimmsten Fall aus deiner Perspektive dann, wenn du eine Finanzierung anfragst, dazu führen kann, dass du abgelehnt wirst. Und weißt du dann, was passiert ist? Also du weißt, was passiert ist, aber weißt du, warum es passiert ist? Nicht zu 100 Prozent. Die Bank kann dann immer sagen, ja, das ist aus geschäftspolitischen Gründen. Und dann erklär dir mal, was geschäftspolitische Gründe eigentlich bedeuten. Also das heißt, da laufen irgendwelche Algorithmen, Entscheidungssysteme im Hintergrund. Ist das so etwa so in die Richtung vielleicht, was du dir vorgestellt hast, Luke?
Luke
Genau, das meinte ich. Also ich finde, das ist ein total schönes, nachvollziehbares Beispiel, wo einem sehr schnell transparent wird, okay, da sitzt sicherlich nicht bei jedem einzelnen Antrag, der da einflattert, ein Mensch und nur ein Mensch entscheidet das, sondern da gibt es bestimmt irgendwelche Tools, die dann da deine Gehaltsauskunft einlesen oder man das in bestimmte Felder ja einträgt und automatisiert daraus, was errechnet. Und dann willst du vielleicht noch nicht, willst du ja eine Finanzierung für ein bestimmtes Objekt und automatisch aus dem Objekt, aus der Straße, aus der Hausnummer und aus dem Baujahr und all so ein Krimskrams kann sich ja automatisch Sachen errechnen. Und das ist schon ein Algorithmus, der da im Hintergrund abläuft. Und dann guckt mal irgendwann nochmal ein Mensch über diese Entscheidung sicherlich drüber oder über diese Empfehlung, die dann da dieser Finanzierungswahrscheinlichkeitsalgorithmus gegeben hat und sagt, ob das jetzt stimmt oder nicht und dann geht das sozusagen da seinen weiteren Gang. So stelle ich mir das zumindest vor.
Luke
Und wenn ich jetzt so an meinen Arbeitstag denke, was ich so mache, haben wir natürlich auch mit so Algorithmen zu tun, die bestimmte Dinge entscheiden im Hintergrund oder uns bestimmte Arbeiten auch abnehmen im Hintergrund an Dingen, die wir so tun. Wie zum Beispiel, wenn ich jetzt, ja, Kommunikationsdesign, also das, was man früher Grafikdesign und so nannte. Und natürlich auch da viel Beratung dazu und strategischen Anteil davon hat, Ein ganz einfaches Beispiel heutzutage von KI komplett aufgefressen, aber war sowas wie, man hat ein Bild und man will das Bild von einem Hochformat in ein Querformat bringen und muss rechts und links bei dem Bild noch ein bisschen was hinzuentscheiden, hinzu erfinden quasi. Und dann sagt man dem Photoshop, mit dem wir das früher immer gemacht haben, sagt man halt hier, ich brauche da rechts und links nochmal 100 Pixel dazu und dann hat er sich irgendwas ausgedacht, in Anführungsstrichen, basierend auf den Pixeln, die im restlichen Bild zu sehen waren. Und auch da steckt halt irgendein Algorithmus dahinter, der dann halt schaut, welche Pixel gibt es, welche Muster kann ich denn erkennen und so weiter und so fort. Also interessanterweise eigentlich, aber die Klammer mache ich gleich zu, dadurch, dass Photoshop das schon sehr lange kann, weiß ich gar nicht wie lange, bestimmt zehn Jahre oder noch länger, da war auch schon eigentlich immer schon KI drin. Deep Learning sozusagen, Vorhersage, Wahrscheinlichkeitsrechnung und so, das ist ja was, was heutzutage KI viel ausmacht. Klammer zu. Um die Klammer abzurunden, haben wir jetzt einfach mal so ein bisschen versucht, ein Beispiel zu bringen, was man sich vielleicht vorstellen kann. Wir haben nachher auch noch ein paar andere Beispiele mitgebracht für bestimmte algorithmische Systeme.
Em
Genau. Jetzt stellt euch vor, es geht halt nicht um eure Bonität oder Finanzierung des schnöden Mammons der Wohnung. Oder es geht auch nicht um irgendwelche Bilder, wo jetzt was erweitert wird oder verändert wird. Stellt euch einfach vor, es geht um euch als Bürger. Stellt euch vor, es geht um euren Nationalstaat, der in einem Zusammenschluss mit anderen Staaten, wie zum Beispiel die Europäische Union agiert. Und es geht darum, dafür zu sorgen, dass der einzelne Bürger nicht diskriminiert wird, dass diese Technologie nicht ausgenutzt wird, um deine persönlichen Rechte einzuschränken. Dass es darum geht, Fairness und Transparenz zu bieten, sei es auf der Seite des Staates, der für dich als Bürger sozusagen agieren soll oder auf der Seite der Unternehmen, die dafür sorgen sollen, dass die Produkte, die sie, Dienstleistungen, die sie anbieten, für uns als Menschen, für uns als Bürger so gut wie möglich genutzt werden können und positiv zu unserer Verfügung stehen und überhaupt zu unserer Verfügung stehen. Und dafür sind wir heute zusammengekommen mit Luke, um euch das so ein bisschen vorzustellen, um dann auch zu diskutieren, wo aktuell vielleicht die Problemfelder sind. Wo passiert gerade etwas, wo Algorithm Watch zum Beispiel es gut tut, vorhanden zu sein und seine Meinung, seinen Input in diese Diskussion hineinzugeben und darauf zu achten, dass bestimmte Themen tatsächlich auch vertreten werden.
Luke
Und ich hatte das ja vorhin schon kurz gesagt, also Algorithm Watch ist ja dann nicht nur so reaktiv unterwegs und sagt, guck mal, hier ist ein Skandal gewesen mit irgendwas, was ein schlechter Algorithmus ist oder war, sondern eben auch proaktiv da zu gucken, was kann man denn vorschlagen. Und dazu gibt es natürlich auch immer die Möglichkeit, es ist ja heutzutage in der Politik immer sehr gerne und nachvollziehbarerweise sinnvoll willkommen, nämlich auch Analysen vorzubereiten, bestimmte Dinge vorab zu analysieren und dann als Handreichung oder als Vorlage, als Info, als Veröffentlichung irgendwie an politische EntscheiderInnen oder politische ReferentInnen etc. pp. Heranzureichen, um denen dann zu zeigen, guck mal, das haben wir irgendwie versucht zu analysieren, zusammenzustellen, damit man sich ein Bild dazu machen kann.
Em
Das heißt, man könnte sie auch als Think Tank in dem Zusammenhang betrachten. Und würdest du, um das ein bisschen plastischer für unsere Zuhörer zu machen, auch vielleicht ein Beispiel anbringen, was wir aus dem Vorgespräch jetzt zusammengetragen haben? Fällt dir da irgendwas Konkretes ein, wo Algorithm Watch aktuell aktiv geworden ist und tatsächlich auch die Diskussion in der Politik mitgestaltet hat?
Luke
Also ein Beispiel, also man kann auf der Algorithm Watch Seite unter Stories haben die, Stories und Publikationen haben sie quasi. Und bei den Stories, das ist so ein bisschen, sag ich mal in Anführungsstrichen, launiger aufgearbeitet, also so von den Titeln her der Veröffentlichungen, die sie da haben. Also so ein bisschen wie so eine, ich weiß nicht, ob man das wirklich so sagen kann, Kolumne oder so. Das stimmt vielleicht nicht. Aber bei den Publikationen, da gibt es auf jeden Fall so ein paar tiefere Einblicke in bestimmte Dinge. Die haben dann da tatsächlich auch wirklich, naja, wissenschaftliche Untersuchungen. Ich weiß nicht, wie wissenschaftlich das ist, aber auf jeden Fall Untersuchungen, Erhebungen gemacht. Dass zum Beispiel, also ich greife mal jetzt eine Sache raus, große Sprachmodelle in Bezug auf Wahlen nach wie vor recht unzuverlässig sind. Obacht, das ist aus dem Dezember 2024, also quasi Stand heute von vor, naja, ungefähr anderthalb Jahren, nicht ganz richtig, aber ungefähr so ein Jahr her. Und da gibt es entsprechende Publikationen, wo sie dann Erhebungen gemacht haben zu bestimmten Einordnungen, wie Microsoft Co-Pilot bestimmte Dinge einordnet und spannenderweise kommt mir gerade der Blitzgedanke in den Kopf, dass M und ich, wir waren vor ungefähr einem Dreivierteljahr oder irgendwie sowas, waren wir bei Topio, auch einer NGO hier bei uns in Berlin in Moabit, zu einem Vortrag und da hat genau ein Mensch das vorgestellt, dieses Papier, was sie da veröffentlicht haben. Zu dieser Geschichte. Ich packe das natürlich wie immer in die Schaunots, genau den Link zu explizit dieser Erhebung, wo sie sich eben Microsoft Co-Pilot da angeschaut haben.
Em
Wo siehst du denn die größte Gefahr bei algorithmischen Entscheidungssystemen? Und worum geht es eigentlich?
Luke
Also wenn im Hintergrund irgendein System so eine Entscheidung trifft, dann kann natürlich das Problem, natürlich große Probleme entstehen, dass da einfach eine falsche Entscheidung getroffen wird. Dieses Problem oder diese größte Herausforderung oder Gefahr, die kann natürlich auch bei der menschlichen Entscheidung, ist die genauso gegeben. Ja, das ist auf jeden Fall definitiv so, das muss man ganz klar sagen, weil auch ein Mensch kann immer eine falsche Entscheidung treffen, der kann irgendwie schlechte Laune haben, der kann gute Laune haben, der kann irgendwie den Namen doof finden, der kann, weiß ich was, nicht alles irgendwie gut oder schlecht finden und dann eine falsche Entscheidung treffen, wenn irgendeine Entscheidung ansteht. Und wenn man jetzt das mal aber außen vor lässt oder wenn man das quasi mal als gegeben annimmt, dass da ein Mensch tatsächlich eine falsche Entscheidung trifft, aber in den größten Teilen der Fällen hoffentlich die richtige Entscheidung und auch ein Mensch ja hoffentlich in bestimmten Entscheidungssituationen, die wirklich ausschlaggebend sind, das auch nicht nur alleine entscheiden muss. Also ich stelle mich vor, ich schicke einen Antrag ans Finanzamt und der weiß nicht was, ich schreibe da irgendwas Falsches rein in Anführungsstrichen und der Mensch lehnt meinen Antrag ab, dann kann ich da immer irgendwie Berufung einlegen. Ich hoffe vielleicht haben noch irgendein zweiter Mensch das geprüft, der Vorgesetzte oder die Vorgesetzte hat das irgendwie geprüft, nachdem da die Ablehnung oder weiß ich nicht was war. Also das heißt, diesen Fehler, dass ich irgendwie falsch einsortiert werde, der ist immer gegeben. Auch in einem algorithmischen System, also auch in einem Datenverarbeitungselektronischen System quasi, was in Anführungsstrichen vielleicht autonom agiert. Also auch so diese, um bei dem Beispiel zu bleiben mit der Finanzierung, da lade ich irgendwie 17 Sachen hoch, trage da 15 Punkte ein und naja, dann kann man ja da einfach bestimmte Heuristiken drüber laufen lassen, wie wir vorhin schon gesagt haben. Ist der Gehaltsnachweis positiv? Ist das Baujahr sinnvoll? Ist die Lage sinnvoll? Ist der Kaufpreis sinnvoll? Und so weiter und so fort. Genauso kann ich das ja auch bei einer Heuristik, wenn ich meine Steuererklärung zum Beispiel einreiche, automatisiert machen. Aber es gibt ja sicherlich immer noch irgendwelche Entscheidungspotenziale, die da sind. Und bei so einem algorithmischen System, jetzt komme ich nach einer langen Ausführung dazu, was ich tatsächlich als Gefahr da sehe oder was man sich da als Gefahr vorstellen kann, ist natürlich, dass der Algorithmus, also ein Algorithmus ist ja, wenn man es so ganz, ganz leicht runterbrechen will oder ganz einfach runterbrechen will. Könnte man, um ein schönes Beispiel zu haben, sagen, okay, es ist immer so eine Wenn-Dann-Anweisung. Also wenn Baujahr kleiner als, dann rechne drei Punkte dazu. Wenn Baujahr größer als, dann zieh drei Punkte ab oder irgendwie sowas. Ja, genauso kann ich es bei der Steuererklärung auch automatisiert irgendwie machen. Kann ja irgendwelche Plausibilitätschecks machen, die automatisch sind, die auch deterministisch sind. Also deterministisch heißt ja, ich rechne das 17 Mal aus und es kommt immer genau das Gleiche raus. Versus irgendwie so LLM und KI-Systeme, die einfach generieren und die auf Wahrscheinlichkeiten basieren. Das heißt also, der Input ist nicht deterministisch in einem KI-System. Jedes Mal, wenn du was reinschreibst, die gleiche Frage kommt nicht komplett unterschiedliche Antwort raus, aber es kommt unterschiedliche Antwort raus. 1 plus 1.
Luke
Genau. Das haben sie aber mittlerweile ja ziemlich gut in den Griff bekommen, die ganzen generativen Systeme. So, jetzt komme ich wieder dahin zurück, also wo wir gestartet sind. Wenn ich das jetzt also an irgend so ein algorithmisches System auslagere, diese gesamte Entscheidungskette, dann ist es natürlich heutzutage immer noch so, dass an vielen Stellen bestimmt ein Mensch sitzt und dann die Entscheidung sich nochmal anschaut. Und jetzt kommt dieses Gefahrenpotenzial in Anführungsstrichen da rein, was ich persönlich zumindest sehe, ist nämlich, es werden immer weniger Menschen vielleicht solche Entscheidungen eingestellt. Das heißt also, pro Tag hat so ein Mensch deutlich mehr Entscheidungen auf seinem Tisch liegen und verlässt sich vielleicht in viel, viel mehr Fällen immer, oder verlässt sich jeden Tag, jedes Jahr, jeden Monat und so weiter und so fort immer mehr auf diese Entscheidung, die das KI-System dir gegeben hat.
Luke
90% der Sachen einfach so ab, ohne es wirklich selber nochmal geprüft zu haben. Und dann laufen wir in eine Situation rein, wo eigentlich irgendein System die Entscheidung trifft, in 90% der Fälle. Und ein Mensch, der dann mit dieser Entscheidung, von dieser Entscheidung betroffen ist oder damit konfrontiert ist, vielleicht völlig falsch bewertet wird oder völlig falsch entschieden wird. So, das ist jetzt noch, und das ist jetzt eine Situation, die ich mir da, die ich jetzt hier so mal dahingestellt habe, wo tatsächlich noch ein Mensch mit in der Entscheidung beschäftigt ist, der dann tatsächlich im Zweifel aus Convenience-Gründen in 90 Prozent der Fälle sagt, yo, ich nehme den Vorschlag des Systems an. Wenn man jetzt aber mal noch einen Schritt weiter denkt, was ja tatsächlich heutzutage schon passiert und dann kommen wir vielleicht nachher da auch noch zu den Beispielen eben dazu, gibt es ja ganz viele Systeme auch schon, wo gar kein Mensch mehr involviert ist, eine Entscheidung zu treffen. Also das einfachste Beispiel ist… Mein Instagram-Feed, wenn ich den denn hätte und da viel Zeit verbringen würde. Dann sind da ganz, ganz viele Entscheidungen im Hintergrund getroffen. Die entscheiden, welche Werbeanzeige bekomme ich, wie lange wird die Werbeanzeige, nicht wie lange, stimmt nicht, aber wie viele Werbeanzeigen bekomme ich denn? Bekomme ich drei normale Posts und dann wieder zwei Werbeanzeigen hintereinander und so weiter und so fort? Da werden irgendwelche Entscheidungen getroffen. Und da sitzt kein Mensch dafür vor dem Computer und entscheidet vor dem Keritz, den mache ich jetzt, guck mal hier, die Werbung habe ich, die ziehe ich per Drag & Drop da rein und dann zeige ich dem den Post an und dann zeige ich dem den Video an und dann zeige ich dem was vom Emra an und so weiter und so fort. Sondern das ist alles in Millisekunden, wird es im Hintergrund gemacht und da sitzt keiner mehr. Sondern dass das nach crazy Sachen passiert ist, wo keiner von uns einen Einblick hat. Weil sonst würden die Leute, die da einen Einblick hätten, extrem viel Geld damit verdienen können, zu wissen, wie dieser Feed zusammengestellt ist. Das war jetzt ein sehr langer Ausflug als Antwort auf deine Frage.
Em
Ja, finde ich super. Also das sind auch gute Beispiele. Also stellt euch jetzt nicht nur... Mein Beispiel mit der Kreditwürdigkeit vor, das mit den Bildern, generative Geschichten oder jetzt das, was Luke gerade erzählt hat. Was wäre denn, wenn jetzt eure Jobchancen von dem Unternehmen zum Beispiel bewertet werden würden und ihr nicht wüsstet, was da tatsächlich passiert? Und Systeme sind ja auch immer von Menschen gemacht. Das heißt, wie kann man sichergehen, dass diese Systeme fair funktionieren, dass niemand vielleicht diskriminiert wird oder aufgrund seiner anderen Vorlieben vielleicht dann aus dem Rahmen fällt und nicht berücksichtigt wird. All diese Themen spielen da mit rein. Und da diese Systeme, algorithmische Systeme immer mehr Nutzen finden und zwar auf allen Ebenen, nicht nur auf den Ebenen der Unternehmen, sondern auch des Staates, muss hier ganz Besonderes darauf geachtet werden, was da eigentlich passiert und wie viel Macht und wie viel Anteil sie an dem gesamten Entscheidungsprozess bekommen.
Luke
Und spannend dabei finde ich, es ist ja ein voll nachvollziehbarer Punkt, aus einer Unternehmensperspektive zu sagen, hey, damit können wir krass viel Geld einsparen, weil wir brauchen für einen Job, für den wir zehn Leute gebraucht haben, brauchen wir jetzt nur noch einen halben Menschen, weil wir diese neuneinhalb Menschen einsparen können, die automatisiert Entscheidungen getroffen werden können für diese neuneinhalb Menschen. Und das ist ja auch ein ganzes Problem, Der halbe Mensch, der dann damit betraut ist, der kann es halt einfach nur noch ja, nein, ja, nein, ja, nein, ja, nein machen.
Em
Voll, richtig. Wir haben ja Beispiele mitgebracht. Themen, die uns besonders in den letzten Monaten, Jahren bewegt haben.
Luke
Die uns alle, vor allen Dingen die gesamte Gesellschaft bewegt haben. Der eine oder die andere wird das vielleicht mehr mitbekommen haben. Durchgehen, quasi durch diese Liste, die wir uns so notiert haben, kann man vielleicht noch eine Sache vorab sagen, die wir jetzt nicht aufgeschrieben haben. aber vielleicht kann man die kurz auch noch mit erwähnen. Ich schreibe die auch nochmal mit rein hier in die Beispiele für problematische Algorithmen. So haben wir das genannt. Den Abschnitt ist natürlich diese ganze Geschichte um Edward Snowden und die ganze Snowden-Enthüllung und sowas. Das basiert natürlich sicherlich auch auf viel Datenerhebung und so weiter und so fort. Aber wenn man viele Daten hat, kann man da schnell einfach irgendwelche Algorithmen drüber laufen lassen. Also kann ich den Snowden-Link, den packe ich auch noch mit da rein, damit wir den auch noch mit erwähnt haben.
Em
Ja, das passiert übrigens auf vielen Ebenen gerade. Auch bei den ganzen Apps, die in Files so. Die sind ja... Zum Teil in erschreckender Weise geschwärzt zwar, aber veröffentlicht worden, Millionen von Files. Und da können natürlich Menschen, die auch LLMs nutzen, diese ganzen PDFs einlesen, ihre Fragen stellen und dann mit den Texten arbeiten. Stellt euch das einfach so vor, das ganze Thema, dass, auch wenn wir jetzt gleich Beispiele nennen werden, viel Regulierungsbedarf herrscht. Es muss viel überlegt werden, wie sich diese Systeme in Zukunft in unser Leben einflechten werden, wo sie Entscheidungen für uns treffen werden und wir müssen immer darauf aufpassen, dafür steht dann auch Algorithm Watch, dass diese Systeme fair bleiben und ich wiederhole es zwar jetzt nochmal, aber dass tatsächlich eine gewisse Gerechtigkeit herrscht und zwar unabhängig von der einzelnen Person.
Luke
Genau, also ich habe hier den Link zu diesen Snowden-Enthüllungen von der Bundesbehörde für politische Bildung, Bundeszentrale für politische Bildung mit reingepackt, könnt ihr euch nochmal angucken. Das war nämlich tatsächlich im Jahr 2013, also ist jetzt schon, stand jetzt, ja, 13 Jahre her. Genau. Und was wir noch mitgebracht haben als Beispiele für problematische Algorithmen, also abgesehen von meinem Instagram-Beispiel, was ich da jetzt sehr stark ausgeführt habe, wozu ich jetzt noch keinen Link gefunden habe, ich weiß nicht, ob man da überhaupt irgendwie ein bisschen was findet. Wir haben aber noch eine andere Connection zu Social-Media-Plattformen, da kommen wir dann später noch dazu.
Luke
Fangen wir aber mal an mit Polizeiarbeit. Das ist ein Teil von wo natürlich auch Algorithmen bestimmte Sachen entscheiden. Ein Gedanke, der mir da wirklich als Blitzgedanke noch spontan in den Kopf kommt, ich suche gleich den entsprechenden Link raus für die Show Notes, ist, dass wir zum Beispiel am Südkreuz, am S-Bahnhof oder auch am Fernbahnhof Südkreuz, den wir haben hier in Berlin, da gab es eine Zeit lang mal ein Pilotprojekt für die Gesichtserkennung. Und das war eigentlich ganz lustig, beziehungsweise auch, naja, weiß nicht, also lustig aus einer Perspektive, wie man das macht und natürlich bedenklich, ja, also ein bedenklicher Algorithmus, der da Sachen entscheidet. Es war eben eine Testphase, Pilotphase. Lustig war daran, dass der einen bestimmten Bereich des Bahnhofs nur überwacht hat, nämlich nur den Eingang und auch nur einen ganz bestimmten Bereich. Die haben irgendwie Kameras so aufgestellt, dass ein ganz bestimmter Bereich überwacht wurde, nämlich nur die eine Treppe oder nur der eine Teil einer Treppe und nur der eine Teil einer Rolltreppe wurde sozusagen angeguckt. Und es war dann am Boden sichtbar, aufgemalt, welche Teile tatsächlich jetzt Kamera überwacht sind und welche nicht. Sodass man, wenn man wollte, konnte man in den Bahnhof reingehen, ohne dass man auf dieser Kameraaufzeichnung, ohne dass man in diesem Testpilotprojekt quasi mit dabei war.
Luke
Typisch deutsch, ja natürlich. Naja, das ist typisch positiv deutsch, würde ich sagen. Richtig. Und das ist natürlich auch schon so eine Sache, man versucht da Leute zu erkennen anhand von eben Gesichtserkennung, Körperstatur und so weiter und so fort.
Em
Dazu fällt mir kurz ein, ich bin vor zwei Jahren nach Thailand geflogen. Du weißt davon, ich habe dir das erzählt. Mit Air China, weil der Flug günstig war. Und wir sind zwischengelandet in Peking auf einem Flughafen für die Touristen weit außerhalb der Stadt. Das Erste, was mir aufgefallen ist, dass überall Kameras angebracht waren und zwar in jeglicher Form. Gebogene Kameras, die aussahen wie so ein Guckloch, wie so ein Rohr, was aus irgendeiner Kanalisation rausguckt. Dann war da was installiert, irgendwie auf den Monitoren in allen möglichen Formen, weil es immer unterschiedliche Modelle waren. Das sah so seltsam aus. Das kennen wir so nicht. Und du kannst dir sicher sein, dass das alles sehr umfassend überwacht wurde und dass es da wenig tote Flecken in Anführungszeichen gab. Und dazu fällt mir auch noch ein, dass ich meiner Familie Bescheid sagen wollte, dass ich gelandet bin, dass es mir gut geht und dass ich jetzt irgendwie ein paar Stunden warten muss, bis mein Anschlussflug kommt. Aber dafür gab es zwei automatisierte Desks, also so Automaten, wo man dann seine ID einscannen musste. Die wurde dann schön fotografiert natürlich. Ist ja auch alles okay. Also den Reisepass. Und daraufhin hat das Gerät dann, da ist wahrscheinlich ein Nadeldrucker oder irgend sowas eingebaut gewesen, dann so gerattert und hat dir so einen ganz kleinen Schnipsel ausgespuckt. Da standen die Zugangsdaten für das BLAN drin. Jetzt guckt du gerade total interessiert, weil um überhaupt, das Netz war nicht offen, Zugang zu bekommen, musstest du einen dieser beiden Automaten, es gab nur zwei bedienen, Und wenn du dann weder einen Zugang hattest, konntest du die klassischen Messenger nicht benutzen. Denn sie sind ja gesperrt bzw. gefiltert.
Em
Ich konnte nichts machen.
Luke
Eine E-Mail? Hast du eine E-Mail geschrieben?
Em
Ich hatte auch keinen Mobilfunk. Ich habe einfach ein paar Stunden ausgeharrt und auf meinen Flug gewartet. Und mir ist nichts Besseres eingefallen.
Luke
Aber hättest du nicht einfach eine E-Mail geschrieben? Du hattest doch dein Handy. Ich hätte was machen können.
Em
Aber meine Eltern hätten die E-Mail nicht gelesen. Und im Endeffekt, die Story ging noch weiter. Der Punkt, der besonders enttäuschend war, beide Geräte waren kaputt. Und niemand konnte mir helfen. Das heißt, beim Hinflug hat wenigstens eins der beiden Geräte funktioniert und ich konnte so ein bisschen was machen. Das war auch mal eine ganz gute Erfahrung, mal zu sehen, wie man das einschränken kann, das Internet. Und dann beim Rückflug ging gar nichts mehr und mir konnte auch niemand helfen. Das heißt, es war auch nicht besonders gewollt oder niemand hatte sich dafür interessiert, da dieses Problem zu lösen für die Touristen. So viel dazu.
Luke
Das ist ja echt interessant. Da musst du mal, vielleicht hast du ein Foto davon gemacht, von diesen Apparaturen oder so, oder hast du Fotos gemacht von den Sicherheitskameras? Das wäre total spannend. Vielleicht kannst du ja mal in deinen Fotos suchen und schauen, ob du dazu was findest, was man hier irgendwie verlinken könnte. Weil ich kann mir gerade, ich habe gerade sehr viele spannende Bilder in meinem Kopf.
Em
Wie, sage ich mal. Wie es ausgesehen haben können.
Luke
Ja, wie es ausgesehen haben. Dass Überwachungskameras aus irgendwelchen Gullis und sowas rausgekommen sind, habe ich irgendwie so gleich so Star Wars-Vibes. Echt crazy, Mann. Wo in Tatooine dann da die dann da irgendwie vor der Gefestung von Jabba the Hood stehen und so. Also so eine Vibes habe ich irgendwie gehört von mir.
Luke
Genau, also wir kamen ja eigentlich davon, dass ich gesagt habe über dieses, Aspekt von Palantir und Racial Profiling, also Polizeiarbeit zu verbessern, in Anführungsstrichen zu verbessern, indem nämlich einfach da Erkennungssysteme eingesetzt werden, in welcher Art auch immer, um bestimmte Daten miteinander zu verknüpfen, um zu sagen, in dieser Gegend gibt es um 21.30 Uhr immer ist das Risiko für Einbrüche deutlich erhöht, was ja erstmal nicht racial ist, sondern erstmal im Sinne von einfach nur beruht auf einer Statistik, es wird alles erhoben, jeder Einbruch und jede Uhrzeit wird erhoben und dann kannst du ganz einfach sagen, gut, 21.30 Uhr an einem Freitagabend ist irgendwie nicht so gefährlich wie an einem Dienstagabend oder was auch immer da für Sachen herauskommen können.
Luke
Und dann gibt es aber natürlich noch diesen weiteren Punkt, dass man tatsächlich einfach anhand von Rasse, also ganz schwieriges, ganz, ganz, ganz, ganz, ganz schwieriges Wort, aber das ist sozusagen dieser Begriff, der dadurch die Gegend geistert, weil es eben tatsächlich auf Racial Profiling basiert. Nämlich zu sagen, bestimmte Menschen sind angeblich oder würden angeblich, um hier immer im Konjunktiv zu bleiben, würden angeblich bestimmte Kriminalitätsdelikte deutlich häufiger ausführen oder sowas. Oder Leute, die in einem bestimmten Bereich wohnen, wie ich gerade schon gesagt habe, sind häufiger kriminell. Auch wenn sie jetzt irgendwo anders hinfahren, um ihre kriminellen Straftaten zu vollgehen, vergehen, begehen. Aber trotzdem kann man halt sagen, okay, wir versuchen solche Systeme darauf wie Bezug zu nehmen, dass sowas da an dieser Stelle gehäuft sein würde oder könnte.
Em
Ich will dazu auch nochmal was anmerken, weil das Thema ist auch nichts Neues. Wir hatten vor 15 oder 20 Jahren schon mal, Stichwort Rasterfahndung, Versuche da nach bestimmten Schemen, Menschen zu filtern, die potenziell gefährlich sind. Wichtig in dem Zusammenhang ist eigentlich zu verstehen, dass es einen Anbieter gibt, einen kommerziellen Anbieter, der ein Produkt anbietet, um halt die Polizei in unterschiedlichen Ländern mit diesen Möglichkeiten auszustatten. Und man weiß halt nicht so recht, wie dieses Produkt funktioniert, beziehungsweise man weiß nicht, ob es gerecht oder fair funktioniert. Und dieses Risiko geht man ein, wenn man dieses Produkt bucht. So ist es einfach.
Luke
Und im Speziellen sprechen wir jetzt da von dem Produkt Palantir oder von dem Anbieter Palantir, den es da gibt, der da in verschiedensten Konstellationen Teile seiner Software oder die Software eben verkauft an verschiedenste Institutionen, Organisationen, Behörden, Bundesländer und so weiter und so fort. Unter anderem eben auch in Deutschland an verschiedene Bundesländer oder an verschiedene Städte etc. pp. Und das Alarmierende dabei, wenn man das so sagen will, ist eigentlich, dass man nicht so richtig weiß, was denn Palantir mit diesen Daten, die dann das Bundesland XY weitergibt, an Palantir tatsächlich macht. Oder es ist nicht so ganz klar, was das damit macht oder ob die Software, die Palantir da verkauft, vermietet, bereitstellt, wie auch immer, jetzt auf einem Server dann in dem Bundesland installiert wird oder ob das Bundesland dann seine Daten an Palantir-Server schickt. Wo stehen diese Palantir-Server? Stehen die in Europa? Stehen die in Deutschland? Stehen die außerhalb? Und so weiter und so fort. Und diese ganzen Sachen sind alles einfach Punkte.
Em
Die dazu führen, dass man nicht so richtig klar sein kann über die Auswirkungen,
Luke
Die dieser Einsatz dieses Systems eigentlich hat.
Em
Sehr gut. Hast du noch ein weiteres Beispiel, wo man sagen könnte, das ist durchaus kritisch zu betrachten? Und es gab da diverse Breaches, Sicherheitsgeschichten, die nicht eingehalten wurden, zumindest die diskussionswürdig?
Luke
Ja, also ich meine, wir hatten ja schon vorhin gesagt, so diese Edward Snowden Geschichten, also bestimmte Sachen, die einfach weitergegeben wurden, Daten, die für andere, ganz andere Dinge verwendet wurden oder für Dinge erhoben wurden und einfach, wo es nicht klar war, dass das überhaupt irgendwie jemand erhebt und so weiter und so fort. Aber das ist jetzt schon sehr speziell gewesen. Aber etwas, was wir, weiß ich nicht, wie viele Leute von euch an den Empfangsgeräten sich daran erinnern, aber es gab diese Sache um Cambridge Analytica. Den Skandal in Anführungsstrichen um Donald Trumps ersten Wahl kam, nämlich, dass da mehr als 87 Millionen Persönlichkeitsprofile von Facebook-NutzerInnen verwendet wurden. Um ganz, ganz, ganz zielgerichtete Wahlwerbung an ganz spezielle Leute zu machen. Also, um wirklich so haushaltsmäßig an ganz spezielle Haushalte, ganz spezielle Werbesachen auszuspielen. Weil es eben über diese Facebook-Geschichte so einfach war, dann ein total perfektes Segment zu bilden. Also ich meine 87 Millionen Facebook-NutzerInnen, das sind schon mal 87 Millionen potenzielle WählerInnen. Gut, vielleicht ist die Hälfte dann doch irgendwie für die andere Partei eher zu begeistern. Ja, also teilen wir es mal durch zwei, aber dann bleiben immer noch 40 Millionen rund an Wählerdaten, wo ich ganz genau weiß, der hat irgendwie Bruce Springsteen gehört und war auf irgendeinem, weiß ich nicht was, keine Ahnung, auf irgendeinem Farmtreffen oder sowas. Oder der war halt bei einem Puff Daddy Konzert geht immer in irgendein bestimmtes Basketball. Stadion in New York oder so, keine Ahnung denke ich mir jetzt einfach nur irgendwas aus und dann kannst du halt ganz krass targetet nur diesen einen Puff Daddy Fan und Basketball und so weiter und so fort und der hat noch einen Hund und geht immer im Central Park an dem einen Hotdog Stand, hat da auch schon Fotos gepostet von diesem Hotdog Stand oder weiß ich nicht was Ja. Und weißt also ganz viele Sachen über den und dann kannst du halt dem eine Werbeanzeige ausspielen, die genau ihn triggert und sagt, ja, guck mal hier, zack, dann wähle ich jetzt den Trump oder so.
Em
Und Leute, es ist super krass. Ich meine, diese Systeme lernen mit euren Daten und die verfolgen mehr eurer Taten. Also nicht nur, wo ihr hinklickt, sondern auch, wo ihr hinschaut und so weiter, wie lange ihr auf bestimmten Bereichen des Bildschirms verbleibt. Was euch besonders interessiert und daraus werden halt komplexe Persönlichkeitsstrukturen, Persönlichkeitsmerkmale gebildet und es gibt auch eine super Doku darüber. Also es gibt tatsächlich jeder von euch, der irgendwie Netflix-Abo hat oder vielleicht auch ein anderes, kann diese Doku sehen, die sich genau um dieses Thema dreht und sich mal eine Meinung dazu bilden. Ist jetzt auch kein neuer Hut in diesem Sinne, weil die gibt es auch schon seit ein paar Jahren. Aber es ist definitiv eine sehenswerte Dokumentation, wenn es nicht schon mehr davon gibt. Und wir werden euch auch nochmal einen entsprechenden Artikel, den Luke rausgesucht hat. Der ist bei netzpolitik.org. Da geht es um den Skandal und um die Persönlichkeitsprofile, die von über 87 Millionen Facebook-Usern erstellt wurden.
Luke
Was gibt es denn noch, was hast du denn noch so mitbekommen aus verschiedenen anderen Teilen, wo so, ja, tatsächlich Algorithmen bestimmte, ja, ich habe das ja problematische Algorithmen genannt, was es sozusagen noch an anderen Elementen gibt, die quasi hier dich ergreifen.
Em
Ach Luke, es gibt zu viel, Alter. Ich meine, was wir tun ist ja, wir arbeiten uns jetzt nur an bestimmten Beispielen ab, damit wir es so ein bisschen begreifbar machen können, was alles so passiert und wo es Sinn macht, halt ein Augenmerk drauf zu haben. Aber es gibt halt so was ganz Banales, und zwar ist es ganz weit weg. In China, irgendwo, in irgendeiner Stadt, wurde ein Social Scoring Modell damals eingeführt. Das ist jetzt auch schon viele, viele Jahre her. Und das beste Beispiel ist, Jemand geht über die Ampel bei Rot und bekommt dafür Maluspunkte, die dann auf einem Kontobudget, also letztendlich hat man so ein Social-Konto, wo man dann Abzüge bekommt oder halt auch Boni, wenn man sich gut verhält. Und danach wirst du dann eingestuft, was deine Kreditwürdigkeit angeht, was deine Chancen angeht, vielleicht Förderungen angeht, Möglichkeiten, irgendwas im Land zu erreichen, in der Stadt zu erreichen. Und das fand ich so interessant, das hat sich für mich damals so angehört, als ob jemand ein Rollenspiel entwickelt hätte und ich da jetzt ein Charakter wäre, der das Richtige tun muss, um halt weiter im Spiel zu kommen, um Experience Points zu sammeln. Aber die Frage ist, wer entscheidet darüber, was richtig und was falsch ist?
Luke
Das ist die große Frage. Also natürlich kannst du ja so eine Entscheidung da, rote Ampel drüber gegangen, falsche Entscheidung, grüne Ampel drüber gegangen, richtige Entscheidung, orange Ampel drüber gegangen, Eher falsche Entscheidungen, je nachdem, wie viele Sekunden nach dem Orange umgeschaltet hat. Das ist eine ganz einfache Heuristik. Das ist super einfach abzubilden. Kannst theoretisch einen Mensch davor setzen und genau diese Entscheidungen nachgehen lassen.
Em
Aber was machst du, wenn jemand bei Rot über die Ampel geht, um vielleicht ein kleines Kind zu retten, was einfach über die Ampel gerannt ist und sonst vom Auto angefahren würde? Kann die Heuristik das dann erkennen? Ist es überhaupt gut genug? Heuristik.exe
Luke
Stopped working, sage ich dazu. Ja, also natürlich kann eine Heuristik das nicht erfassen. Da brauchst du dann einen Mensch, der das irgendwie bewertet und entscheidet. Absolut, absolut völlig richtig.
Em
Aber bei vielleicht nicht mehr.
Luke
Also wir bewegen uns ja aktuell auch auf Zeiten zu oder sind schon in Zeiten, wo ganz andere Systeme in Millisekunden, Bruchteilen in Zweifel sogar Entscheidungen treffen, von denen wir gar nicht mehr mitbekommen, dass da diese Entscheidung getroffen wird. Also dieses klassische Entscheidungsmanagement für ein Auto, ein autonom fahrendes Auto fährt auf der Straße und es kommt irgendwas, eine unvorhergesehene Geschichte und das Auto muss jetzt, das Auto, in Anführungsstrichen, also der Computer, der in diesem Auto eingebaut ist, muss jetzt entscheiden, rase ich jetzt in das Auto, was vor mir steht, rein oder frontal in ein anderes Auto oder weiche ich einfach auf den Bürgersteig aus. Und sind jetzt vier Leute auf dem Bürgersteig, null Leute, sitzen in dem entgegenkommenden Auto, in das ich frontal reinfahren würde. Ist das ein autonom fahrendes Auto? Also sitzt da keiner drin oder sitzen da fünf Leute drin? Im Zweifel kann ich noch erkennen, ob auf dem Beifahrersitz sozusagen so eine Babyschale installiert ist, wo ein Baby vielleicht drin sitzt. Und was mache ich alles in dieser Situation? Wie entscheide ich mich als autonom fahrendes Auto, wo ich halt hinrase?
Em
Total. Also du spielst jetzt darauf, speziell darauf an, dass dieses System dann quasi eine moralische Entscheidung ist. Genau, ja.
Luke
Also schon auch, dass es so eine moralische Entscheidung trifft und dann ist die Frage, wie programmiert man denn Moral da ein? Also was wäre jetzt in diesen von mir an den Haaren herbeigezogenen Beispiel die beste Entscheidung? Wollen wir jetzt gar nicht einschalten, was die beste Entscheidung wäre, aber solchen Fragen muss man sich eben dann stellen irgendwann mal, wenn man algorithmische Entscheidungssysteme auf die Welt da draußen loslässt, auf unsere Gesellschaft. Du hattest ja vorhin auch schon das schöne Beispiel mit den Jobchancen gemacht. Das finde ich auch immer ganz toll als sehr greifbares Beispiel. Da brauchen wir gar nicht nochmal drauf einzugehen, aber das finde ich einfach nochmal unterstreichen.
Em
Ja, voll. Also ihr merkt schon, was wir jetzt hier erzählen, sind natürlich Beispiele aus der Vergangenheit. Wir werden sicherlich noch das eine oder andere gleich noch anbringen. Allerdings wisst ihr auch, dass die Systeme sich inzwischen so schnell weiterentwickeln, dass eigentlich fast jeder den Überblick eigentlich verloren hat. Du gehst nachts schlafen, wachst morgens auf und es gibt wieder was Neues. Und es ist tatsächlich so, dass diese Systeme gerade skalieren, sehr schnell dazulernen und unsere Gesellschaft nachhaltig verändern. Keiner kann sich momentan vorstellen, wie umfangreich diese Veränderung sein wird und wie schnell sie eintreten wird. Wir wissen aber, wir haben eine Ahnung davon, wie exponentielle Systeme funktionieren und wir wissen, dass die Geschwindigkeit immer weiter zunimmt. Gerade deshalb ist es wichtig, dass diese gemeinnützigen Organisationen wie Algorithm Watch dafür sorgen, dass diese Entwicklung, die vorausschaubar, voraussehbar ist, zumindest in ihrem Wachstumsbegehren, sage ich mal, dass dafür, dass Strukturen und Lösungen gefunden werden, um es für uns Menschen in irgendeiner Form sicherer zu machen. oder fairer zu machen.
Luke
Und verträglicher auch, also verträglicher mit unserem Leben. Und natürlich muss man auf der anderen Seite, weil wir immer versuchen, auch die Perspektiven von Unternehmen und von der Gesellschaft mit einzunehmen. Also wir haben jetzt viel über Einzelpersonen-Perspektive geredet. Also was mich dann, dann laufe ich bei Rot über die Straße und kriege einen Punkt abgezogen. Dann werde ich mit Wahlwerbung bombardiert, die ich vielleicht nicht unbedingt so wollte, aber die mich dahin drückt, wo ich vielleicht am besten wählen sollte.
Em
Und den Job kriegst du auch nicht.
Luke
Kriege ich den Job nicht, dann kriege ich den Kredit nicht, dann werde ich mit Rasterfahndung oder irgendwelchen Polizeifahndungssystemen, kontrolliert, sozusagen, und am Zweifel, ins Gefängnis gesteckt. So, jetzt haben wir eine maximal düstere, dystopische Welt skizziert da draußen. Aber damit das eben genau nicht passiert, gibt es sowas wie Algorithm Watch. Die dann halt versuchen zu sagen, okay, ihr baut eure Algorithmen und es ist auch natürlich ein nachvollziehbarer Teil, dass halt Unternehmen damit Geld verdienen wollen und müssen, damit Leute irgendwie arbeiten können und so. Klammer auf, wer wird in irgendwie 17 Jahren überhaupt noch arbeiten? Klammer zu. Ja, aber trotzdem, liebe Algorithm-Watch, also was die Algorithm-Watch-Leute machen, ist eben dann zu schauen, wie kann man das denn so verträglich machen, dass das irgendwie möglichst mit unseren Grundrechten, mit Demokratie und so weiter und so fort übereingeht.
Em
Hey Staat, pass auf, was du da einsetzt. Hey Unternehmen, pass auf, was du da versuchst, für ein Produkt gerade an den Mann zu bringen und in der Europäischen Union an die Bürger zu verkaufen. Und das ist genau das Thema, um das es sich dreht. Also letztendlich muss man natürlich, keiner von uns hier hat die Fantasie, dass eine kleine gemeinnützige Organisation einsteht. Es mit riesengroßen Unternehmen auch nur ansatzweise aufnehmen kann, die mehrere tausend Milliarden zur Verfügung haben. Fantastilliarden, möchte ich sagen. Sorry, Entschuldigung, ich habe mich falsch ausgedrückt. Genau, Fantastilliarden zur Verfügung haben, die diese Ressourcen nutzen können, um damit Forschung, Entwicklung, Serverfarmen, Energie ist auch ein Riesenthema zu nutzen. Aber trotzdem sind wir so optimistisch, dass wir sagen, es muss passieren. Es muss etwas gemacht werden, damit wir ein Gerüst haben, an dem wir uns entlanghangeln können.
Luke
Ich habe das in unserem Vorgespräch so gesagt, dass ich meinte so, stellen wir uns mal die Beste aller Welten vor, wenn man nochmal auf die Vision und Mission von Algorosing Watch zurückkommt, also eine Welt, in der das sozusagen sozial verträglich ist, in der das demokratieverträglich ist, in der das gleichberechtigt ist, egal von Rasse, sexueller Orientierung und so weiter und so fort alles quasi ist. Und natürlich wäre es maximal erstrebenswert, wenn wir das schaffen würden, das alles so hinzubekommen. Aber damit man zumindest ein bisschen in diese Richtung kommt, muss es halt einfach irgendwie so Organisationen geben, die sich dann dafür einsetzen, die dafür eben Analysen machen, die dafür Veröffentlichungen machen, die dafür Handreichungen oder Positionspapiere machen, die eben dann an die Politik und im Zweifel an Lobbyverbände gehen können und so weiter und so fort.
Em
Die ein Bewusstsein in der Öffentlichkeit schaffen.
Em
Für die Situation. Und das ist heute auch unser Ziel. Deshalb sind wir hier heute eingetreten. Normalerweise reden wir über Dinge, die uns letztens zugestoßen sind oder die wir zumindest erwähnenswürdig finden. Aber diesmal fanden wir es besonders wichtig und die Idee kam ursprünglich von Luke, dass wir ein Augenmerk darauf legen, dass es diese gemeinnützigen Vereine gibt, Gemeinschaftsunternehmen gibt, die dafür sorgen, dass genau diese Themen, die für uns alle wichtig sind, aus jeder Möglichkeit beleuchtet werden, aus jeder Perspektive.
Luke
Und vielleicht können wir noch kurz zum Abschluss hier von diesem Teil einfach noch schnell über die zwei, drei Sachen noch drüber gehen, die wir uns noch aufgeschrieben haben als weitere Beispiele, wo halt so Algorithmen Entscheidungen treffen, die über uns als normale Privatpersonen auch entscheiden, ist, wir haben es gerade schon so gesagt, so dieses Social Scoring System in China, in irgendeiner Millionenstadt, die von uns noch nie jemand gehört hat.
Luke
Ja, oder eben auch bei uns. Und da gibt es eben die Schufa, die wir alle kennen und abgrundtief lieben, die nämlich auch für uns. Ich liebe dich abgrundtief.
Em
Genau. Das ist so cool. Positiv ausgedrückt. Dankeschön.
Luke
Die Schufa, die nämlich auch sowas macht und schon irgendwie seit mehreren Jahren oder fast Jahrzehnten teilweise versucht, solche.
Em
Dinge durchzudrücken und da
Luke
Auch in der letzten Zeit in sehr schlammiges und ungemütliches Fahrwasser dadurch gekommen ist, weil sie da irgendwie noch so eine Untergesellschaft gegründet hat und so weiter und so fort. Da steigen wir jetzt nicht ein, aber die haben eben auch schon versucht, schon lange versucht zu gucken, was machen wir Menschen denn so, wir Deutschen denn so im Internet und versuchen diese Daten mit ihrer eigenen Datenerhebung quasi zu verknüpfen oder haben das versucht, zumindest früher.
Em
In den Shownotes wird es wieder einen Link geben, so wie ich Luke kenne und ihr seid herzlich eingeladen, dieses Rabbit Hole mit beiden Beinen voll reinzuspringen.
Luke
Ich weiß ehrlich gesagt nicht, wie lecker das tatsächlich ist, da in dieses Remington reinzuspringen. Ich weiß, dass man da sehr lange drinbleiben kann.
Em
Das sollte eine seriöse Folge werden.
Luke
Wir sind immer seriös.
Luke
Genau. Als letztes, was wir noch als Beispiel mitgebracht haben, was ich euch wirklich empfehlen kann, wenn ihr da draußen ab und an mal bei TikTok unterwegs seid, was ich nicht bin, ist eine Analyse von einer sehr detaillierten Analyse davon, wie TikTok es schafft, Leute in eine bestimmte Richtung zu drängen, ist das falsche Wort, aber Leuten immer mehr Content zu einer bestimmten Richtung zu geben.
Em
Im Prinzip zu manipulieren, ne? Das wollte ich dieses Wort mal anbringen.
Luke
Ja, TikTok, also ich bin voll bei dir, absolut. Wobei TikTok bestimmt sagen würde, na wir manipulieren hier gar nichts. Wir zeigen dem nur, das was ihn interessiert, häufiger an.
Em
Diesen Menschen. Ich habe neulich so eine Werbung bei YouTube gesehen von TikTok geschaltet. Da liegt so ein Mädchen auf dem Bett und schaut sich halt, macht Doomscrolling mehr oder weniger. Wird dann natürlich da so nicht gezeigt. Und dann hat TikTok jetzt so eine Funktion eingebaut, dass man sich so Pausen geben kann. Und dann hat dieses Mädchen plötzlich Pause, legt das Handy zur Seite und geht mit ihren Freunden draußen joggen. Ist das nicht schön? Das ist echt total schön. Ja, total. Funktioniert auch.
Luke
Das funktioniert bestimmt richtig gut. Das funktioniert genauso gut, Em, wie deine Wii, die Wii, die Nintendo Wii, die vor weiß ich nicht was, keine Ahnung, 20 Jahren gesagt hat, mittlerweile ist es mal Zeit für eine Pause und so ein schönes Bild eingeblendet hat von so einem offenen Fenster, wo so ein Vorhang so weht. You remember this stuff? I remember that stuff. Das hat auch richtig gut funktioniert.
Em
Oder? Voll. Ich habe sehr viele Kinder auch gesehen, die dann aufgehört haben. Gesagt haben, okay, der Vorhang, sorry, wie heißt das Ding nochmal?
Em
Der Vorhang ist gerade vom Winde verweht.
Luke
Jetzt muss ich mich auch vom Winde verweht.
Em
Jetzt los, lass den Drachen steigen.
Luke
Genau, also ihr merkt schon daran, wie krass ironisch wir hier das rüberbringen, dass das einfach keine gute Mechanik ist. This is not gonna help. Wahrscheinlich ist es nicht, Bro. Und was diese Reportage da untersucht hat, ist nämlich eigentlich mehr oder weniger diesen Sad Talk Content. Ich weiß nicht, ob das nicht vielleicht schon wieder ein Wort ist, was keiner mehr versteht, weil es eigentlich schon vor zwei Monaten aktuell war und jetzt keiner mehr weiß, was das bedeutet.
Luke
Aber Sad Talk ist quasi, also Sad ist ja traurig, Traurigkeit, also alles, was irgendwie mit schlechten Gefühlen, Verletzungen, Liebeskummer, Liebesproblemen und so weiter und so fort zu tun hat. Wenn du einmal in deinem TikTok-Scrolling mehrmals auf solchen Content reagiert hast und da sind wir wieder bei dem Punkt, was heißt reagieren, ich swipe das nicht weg oder ich wische das nicht weg, ich gehe nicht zum nächsten Video sozusagen, sondern ich gucke mir das lange an, gucke mir das bis zum Ende an, klicke im Zweifel noch einmal auf irgendwie diesen Teil mehr erfahren, Kommentare anzeigen oder wie auch immer das dann da heißt, registriert der TikTok. Ah, okay. Aha, da war also hohes Engagement, hohes Engagement. Da hat jemand damit interagiert, indem er es lange geguckt hat, A, B irgendwie geklickt hat, C sogar nochmal in den Kommentaren gescrollt hat. D, vielleicht sogar selber einen Kommentar dazu verfasst hat, dann habe ich ein hohes Engagement hier generiert, ich als Nutzer, Nutzerin. Und dann zeigt TikTok dir einfach weiterhin immer mehr von diesem Content an. Und dazu haben die von diesem YouTube-Channel ein sehr spannendes Experiment gemacht, in dem sie nämlich zwei komplett resettete Handys genommen haben, die auch an unterschiedlichen Orten lagen und so getan haben, als würden zwei Menschen sich einen neuen TikTok-Account erstellen, die noch nie irgendwas mit TikTok gemacht haben. Und die eine, diese eine Person, der haben sie quasi die fiktive Persona gegeben, die interessiert sich für Do-it-yourself-Content, also ich mal was, ich bastel was, ich schnitze was, ich häkel was oder irgendwie sowas und der anderen Persona haben sie quasi die Persona gegeben, die ist irgendwie down, die hat irgendwie Liebeskummer vielleicht und so spielt vielleicht sogar mit Selbstverletzungstendenzen. Und so weiter und so fort Und dann haben sie zwei Menschen an zwei unterschiedlichen Orten genommen, die diese zwei Handys benutzt haben und dann einfach innerhalb von TikTok sozusagen ganz jungfräulich da lang gescrollt sind und dann aber immer auf den jeweiligen Content länger verblieben sind, der zu ihrer Persona passt. Also die eine zu dem Do-It-Yourself-Content und die andere zu dem Sad-Talk-Content. Also zu diesem eher schlechte Gefühle- und sowas-Content. Und das ist wahnsinnig spannend. Das ist nicht so allzu lang. Das Video ist in 20 Minuten, glaube ich, oder so. Kann man sich mal anschauen, wie schnell, wie deutlich schneller dieser Sad-Talk-Content läuft. Dazu geführt hat, dass diese Sad Talk Persona eigentlich nur noch sowas bekommen hat. Und die Do-It-Yourself Persona hat natürlich auch viel zu Do-It-Yourself bekommen, aber die hat auch so andere Sachen bekommen, aber tendenziell alles eher positiver Content. Und die andere hat eigentlich nur negativen Content bekommen. Bis hin zu tatsächlich einfach wirklich so richtig Sachen, wo man so denkt, okay, wenn du das jetzt irgendwie 2, 3, vier, sieben, zwanzig Wochen hintereinander konsumierst, dann ist es völlig klar, dass du dich vielleicht aus dem Fenster stürzt oder dir die Pulsadern im Zweifel aufschnittst.
Em
Total. Und vor allem auch vor dem Hintergrund des jungen Alters und so.
Em
Also ihr merkt schon, ich will das jetzt mal zu einem Abschluss bringen, weil wir können natürlich nicht alle Themen erschlagen und wir haben uns jetzt auch nicht vorgenommen, zu tief in die Thematik reinzugehen. Uns ist nur wichtig, dass ihr versteht, dass es tatsächlich eine Organisation gibt, die sich genau mit diesen Themen befasst und wir, und das habe ich jetzt mit Luke nicht abgesprochen, Wir würden im Anschluss ja auch unsere Links im Turbogang vorstellen. Luke, was würdest du davon halten, wenn wir gleich zum Abschluss kommen und die Links im Turbogang diesmal verwenden, um drei tiefergehende Links direkt von der Algorithm Watch Webseite vorzustellen, damit sich unsere Zuhörer ein bisschen tiefer damit beschäftigen können. Und wir highlighten quasi die drei Themen, die wir auch schon hier angesprochen haben oder wir wählen welche aus, die uns richtig gut gefallen.
Luke
Ja, finde ich eine gute Idee. Lass uns das so machen.
Luke
Und genau, also als letzte Sache, bevor wir dann uns den Links vielleicht widmen, einmal noch kurz der Hinweis oder der Aufruf, weil ich das ja erst einmal sehr spannend finde, wie wir schon gesagt haben und auch echt unterstützenswert, wie wir beide finden, ist einfach, warum ist diese Arbeit von Algorithm Watch so wichtig? Das hat M. Gerade schon wunderbar zusammengefasst, weil es halt einfach diese Themen gibt, wo Organisationen einfach oder Unternehmen eigentlich diese Sachen machen, damit wir möglichst lange auf diesen Plattformen sind und um das irgendwie zu unterbrechen und um natürlich denen auch einfach die Möglichkeit zu geben, auch an quasi Empfehlungen zu arbeiten, wie das in Zukunft besser sein soll. Und nicht nur reaktiv, wie ich vorhin gesagt habe, sondern eben auch proaktiv bestimmte Regulierungsverfahren einzuleiten und so weiter und so fort. Ist es einfach so, dass Algorithm Watch sich eben viel durch Spenden und Fördergelder finanziert und braucht damit auch einfach eure Unterstützung oder Unterstützung von der interessierten Öffentlichkeit an diesem Thema, um eben weiter Unabhängigkeit zu, ja, sozusagen transportieren zu können oder einfach unabhängig zu bleiben. Und dann könnt ihr natürlich einfach auf algorithmwatch.org draufgehen und dann spenden. Also das nur als sozusagen am Rande erwähnt, weil es uns wirklich wichtig ist, einfach zu sagen, Da gibt es einfach Leute und Organisationen, die für solche Sachen viel arbeiten. Und natürlich, wie gesagt, diese Folge hier entsteht im Rahmen des Podcast-Torn, podcast-torn.org eben. Da sind auch noch ganz viele andere tolle Organisationen verlinkt, erwähnt. gibt es auch noch ganz viele andere Podcast- Episoden und Folgen, die sich eben auch mit vielen anderen NGOs und, gemeinnützigen Organisationen beschäftigen. Könnt ihr vielleicht auch mal vorbeischauen. Wie gesagt, auch da sind die Links dazu in den Show Notes.
Em
Super. Dann lass uns jetzt zu den Links im Turbo-Gang gehen. Jawohl. Direkt weiter. Weiter geht's.
Luke
So, dann links im Togo-Gang, wie immer. Wir haben heute tatsächlich passenderweise einfach Links mitgebracht, die von der Algorithm Watch Seite kommen. Und ich habe mir heute rausgesucht, eine Kampagne oder ein Projekt, was sie dann tatsächlich mal gemacht haben, ist zwar schon ein bisschen länger her, 2018 glaube ich gestartet, 2019 abgeschlossen, ist das openschufa.de. Und zwar ging es darum, dass die Datenauswertung bei der Schufa einfach besser analysiert werden sollte, wie die das denn da machen. Und sie damals Leute dazu gebracht haben, ihre Daten in Anführungsstrichen zu spenden und auch ein bisschen Geld zu spenden, damit sie eben entsprechend diese Analysen machen konnten. Und ja, wie gesagt, ist jetzt schon recht lange her, sind jetzt fast schon sieben Jahre her, dass das irgendwie dann beendet wurde. Aber da kann man mal sehen, was dann tatsächlich in so ein einzelnes Projekt von Algorithm Watch mündet. Und eben, es passt heute schön dazu, weil wir ja eben über die Schufa gesprochen haben, die wir alle abgrundtief lieben.
Em
Sehr gut. Danke, Luke. Ja, kommen wir zu meinem Thema. Ich habe ein bisschen überlegt, was ich mache, weil wir haben natürlich sehr, sehr viele Projekte, die von Algorithm Watch unterstützt werden, die hier tatsächlich auch erwähnenswert sind. Es geht vor allem auch um die Polizeiarbeit, die ganzen datenbankgestützten, biometrisch gestützten Verfahren und so weiter. Aber ich habe etwas ausgesucht, was aus dem Bereich Storys kommt, was mich damals sofort irgendwie, wie soll ich sagen, angetriggert hat. Und das Thema nennt sich, was künstliche Butter mit künstlicher Intelligenz zu tun hat. Und jetzt versuche ich mal, das ohne zu viel zu spoilern, wiederzugeben. Anfang des 20. Jahrhunderts wurde unsere liebe Butter, die jeder so gern hat, tierisch, natürlich, gesund, von einem anderen Produkt ersetzt, was künstlich war und so ähnlich aussah, aber nicht dieselben Nährwerte hatte. Und das kann man als Analogie nehmen. Da bin ich demjenigen, der diesen Artikel geschrieben hat, das ist ein Doktorand, Herr Kaiser-Briel, sehr dankbar, der diese Analogie aufgebaut hat zur künstlichen Intelligenz, die auch gewisse Vorzüge zu haben scheint, auch günstiger zu sein scheint und andere Vorteile zu bieten scheint, aber natürlich nicht das Original ist. Und lest euch den Artikel durch, er ist sehr interessant, er ist kurz und entertaining geschrieben. Ja, man kann einiges draus ziehen.
Luke
Sehr spannend. Meinst du etwa die gute alte Margarine?
Em
We don't. Es gibt inzwischen, das krasse ist ja, dass es wirklich sehr, sehr viele Ersatzprodukte gibt, die alle ziemlich viel versprechen, aber dann, naja, im Langzeittest wenig Einheiten. Ja. Das ist es.
Luke
Ja. Also, dann als letztes vielleicht noch kurz nochmal der Hinweis einfach auf den Podcast-Torn. Schaut euch einfach an podcastone.org und guckt mal da, was da noch für andere tolle, ja, soziale und nicht Regierungsorganisationen, gemeinnützige Organisationen da vorgestellt werden, in den verschiedenen Podcasts, die da draußen existieren. Ich finde es ganz schlau gemacht auch, also wenn man es jetzt noch im März sich anguckt, dann sind da auch tatsächlich die einzelnen Folgen auch nochmal verlinkt zu den jeweiligen Podcasts. Wir packen vielleicht auch nochmal den, weiß nicht, ob wir das genau schaffen, aber den Link in die Shownotes zu unserem Auftritt da, in Anführungsstrichen beim Podcast-Torn. Und wir freuen ist, dass wir da Teil sein können oder konnten davon. Und wir schauen mal, dass wir uns das nächste Jahr auch wieder auf die Agenda schreiben und mal gucken, wen wir nächstes Jahr dann vielleicht auswählen, um auch wieder so ein Episode dazu zu machen. Und ihr habt ja jetzt unsere Links im Turbo-Gang hier gehört, selbst wenn die jetzt dieses Mal alle auf Algorithm Watch bezogen waren, aber wir schicken uns, Em und ich schicken uns diese Links halt immer. Ja, tagesaktuell hier hin und her in unserem Chat-Messenger, die wir sozusagen so dafür benutzen. Und wer von euch will, kann da einfach gerne mitlesen. Dafür gibt es wie immer zwei Möglichkeiten, entweder langsam und konzentriert per E-Mail-Newsletter. Der kommt dann einmal pro Woche in euer E-Mail-Postfach, wirklich auch nur dafür. Es gibt keine Spam-E-Mails oder sonst was. Einmal eben wöchentlich, dass die eine Variante langsam und konzentriert oder eben sekundenschnell und zwischendrin haben wir einen Telegram-Kanal eingerichtet, in dem ihr einfach schnell Mitglied werden könnt oder ein Mitglied hört sich so stark crazy an. Ihr müsst einfach da auf den Link klicken und dann seid ihr in dem Telegram-Kanal drin. Ganz einfach. Und sobald Em und ich uns irgendwie einen Link hin und her schicken, taucht er dann da direkt auch in diesem Telegram-Kanal auf und ihr bekommt es mit. Klammer auf, von Telegram kann man halten, was man will. Das war für uns jetzt für den Start das Einfachste, um das schnell zu machen.
Em
True. Und diese beiden Varianten, die ich kurz erklärt habe,
Luke
Findet ihr weiterhin wie immer unter www.letztens.de slash Newsletter oder ihr klickt einfach in den Shownotes.
Em
Mega, danke. Wie immer, danke für die schöne Ausführung, Luke.
Em
Sind wir jetzt raus aus dem Ding hier für heute?
Luke
Wir sind raus aus dem Ding.
Em
Wunderbar, es hat super viel Spaß gemacht. Wir machen das wieder.
Luke
Das machen wir sehr gerne wieder. Ich freue mich wirklich drauf, wenn wir das 2027 dann nochmal machen und mal gucken, was uns dann wieder einfällt. Und jetzt, um es nochmal hier schön mit Algorithm Watch zu brechen, lade ich jetzt natürlich nachher unsere Podcast-Folge bei Orphonic hoch und Orphonic wird für uns die Datei an OpenAI transferieren und das transkribieren und am Ende bekommen wir ein schönes Transkript, was auf unserer Webseite auftauchen kann und eben auch bei Spotify und bei Apple Podcasts und so weiter und so fort. Also practice what you preach, don't use the big tech. Aber das ist tatsächlich eine super Sache, um einfach die Podcast-Qualität noch ein bisschen zu steigern. Und für Leute, die eben vielleicht nicht unbedingt so gut hören können wie wir, ist so ein Transkript natürlich auch sehr, sehr hilfreich. Ja, und da haben wir beide einfach nicht die Zeit, unser Gespräch tatsächlich auch einfach nochmal abzutippen am Ende. Das würden wir einfach nicht leisten können.
Luke
Ich halte es heute mal mit den Abschlussworten aus dem Chaos Radio. Lasst euch nicht überwachen und verschlüsselt immer schön eure Backups.
Em
Oh, sehr schön. Ich habe auch noch letzte Worte. Yippie a jay, Schweinebacke.
Luke
Sehr gut, dann bis zum nächsten Mal, Leute. Peace, adieu, ciao, ciao.
1 Kommentar zu dieser Episode vorhanden
[…] https://www.letztens.de/podcast-episode/podcasthon-2026-algorithmwatch-was-macht-diese-ngo/ […]