Instagram ist eigentlich eine ungefährliche Foto-Plattform. Doch der Algorithmus liefert einen toxischen Mix und spielt offenbar sexualisierte Inhalte von Kindern aus - die gar nicht auf der Plattform unterwegs sein dürften.

Im Frühjahr 2010 basteln die beiden Stanford-Absolventen Kevin Systrom und Mike Krieger in San Francisco an einem Fotodienst. Wenige Monate später erscheint die App Instagram. Der Andrang ist riesig, innerhalb weniger Stunden laden Tausende Menschen sie herunter. Die Computersysteme stürzen immer wieder ab. 2012 schlägt Facebook für eine Milliarde US-Dollar zu.

Heute sind weltweit zwei Milliarden Menschen auf Instagram angemeldet. Die Foto-App ist das viertgrößte soziale Netzwerk nach Facebook, Youtube und Whatsapp. Längst ist sie keine reine Foto-Community mehr: Seit 2013 können auch Videos hochgeladen werden. 2020 wurden Reels eingeführt, kurze Clips mit Effekten, wie bei Tiktok.

Inzwischen, seit 2016, zeigt Instagram die Posts nicht mehr chronologisch an, sondern nutzt einen Algorithmus. Dieser wird der Plattform jetzt zum Verhängnis. Denn er sorgt dafür, dass sexualisierte Clips von Kindern in die Timelines gespült werden. Das haben Journalisten des "Wall Street Journal" (WSJ) herausgefunden. Mit Testkonten sind sie jungen Sportlern, Teenagern und Influencern gefolgt. Und Nutzern, die diesen jungen Mädchen folgen. Heraus kam ein giftiger Mix aus sexualisierten Inhalten mit Minderjährigen und Erwachsenenpornografie.

Unternehmen stoppen Werbung bei Instagram

Für Jürgen Pfeffer, Professor für Computational Social Science und Big Data an der Technischen Universität München, ist das kaum verwunderlich. Denn so funktioniert das Netzwerk: Wir sehen das, was Instagram glaubt, dass wir es sehen wollen. "Solange man sich nicht für diese Themen interessiert, kann es gut sein, dass man sich jahrelang im Internet auf sozialen Medien bewegt, ohne problematische Inhalte zu sehen", sagt Pfeffer im ntv-Podcast "Wieder was gelernt".

Facebook hat allein zwischen Juli und September 16,9 Millionen Inhalte mit Bezug auf sexuelle Ausbeutung von Kindern entfernt, doppelt so viele wie im Quartal davor. Bei X drehten sich zehn bis zwanzig Prozent der Inhalte um Pornografie, so der Experte. Das frühere Twitter sei die einzige große Plattform, wo diese nicht verboten sind.

Panorama 11.09.23

Familienprojekt als Geldmaschine Kinder-Influencer verrichten Arbeit vor der Kamera

Zwischen den anzüglichen Videos läuft laut der WSJ-Recherche Werbung großer Marken wie Disney, Walmart, Tinder und dem Wall Street Journal selbst, die davon wenig begeistert sind. Einige wie die Tinder-Mutter Match Group haben ihre Werbung in den Instagram-Reels deswegen inzwischen gestoppt.

"Strenge Richtlinien bei Nacktdarstellungen"

Das Problem scheint dem Mutterkonzern Meta schon länger bekannt zu sein. Doch die Interview-Anfrage von ntv.de will eine Meta-Sprecherin nur schriftlich beantworten: "Wir erlauben keine Inhalte auf Instagram, die mit dem Missbrauch und der Gefährdung von Kindern in Zusammenhang stehen und haben strenge Richtlinien in Bezug auf Nacktdarstellungen von Kindern", schreibt sie in einer E-Mail." Wir entfernen Inhalte, die Kinder explizit sexualisieren. Subtilere Formen der Sexualisierung, wie beispielsweise das Teilen von Bildern von Kindern in Verbindung mit unangemessenen Kommentaren, werden ebenfalls gelöscht."

Panorama 12.12.23

Undercover gegen Cybergrooming Wie Ermittler sexuelle Gewalt gegen Kinder bekämpfen

Um Bilder und Inhalte herauszufiltern, die Kinder gefährden, nutzt Instagram nach eigenen Angaben einen Fotoabgleich. Das trifft zum Beispiel auf Fotos mit nackten Kindern zu. Der scannt alle Bilder automatisch und löscht sie gegebenenfalls. Trotzdem finden sich auf Instagram oder auch anderen sozialen Plattformen viele Inhalte von Kindern, die dort laut Jugendschutz oder auch laut den Richtlinien nicht sein dürften.

Das liegt unter anderem daran, dass automatische Systeme Inhalte von Videos schwerer analysieren können als Text oder Standbilder, schreibt das WSJ. Bei Reels sei es noch mal schwieriger: Die zeigen nämlich Inhalte außerhalb des eigenen Freundeskreises - von Quellen, denen die User nicht folgen. Meta-Mitarbeiter hätten schon vor der Einführung von Reels 2020 Sicherheitsbedenken gehabt.

Algorithmus muss trainiert werden

Instagram filtert problematische Inhalte per KI und Machine Learning heraus, erklärt Angelina Voggenreiter, wissenschaftliche Mitarbeiterin an der TU München im Podcast. "Dafür braucht der Algorithmus aber erstmal ein Testset an genügend Daten, die zeigen, was denn Bilder sind, die nicht dort sein sollten." Das sei aber insbesondere bei Kinderpornografie schwierig. Denn diese Daten seien gerade am Anfang nicht unbedingt in dieser Menge vorhanden.

Nacktheit würden die Systeme gut erkennen, "wenn es dann aber um Kinder geht, die halb angezogen sind, ist es sehr, sehr schwierig, die automatisiert herauszufiltern", erläutert Voggenreiter. Die Plattformen seien größtenteils davon abhängig, dass andere User solche Inhalte melden, aber mit der großen Anzahl dieser Reports überfordert und könnten sie nicht sofort löschen.

Zur Problematik, dass automatische Systeme Inhalte von Videos schwerer analysieren können als Text oder Standbilder, kommt, dass Social-Media-Plattformen genau diese am besten monetarisieren können: Nutzer sollen möglichst viel Zeit bei ihnen verbringen. Erfahrungsgemäß bleiben sie bei Bewegtbild länger am Bildschirm als bei Texten oder Fotos. In dieser Zeit kann mehr Werbung gezeigt werden, die mehr Geld bringt.

Mitarbeiter dürfen Algorithmus nicht ändern

Zudem hat Instagram seinen Algorithmus so optimiert, dass den Nutzern Videos vorgeschlagen werden, die ihren Interessen oder bisher geklickten Inhalten entsprechen. Wer sich also oft junge Mädchen oder Frauen im Bikini anschaut, bekommt ähnliche Videos vorgeschlagen. Ein unendlicher Strom - der so lange anhält, bis man aktiv nach anderen Inhalten sucht oder diese Empfehlungsalgorithmen "signifikant" geändert werden. Das wollen Meta aber nicht, haben aktuelle und ehemalige Instagram-Mitarbeiter dem WSJ gesagt. Um keine Nutzer zu verlieren, wie in dem Bericht erklärt wird.

01:40 min

Technik 25.10.23

Experten sehen geringe Chancen Mehrere US-Bundesstaaten ziehen gegen Meta vor Gericht

Technisch sei dies kein Problem, sagt Social-Media-Professor Jürgen Pfeffer. "Haben Sie schon mal versucht, auf Youtube die Tore vom letzten Spiel Ihres Lieblings-Bundesligaklubs zu sehen? Wahrscheinlich werden Sie die nicht finden, weil ein starkes Urheberrecht von Medienunternehmen dahintersteht. Da funktioniert es sehr gut, Inhalte, die man nicht sehen soll, auch zu verbergen." Eine bessere Regulierung auf europäischer Ebene könne eine Lösung sein.

Alter der User wird nicht geprüft

Eine weitere Schwachstelle von Instagram ist das Alter der User. Eigentlich darf man sich bei erst ab 13 Jahren anmelden. Tatsächlich sind sehr wahrscheinlich Millionen von Kindern auf der Plattform unterwegs. Denn das Alter wird zwar bei der Anmeldung erfragt, ob die Kinder es richtig angeben, aber nicht überprüft. Einmal angemeldet, können sie sich frei auf der Plattform bewegen. Erst wenn sie selbst Inhalte hochladen, müssen sie ihr Alter verifizieren, sagt Expertin Voggenreiter. Das sei aber schwierig und werde kaum durchgesetzt.

Meta soll von diesem Problem seit Jahren wissen, es aber ignoriert haben. Dutzende US-Bundesstaaten haben den Konzern deshalb verklagt. Instagram habe Kinder bewusst auf die Plattform gelockt, steht in der Klageschrift. Und auch persönliche Daten wie ihre Standorte oder E-Mail-Adressen gesammelt. Obwohl die Eltern nicht zugestimmt haben - was eigentlich vorgeschrieben ist.

Für Pfeffer ist das keine Überraschung. Denn die Nutzerzahlen seien für Konzerne wie Meta das wichtigste "Handelsgut". "Eine wesentliche Metrik auch für den Börsenkurs von Plattformen ist: Wie viele neue User haben die pro Monat", analysiert der Social-Media-Experte im Podcast. Die Kontrolle der täglich Hunderttausenden neue Instagram-Accounts wäre teuer und aufwendig. Eine Verzögerung des Anmeldeprozesses könne Auswirkungen auf den Unternehmenserfolg haben.

Bei aller berechtigten Kritik an Meta sehen die Experten aber noch ein anderes, viel größeres Problem auf Instagram: Familien-Influencer. Das sind Eltern, die ihre Kinder auf ihren Accounts selbst zur Schau stellen, gern auch mal halb nackt in Windeln und Bikini. Mit diesen Bildern und Videos füttern sie den Algorithmus und liefern pädosexuellen Nutzern immer neuen "Stoff" für ihre Fantasien.