Niederlande

[NL] Das Bezirksgericht Amsterdam hat ein sofortiges Verbot von Grok-generierten sexuellen Deepfakes in den Niederlanden erlassen

IRIS 2026-5:1/17

Valentina Golunova

Universität Maastricht

Am 26. März 2026 erließ das Bezirksgericht Amsterdam (Rechtbank Amsterdam) ein Urteil, mit dem der Social-Media-Plattform X und X.AI, Anbieter des generativen KI-Chatbots Grok, die Erstellung und Verbreitung von Deepfake-Bildern mit sexuellem Inhalt von (minderjährigen) Personen mit Wohnsitz in den Niederlanden unverzüglich untersagt wurde. Das Urteil erging in einem Eilverfahren, das vom Kompetenzzentrum für Online-Missbrauch Offlimits mit Unterstützung der niederländischen Opferhilfe-Stiftung (Slachtofferhulp Nederland) eingeleitet wurde.

Ende 2025 führte X eine Funktion ein, die es Nutzern ermöglichte, mit Grok auf der Plattform gepostete Bilder zu bearbeiten. Die neue Funktion führte zur massenhaften Erstellung und Verbreitung von sexualisierten Deepfake-Bildern, auf denen auch Kinder zu sehen waren. Die Empörung über Grok veranlasste die Europäische Kommission, eine förmliche Untersuchung gegen X gemäß dem Gesetz über digitale Dienste (Digital Services Act - DSA) einzuleiten. Im Februar 2026 reichte Offlimits ein Eilverfahren ein und beantragte, X zu untersagen, Bilder von unbekleideten (tatsächlich existierenden) Personen ohne deren Zustimmung zu erstellen und zu verbreiten, zumindest soweit es sich um Personen mit Wohnsitz in den Niederlanden handelt, sowie Material über sexuellen Kindesmissbrauch (child sexual abuse material - CSAM) im Sinne des niederländischen Rechts herzustellen, zu verbreiten, anzubieten, öffentlich auszustellen oder zu besitzen. X und X.AI machten geltend, sie hätten technische Schutzmaßnahmen eingerichtet, die die Möglichkeiten der Nutzer einschränken, mit Grok illegale Inhalte zu erstellen, einschließlich Eingabefiltern, die bestimmte Kategorien sensibler Anfragen, insbesondere solche mit Bezug zu CSAM, ablehnen.

In seinem Urteil stellte das Gericht fest, dass es für die Entscheidung des vorliegenden Rechtsstreits zuständig sei, da X.AI der für die Verarbeitung personenbezogener Daten von Personen mit Wohnsitz in den Niederlanden Verantwortliche im Sinne der Datenschutz-Grundverordnung (DSGVO) sei. Es stellte außerdem fest, dass Offlimits berechtigt ist, eine Klage zum Schutz ähnlicher Interessen anderer Personen zu erheben. In Bezug auf die Begründetheit der Klagen von Offlimits stellte das Gericht fest, dass X und X.AI nicht nachweisen konnten, dass die von ihnen ergriffenen Maßnahmen, um die Erstellung von sexualisiertem Bildmaterial mit existierenden Personen unter Verstoß gegen die DSGVO und das niederländische Strafgesetzbuch zu verhindern, tatsächlich wirksam waren. Offlimits legte Beweise in Form von Screenshots vor, aus denen hervorging, dass es auch nach der angeblichen Einführung zusätzlicher Schutzmaßnahmen durch X.AI immer noch möglich war, Inhalte auf der Grundlage eines Fotos einer existierenden Person in einem sexualisierten Kontext zu erstellen. Auch wenn die Eingabeaufforderungen von Dritten eingefügt werden, müssen sowohl X als auch X.AI verhindern, dass von Grok produzierte Inhalte unrechtmäßig sind. Da die Beklagten keine ausreichenden Sicherheitsvorkehrungen getroffen haben, um die Erzeugung von nicht einvernehmlichen Deepfake-Nacktbildern zu verhindern, wurde festgestellt, dass sie zu einem rechtswidrigen Online-Verhalten beigetragen haben. Angesichts der berechtigten Zweifel an der Wirksamkeit der von den Beklagten ergriffenen Maßnahmen bestätigte das Gericht, dass Offlimits ein hinreichend dringendes Interesse an einer Eilentscheidung hatte. Es verbot die Erstellung und Verbreitung sexueller Bilder, bei denen die Funktionalität dazu genutzt wird, in den Niederlanden ansässige Personen ohne deren ausdrückliche Zustimmung ganz oder teilweise zu entkleiden, sowie die Herstellung, die Verbreitung, das Anbieten, die Zurschaustellung oder den Besitz von CSAM in den Niederlanden. Darüber hinaus hat das Gericht X untersagt, die Grok-Funktionalität als Teil seiner Plattform anzubieten, solange Grok noch zur Erzeugung illegaler Inhalte verwertet werden kann. Sowohl X als auch X.AI müssen gegenüber Offlimits schriftlich bestätigen, wie sie dem Urteil nachgekommen sind. Kommt Grok dem Urteil nicht nach, wird ein Zwangsgeld in Höhe von EUR 100 000 pro Tag verhängt, das auf EUR 10 000 000 begrenzt ist.