Sicherheit

Die 8 klicksafe-Risiken — und unsere Antwort

klicksafe beschreibt acht Risiken, die KI-Chatbots für Kinder erzeugen: parasoziale Bindung, simulierte Empathie, persistentes Gedächtnis, Sycophancy, ungeeignete Inhalte, Eltern-Umgehung, Sucht-Loops und Manipulation. KinderGPT ist gebaut, um jedes davon zu neutralisieren.

Eltern-Guide lesen →

So liest du diese Seite

Eine 8×2-Matrix: jedes Risiko, unsere konkrete Antwort

Für jedes der acht klicksafe-Risiken beschreiben wir, wie sich das Risiko in heutiger Companion-KI manifestiert und was KinderGPT technisch und redaktionell tut, um es zu neutralisieren. Unabhängig auditiert im ProFiZ-Projekt.

klicksafe-Matrix

Die vollständige 8×2-Matrix

Risiko	Antwort von HillcrownAI
Parasoziale Bindung Companion-KIs bauen langfristige Beziehungen zu Kindern auf — Namen, Geschichten, Sehnsucht, Bindung. Kinder verwechseln die KI mit einer Freundin.	KinderGPT erinnert sich nicht an Kinder. Keine Accounts, kein Profil, kein Langzeit-Gedächtnis. Sessions sind by design isoliert.
Simulierte Empathie Modelle sagen "Ich verstehe dich", "Ich bin für dich da" und imitieren emotionale Unterstützung — ohne wirklich etwas zu verstehen.	KinderGPT spricht klar. Keine Ich-Gefühle, keine Beziehungssprache, kein "Ich hab dich auch lieb". Werkzeug, nicht Freund.
Persistentes Gedächtnis Memory-Features bauen still über Sessions und Wochen hinweg Verhaltensprofile von Kindern.	Sessions sind stateless. Wir loggen nur die Metadaten, die Eltern brauchen (Themencluster, Zeit, Auffälligkeiten) — niemals den Gesprächsverlauf per Default.
Sycophancy Modelle sagen Kindern, was sie hören wollen — besonders unter emotionalem Druck. Risikoreiche Überzeugungen werden dadurch verstärkt.	Multiguard-Moderation erkennt sycophantische Muster; redaktionelle Guardrails halten das Modell ehrlich, neutral und entwicklungsgerecht.
Ungeeignete Inhalte Kinder begegnen sexualisierten, gewalttätigen oder selbstverletzenden Inhalten über Jailbreaks, Leaks oder ungefilterte Basis-Modelle.	Drei-Schichten-Filter: Datensatz-Kuration, eigenes Moderationsmodell, Runtime-Guardrails — plus redaktionelle Freigabe je Domäne.
Eltern-Umgehung Kinder sprechen mit Companion-KIs ohne jede Eltern-Sichtbarkeit, oft via App-Stores, die Nutzung gezielt verschleiern.	Eltern-Dashboard ist Teil des Produkts, kein Upgrade. Eltern sehen Themen, Zeit und Auffälligkeiten — minimaler Datensatz, klare Regeln.
Sucht- und Engagement-Loops Companion-KIs sind auf Engagement und Stickiness optimiert — dasselbe Muster, das Social Media für Minderjährige schädlich gemacht hat.	Zeit- und Frequenz-Limits sind First-Class-Citizens. Wir optimieren nicht für tägliche Nutzer, sondern für abgeschlossene Lernaufgaben.
Manipulation & Dark Patterns Modelle können in Richtung emotionaler Manipulation, Werbeeinblendung oder In-App-Kaufdruck gesteuert werden.	Keine Werbung, keine In-App-Käufe, keine Drittanbieter-Calls in Werbenetzwerke. Bezahlt wird das Produkt von Partnern, nicht von der Aufmerksamkeit der Kinder.

Risiko
Parasoziale Bindung
Companion-KIs bauen langfristige Beziehungen zu Kindern auf — Namen, Geschichten, Sehnsucht, Bindung. Kinder verwechseln die KI mit einer Freundin.
Antwort von HillcrownAI
KinderGPT erinnert sich nicht an Kinder. Keine Accounts, kein Profil, kein Langzeit-Gedächtnis. Sessions sind by design isoliert.
Risiko
Simulierte Empathie
Modelle sagen "Ich verstehe dich", "Ich bin für dich da" und imitieren emotionale Unterstützung — ohne wirklich etwas zu verstehen.
Antwort von HillcrownAI
KinderGPT spricht klar. Keine Ich-Gefühle, keine Beziehungssprache, kein "Ich hab dich auch lieb". Werkzeug, nicht Freund.
Risiko
Persistentes Gedächtnis
Memory-Features bauen still über Sessions und Wochen hinweg Verhaltensprofile von Kindern.
Antwort von HillcrownAI
Sessions sind stateless. Wir loggen nur die Metadaten, die Eltern brauchen (Themencluster, Zeit, Auffälligkeiten) — niemals den Gesprächsverlauf per Default.
Risiko
Sycophancy
Modelle sagen Kindern, was sie hören wollen — besonders unter emotionalem Druck. Risikoreiche Überzeugungen werden dadurch verstärkt.
Antwort von HillcrownAI
Multiguard-Moderation erkennt sycophantische Muster; redaktionelle Guardrails halten das Modell ehrlich, neutral und entwicklungsgerecht.
Risiko
Ungeeignete Inhalte
Kinder begegnen sexualisierten, gewalttätigen oder selbstverletzenden Inhalten über Jailbreaks, Leaks oder ungefilterte Basis-Modelle.
Antwort von HillcrownAI
Drei-Schichten-Filter: Datensatz-Kuration, eigenes Moderationsmodell, Runtime-Guardrails — plus redaktionelle Freigabe je Domäne.
Risiko
Eltern-Umgehung
Kinder sprechen mit Companion-KIs ohne jede Eltern-Sichtbarkeit, oft via App-Stores, die Nutzung gezielt verschleiern.
Antwort von HillcrownAI
Eltern-Dashboard ist Teil des Produkts, kein Upgrade. Eltern sehen Themen, Zeit und Auffälligkeiten — minimaler Datensatz, klare Regeln.
Risiko
Sucht- und Engagement-Loops
Companion-KIs sind auf Engagement und Stickiness optimiert — dasselbe Muster, das Social Media für Minderjährige schädlich gemacht hat.
Antwort von HillcrownAI
Zeit- und Frequenz-Limits sind First-Class-Citizens. Wir optimieren nicht für tägliche Nutzer, sondern für abgeschlossene Lernaufgaben.
Risiko
Manipulation & Dark Patterns
Modelle können in Richtung emotionaler Manipulation, Werbeeinblendung oder In-App-Kaufdruck gesteuert werden.
Antwort von HillcrownAI
Keine Werbung, keine In-App-Käufe, keine Drittanbieter-Calls in Werbenetzwerke. Bezahlt wird das Produkt von Partnern, nicht von der Aufmerksamkeit der Kinder.

Was ist die klicksafe-Risiko-Matrix für KI-Chatbots?

klicksafe ist die deutsche Sensibilisierungsstelle des EU-Programms „Safer Internet". Die Risiko-Matrix für KI-Chatbots dokumentiert acht typische Gefährdungsfelder, die im Kontakt zwischen Minderjährigen und KI auftreten. KinderGPT ist gegen jedes dieser acht Felder als Produkt-Invariante entwickelt — nicht nachträglich abgedeckt, sondern strukturell ausgeschlossen.

Risikofelder

Parasoziale Bindung: Keine simulierte Freundschaft, kein „Wir"-Persona-Frame
Persona-Simulation: Klare Maschinen-Selbstauskunft statt Identitätsverwirrung
Romantik / Sexualisierung: Strukturell ausgeschlossen — kein Role-Play-Modus
Memory & Profil: Kein dauerhaftes Profil eines Kindes über Sessions
Topic-Drift: Blocklisten gegen Self-Harm, Essstörungen, Extremismus
Dark Patterns: Keine Engagement-Loops, keine künstlichen Reward-Mechaniken
Daten-Flüsse: Eltern-Information transparent, kein Drittland-Transfer
Simulierte Empathie: Faktuale Antworten statt Pseudo-Mitgefühl

Material auf Anfrage

Eltern-Guide und audit-fähige Sicherheits-Matrix

Wir senden den Eltern-Guide (10-seitiges PDF) und die audit-fähige Sicherheits-Matrix (Excel + PDF) per E-Mail nach kurzer Qualifizierung.

Eltern-Guide

Verständliche Erklärung, wie KinderGPT sich von Companion-KI unterscheidet, FAQs und Warnzeichen, auf die Eltern bei jeder KI achten sollten.

Sicherheits-Matrix (audit-fähig)

8×2-Matrix als Excel + PDF, inklusive der Kontrollen aus unserem ProFiZ-Audit. Geeignet für Beschaffung und Elternbeiräte.

Sprich mit Sicherheitsverantwortlichen, nicht mit Sales

Wir gehen mit Beschaffung, Schulträgern und Elternbeiräten gerne in 30-Minuten-Calls die Matrix durch. Kein Sales-Pitch.

Die 8 klicksafe-Risiken — und unsere Antwort

Eine 8×2-Matrix: jedes Risiko, unsere konkrete Antwort

Die vollständige 8×2-Matrix

Parasoziale Bindung

Simulierte Empathie

Persistentes Gedächtnis

Sycophancy

Ungeeignete Inhalte

Eltern-Umgehung

Sucht- und Engagement-Loops

Manipulation & Dark Patterns