Shadow AI: Wenn künstliche Intelligenz zum Sicherheitsrisiko wird

Künstliche Intelligenz (KI) unterstützt längst zahlreiche Arbeitsprozesse. Mitarbeitende nutzen KI-Tools, um Texte zu erstellen, Informationen auszuwerten, Code zu entwickeln oder alltägliche Aufgaben zu automatisieren. Doch was passiert, wenn diese Anwendungen ohne Wissen oder Freigabe der IT-Abteilung eingesetzt werden?

Genau hier beginnt Shadow AI. Die unkontrollierte Nutzung künstlicher Intelligenz kann Unternehmen vor erhebliche Herausforderungen stellen. Besonders dann, wenn vertrauliche Informationen verarbeitet, Sicherheitsmechanismen umgangen oder KI-generierte Ergebnisse ungeprüft übernommen werden.

Welche Risiken dabei entstehen und wie Unternehmen ihnen begegnen können, erklärt Cybersecurity-Experte Dr. Stefan Schiebeck im ETC-Webinar „Shadow AI – Wenn menschliche und künstliche Intelligenz sich treffen“.

Wir geben Ihnen einen Einblick in die wichtigsten Erkenntnisse. Die vollständige Webinaraufzeichnung können Sie über unser Formular anfordern.

Was ist Shadow AI und warum betrifft es Unternehmen?

Shadow AI bezeichnet die Nutzung von KI-Anwendungen innerhalb eines Unternehmens, die nicht offiziell genehmigt oder ausreichend durch die zuständigen IT- und Sicherheitsverantwortlichen kontrolliert werden.

Das kann bereits bei alltäglichen Aufgaben beginnen: Mitarbeiter*innen lassen sich E-Mails formulieren, Dokumente zusammenfassen oder komplexe Informationen durch einen externen KI-Dienst analysieren. Solche Anwendungen können Arbeitsprozesse erleichtern. Problematisch wird es jedoch, wenn dabei interne Dokumente, personenbezogene Daten oder vertrauliche Unternehmensinformationen an nicht freigegebene Systeme übermittelt werden.

Anders als bei zentral verwalteten Anwendungen fehlt Unternehmen bei Shadow AI häufig die notwendige Transparenz. Welche Tools werden verwendet? Welche Daten verlassen das Unternehmen? Wie werden diese Informationen beim jeweiligen Anbieter verarbeitet?

Das zentrale Problem ist daher nicht die Technologie selbst, sondern ihr Einsatz ohne angemessene Sicherheitsvorkehrungen. Unternehmen müssen verstehen, wo KI genutzt wird und welche Risiken mit den jeweiligen Anwendungsfällen verbunden sind.

Im Webinar zeigt Dr. Stefan Schiebeck, weshalb ein risikobasierter Umgang mit KI entscheidend ist und warum technische Sicherheitsmassnahmen allein nicht ausreichen.

Die wichtigsten Risiken von Shadow AI

Die Nutzung künstlicher Intelligenz bringt neue Herausforderungen für die Informationssicherheit mit sich. Im Webinar werden insbesondere Risiken behandelt, die beim Einsatz generativer KI und grosser Sprachmodelle, sogenannter Large Language Models (LLMs), entstehen.

Drei Erkenntnisse sind dabei besonders relevant.

Key Takeaway 1: Vertrauliche Informationen können unbeabsichtigt offengelegt werden.

Werden sensible Daten in externe KI-Anwendungen eingegeben, können diese die vorgesehenen Sicherheitsgrenzen des Unternehmens verlassen. Je nach Anbieter, Konfiguration und Verwendungszweck entstehen unterschiedliche Risiken für Vertraulichkeit und Datenschutz.

Besonders kritisch ist das bei internen Dokumenten, personenbezogenen Informationen oder geschäftskritischen Inhalten. Unternehmen benötigen daher klare Regeln, welche Informationen mit welchen KI-Systemen verarbeitet werden dürfen.

Key Takeaway 2: KI-Systeme lassen sich durch manipulierte Eingaben beeinflussen.

Ein weiteres Thema ist die sogenannte Prompt Injection. Dabei versuchen Angreifer*innen, das Verhalten eines KI-Systems durch gezielt formulierte Anweisungen zu verändern.

Besonders relevant sind indirekte Angriffe: Manipulierte Anweisungen können beispielsweise in Dokumenten oder anderen Inhalten versteckt sein, die eine KI verarbeitet. Dadurch besteht das Risiko, dass ein System unerwünschte Aktionen ausführt oder Informationen preisgibt.

Key Takeaway 3: Auch KI-Modelle und ihre Herkunft müssen überprüft werden.

Nicht nur die Eingaben in ein KI-System können problematisch sein. Auch Trainingsdaten, Modellanpassungen und externe Komponenten können Sicherheitsrisiken verursachen.

Unternehmen sollten deshalb berücksichtigen, woher eingesetzte KI-Modelle stammen, welche Änderungen vorgenommen wurden und wie sich ihre Integrität überprüfen lässt.

„Wir haben das Zeug ja gebaut, damit es uns hilft. Es kann zwar enorm gefährlich werden, selbst wenn es einfach das tut, was wir wollen.“

Dr. Stefan Schiebeck | Cybersecurity-Experte

Diese Beispiele zeigen: KI-Sicherheit muss über den Schutz einzelner Anwendungen hinausgehen und den gesamten Einsatz der Technologie berücksichtigen.

Was zeigt das Webinar über KI-Angriffe?

Wie können scheinbar harmlose Dokumente zum Sicherheitsproblem werden? Und weshalb lassen sich KI-Systeme nicht immer zuverlässig durch einfache Filter schützen?

Im Webinar beleuchtet Dr. Stefan Schiebeck unterschiedliche Angriffstechniken und erklärt, warum sich die Absicherung von KI-Anwendungen teilweise deutlich von klassischen IT-Sicherheitsmassnahmen unterscheidet.

Ein anschauliches Beispiel ist die indirekte Prompt Injection. Dabei kann ein präpariertes Dokument zusätzliche Anweisungen enthalten, die nicht von den eigentlichen Anwender*innen stammen. Wird dieses Dokument von einem KI-System verarbeitet, können die versteckten Anweisungen unter bestimmten Voraussetzungen dessen Verhalten beeinflussen.

Auch sogenannte Jailbreaks werden thematisiert. Darunter versteht man Versuche, die vorgesehenen Beschränkungen eines KI-Modells durch entsprechend gestaltete Eingaben zu umgehen.

Diese Angriffsmöglichkeiten verdeutlichen eine grundlegende Herausforderung: KI-Systeme müssen nicht nur gegen klassische technische Schwachstellen geschützt werden. Auch die Verarbeitung von Sprache, Dokumenten und anderen externen Inhalten schafft zusätzliche Angriffsflächen.

Im Webinar erfahren Sie unter anderem, wie solche Angriffe grundsätzlich funktionieren, weshalb die Offenlegung sensibler Informationen ein wesentliches Risiko darstellt und welche Rolle Sicherheitsprüfungen beim Einsatz von KI spielen.

Die Beispiele helfen insbesondere IT- und Security-Verantwortlichen, mögliche Schwachstellen im eigenen Unternehmen besser einzuordnen.

KI-Sicherheit beginnt mit klaren Verantwortlichkeiten

Wie können Unternehmen die Vorteile künstlicher Intelligenz nutzen, ohne dabei unnötige Sicherheitsrisiken einzugehen?

Ein wichtiger Ansatz ist eine strukturierte KI-Governance. Sie definiert Verantwortlichkeiten, Richtlinien und Prozesse für den sicheren und nachvollziehbaren Einsatz künstlicher Intelligenz.

Dabei geht es nicht ausschliesslich darum, bestimmte Anwendungen zu erlauben oder zu verbieten. Vielmehr müssen Unternehmen beurteilen können, welche Risiken mit konkreten KI-Anwendungsfällen verbunden sind und welche Massnahmen zu deren Begrenzung erforderlich sind.

Im Webinar verweist Dr. Stefan Schiebeck unter anderem auf die internationale Norm ISO/IEC 42001. Sie beschreibt Anforderungen an ein Managementsystem für künstliche Intelligenz und bietet einen strukturierten Rahmen für den verantwortungsvollen Umgang mit KI.

Zu den relevanten Themen gehören Risikobewertungen, interne Verantwortlichkeiten, der Umgang mit Daten, die Überwachung eingesetzter Systeme und die kontinuierliche Verbesserung bestehender Prozesse.

Auch die Sensibilisierung von Mitarbeiter*innen spielt eine wichtige Rolle. Wer KI-Anwendungen nutzt, sollte deren Möglichkeiten und Grenzen kennen. Dazu gehört insbesondere das Verständnis dafür, welche Informationen verarbeitet werden dürfen und warum KI-generierte Ergebnisse kritisch geprüft werden müssen.

Ein risikobasierter Ansatz hilft Unternehmen, die Nutzung künstlicher Intelligenz gezielt zu steuern, statt ausschliesslich auf einzelne Sicherheitsvorfälle zu reagieren.