KI im Unternehmen einführen: Was Unternehmen vor der Freigabe prüfen sollten

Dies ist der erste Beitrag einer zweiteiligen Serie zum Thema, was zu beachten ist bei der Einführung neuer oder veränderter Künstlicher Intelligenz (KI)-Systeme und deren Nutzung im Unternehmen. Dieser Beitrag konzentriert sich auf die Anforderungen für die Einführung neuer oder veränderter KI-Systeme. Im zweiten Teil werden wir darstellen, was bei der Nutzung von KI im Arbeitsalltag zu beachten ist. Mit den Anforderungen rund um KI haben wir uns in unserem Blog bereits mehrfach beschäftigt. Dort finden Sie unter anderem Beiträge zur KI-Kompetenz und zu verbotenen Praktiken, zu Bußgeldern der KI-Verordnung sowie zur Frage, wann beim Einsatz von KI eine Datenschutz-Folgenabschätzung erforderlich sein kann.

KI ist ein schnell wachsender Markt

KI ist heute einer der am schnellsten wachsenden Technologiemärkte weltweit. Neue Anbieter, Modelle und Anwendungen tauchen in rasantem Tempo auf. Was heute noch als Innovation gilt, kann schon innerhalb weniger Monate zum Standard werden.

Von der Textgenerierung und -übersetzung bis hin zur Datenanalyse und Prozessautomatisierung versprechen KI-Systeme erhebliche Effizienzsteigerungen. Gleichzeitig sind die Einführung oder wesentliche Änderung dieser Systeme mit zahlreichen rechtlichen, organisatorischen und technischen Anforderungen verbunden. Deshalb stehen Unternehmen vor der Herausforderung, die Chancen dieser Entwicklung zu nutzen, ohne dabei die Anforderungen in Bezug auf Datenschutz und Sicherheit aus den Augen zu verlieren.

Wenn Sie ein neues KI-System einführen oder ein bestehendes System anpassen möchten, sollten Sie nicht nur die technischen Möglichkeiten und Einsatzszenarien berücksichtigen. Wir empfehlen, von Anfang an auch die gesetzlichen Vorgaben, den Datenschutz, die Informationssicherheit und die Anforderungen der KI-Verordnung zu prüfen. So erkennen Sie frühzeitig, welche Aspekte für den konkreten Einsatz relevant sind.

Was ist was

Die Begriffe werden derzeit teilweise noch vermischt. Wir erklären kurz und einfach, was was ist:

• KI-Modell: Die technische Grundlage einer KI. Es verarbeitet Eingaben und erzeugt Ausgaben.
• KI-System: Die fertige Lösung, die ein oder mehrere KI-Modelle nutzt und für Anwender*innen nutzbar macht.
• KI-Anwendung: Der konkrete Einsatzzweck eines KI-Systems, zum Beispiel die Erstellung von Texten oder die Analyse von Dokumenten.

Oder noch einfacher:

Ein KI-Modell ist das „Gehirn“ der KI. Ein KI-System ist das fertige Produkt, das dieses Gehirn nutzt. Die KI-Anwendung ist der konkrete Einsatz im Arbeitsalltag, zum Beispiel für die Erstellung von Texten, Übersetzungen oder Dokumentenzusammenfassungen.

Der Verwendungszweck ist entscheidend

Wir empfehlen Ihnen, bereits vor der Implementierung festzulegen, für welche Aufgaben Sie die KI einsetzen möchten, und welche Daten dabei verarbeitet werden sollen.

Anwendungen, die Auswirkungen auf Beschäftigte, Einstellungsverfahren, Kunden oder andere betroffene Personen haben können, erfordern besondere Aufmerksamkeit. Je nach Anwendungsbereich können zusätzliche gesetzliche Anforderungen entstehen oder der Einsatz sogar unzulässig sein.

Prüfen Sie auch Änderungen an bestehenden Systemen sorgfältig. Wenn Sie den Einsatzzweck erweitern, neue Daten verarbeiten oder der KI zusätzliche Funktionen hinzufügen, sollten Sie eine erneute Bewertung durchführen.

Welche Rolle Ihr Unternehmen hat

Analysieren Sie deshalb frühzeitig, welche Rolle Ihr Unternehmen im Zusammenhang mit dem jeweiligen KI-System einnimmt.

In dieser Hinsicht kann es beispielsweise Unterschiede geben, je nachdem, ob ein Unternehmen:

• ein KI-System selbst entwickelt,
• ein externes KI-System nutzt,
• ein KI-System an seine eigenen Bedürfnisse anpasst oder anpassen lässt,
• ein System anderen Unternehmen oder Einzelpersonen zur Verfügung stellt oder
• KI-Ergebnisse in seine eigenen Entscheidungen und Prozesse integriert.

Diese Rolle kann Einfluss auf die rechtlichen und organisatorischen Anforderungen haben, die zu berücksichtigen sind.

Wir betrachten in diesem Beitrag die Einführung von KI aus Sicht des sogenannten „Betreibers“. Ein Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet. Davon ausgenommen ist die Nutzung im privaten und nicht beruflichen Bereich.

Die Risikokategorie des KI-Systems

Die KI-Verordnung unterscheidet zwischen verschiedenen Risikoklassen. Die zusätzlichen Pflichten eines Unternehmens hängen von dieser Einstufung ab.

Prüfen Sie insbesondere,

• ob der Einsatz eine gesetzlich verbotene KI-Praxis darstellt,
• ob es sich um ein Hochrisiko-KI-System handelt,
• ob, beziehungsweise welche Transparenz- oder Kennzeichnungspflichten bestehen,
• welche weiteren regulatorischen Anforderungen gelten.

Führen Sie diese Bewertung möglichst frühzeitig und vor einem Kauf oder Vertragsabschluss durch.

Datenschutz von Anfang an berücksichtigen

KI-Systeme können auch personenbezogene Daten verarbeiten. Daraus ergeben sich zusätzliche Anforderungen. Je nach konkretem Anwendungsfall müssen Sie daher insbesondere folgende Punkte berücksichtigen:

• Rechtmäßigkeit der Verarbeitung personenbezogener Daten
• ob ein Auftragsverarbeitungsvertrag erforderlich ist inklusive der Frage, ob die Nutzung der verarbeiteten Daten durch den Anbieter zu KI-Trainingszwecken ausgeschlossen ist
• Erstellung oder Anpassung von Datenschutzhinweisen gemäß 13 und/oder 14 DSGVO
• Aktualisierung des Verzeichnisses von Verarbeitungstätigkeiten
• Durchführung einer Schwellwertanalyse und einer gegebenenfalls daran angeschlossenen Datenschutz-Folgenabschätzung, siehe hierzu auch unseren Artikel Wann ist eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen?
• Umgang mit den Rechten der betroffenen Personen gemäß der 12 bis 22 DSGVO
• Datenminimierung

Gerade bei neuen oder komplexen KI-Systemen kommt es häufig vor, dass Datenschutzthematiken erst in einer sehr späten Phase erkannt werden. Dies kann zu Verzögerungen oder zu einer zeitaufwändigen Überarbeitung führen. Dabei ist nicht nur die unmittelbare Nutzung des KI-Systems relevant. Auch vor- und nachgelagerte Prozesse können datenschutzrechtliche Fragen aufwerfen.

KI-Anbieter prüfen

Beim Einsatz von KI-Systemen spielen die Anbieter dieser Systeme ebenfalls eine wichtige Rolle. Wie auch bei anderen Systemeinführungen ist auf die Auswahl des Anbieters ein besonderes Augenmerk zu legen. Je nach Anbieter können sich die Systeme, deren Sicherheitsmaßnahmen und Nutzungsbedingungen deutlich unterscheiden.

Prüfen Sie deshalb vor der Einführung sorgfältig, wer hinter dem Angebot steht, welche Modelle der Anbieter einsetzt und welche Daten wie verarbeitet werden. Ferner lässt die Transparenz des Anbieters Rückschlüsse auf die Vertrauenswürdigkeit zu. Achten Sie hierfür darauf, ob ausreichende Informationen zu Datenschutz, Informationssicherheit und rechtlichen Rahmenbedingungen zur Verfügung gestellt werden.

Die sorgfältige Prüfung der Anbieter hilft, Risiken frühzeitig zu erkennen und einen sicheren sowie rechtskonformen Einsatz von KI zu unterstützen.

Verträge im Zusammenhang mit Auftragsverarbeitung prüfen

Viele KI-Lösungen werden von Drittanbietern als Cloud-Dienste bereitgestellt. In solchen Fällen werden personenbezogene Daten in der Regel im Auftrag des Unternehmens verarbeitet. Wie komplex die Anforderungen an die Prüfung und Kontrolle von Auftragsverarbeitern und die zu schließenden Verträge sind, haben wir in diversen Beiträgen bereits dargestellt (siehe dazu auch Auftragsverarbeitungsverträge – Kontrollpflichten von Verantwortlichen bei der Auftragsverarbeitung, Kontrollpflichten bei (Ketten)-Auftragsverarbeitung und Fehlender Auftragsverarbeitungsvertrag begründet Schadenersatzanspruch.

Besondere Aufmerksamkeit muss in diesem Zusammenhang der Frage gewidmet werden, ob der Anbieter die bereitgestellten Daten für eigene Zwecke nutzt. Dies kann beispielsweise der Fall sein, wenn die Daten zur Verbesserung oder zum Training von allgemeinen KI-Modellen verwendet werden. Prüfen Sie daher, welche vertraglichen Bestimmungen gelten und ob Sie die entsprechende Nutzung der Daten ausschließen können. Wenn diese Möglichkeit besteht, sollten Sie die Nutzung der Daten für eigene Zwecke vertraglich ausschließen.

Prüfen Sie außerdem, ob der Anbieter weitere Dienstleister oder Unterauftragsverarbeiter einbezieht und welche Datenverarbeitungsvorgänge diese übernehmen.

Drittlandübermittlungen bei KI

Prüfen Sie darüber hinaus besonders sorgfältig, ob personenbezogene Daten in Drittländer übermittelt werden. Viele KI-Anbieter haben ihren Sitz außerhalb der EU/EWR oder nutzen technische Infrastruktur in Drittländern. Eine Übermittlung in ein Drittland kann bereits dann vorliegen, wenn personenbezogene Daten auf Servern außerhalb des EWR verarbeitet oder auch nur gespeichert werden.

Prüfen Sie daher vor der Einführung eines KI-Systems insbesondere:

• in welchen Ländern personenbezogene Daten verarbeitet werden,
• mit welchen Garantien ( 44 ff. DSGVO) diese Übermittlung in ein Drittland abgesichert wird, also ob Angemessenheitsbeschlüsse oder Standardvertragsklauseln vorliegen oder ob zusätzliche Garantien erforderlich sind,
• ob ein Transfer Impact Assessment (TIA) durchgeführt werden muss (siehe dazu auch unseren Blog-Beitrag Sind Drittstaatenübermittlungen aktuell überhaupt rechtssicher möglich?

Das Fehlen von Regeln zur Auftragsverarbeitung und zur Datenübermittlung in Drittländer oder eine unzureichende Überprüfung solcher Regeln gehören zu den häufigsten Schwachstellen bei der Implementierung von KI-Systemen. Daher sollte vor Vertragsabschluss eine gründliche Prüfung durchgeführt werden und nicht erst während des Betriebs des Systems.

Datenquellen, Konnektoren und Erweiterungen dürfen nicht vergessen werden

Viele moderne KI-Systeme arbeiten nicht isoliert. Sie greifen auf Dokumente, E-Mails, Wissensdatenbanken oder externe Systeme zu.

Bewerten Sie daher nicht nur die KI selbst. Prüfen Sie auch,

• welche Datenquellen angebunden sind,
• welche Konnektoren verwendet werden,
• welche Erweiterungen und Agenten integriert sind,
• und welche Zugriffsrechte bestehen.

Häufig gehen die Risiken nicht vom KI-System selbst aus, sondern von dessen Verbindung zu vertraulichen Unternehmensdaten.

Transparenz- und Kennzeichnungsanforderungen

Prüfen Sie je nach konkretem Anwendungsfall, ob Sie den Einsatz von KI offenlegen oder KI-generierte Inhalte entsprechend kennzeichnen müssen.

Dies gilt insbesondere für bestimmte Arten von Chatbots, automatisierte Interaktionen und bestimmte KI-generierte Inhalte. Berücksichtigen Sie diese Anforderungen bereits in der Planungsphase.

KI-Kompetenz als Pflichtaufgabe

Der rechtskonforme Einsatz von KI setzt voraus, dass die beteiligten Personen über ausreichende KI-Kompetenz verfügen. Dies betrifft nicht nur die späteren Nutzer*innen, sondern auch diejenigen, die über die Einführung, Auswahl oder Freigabe von KI-Systemen entscheiden. Insbesondere auf Entscheidungsebene ist ein Verständnis der Funktionsweise und Grenzen der eingesetzten KI-Systeme erforderlich. Berücksichtigen Sie darüber hinaus die Risikoeinstufung nach der KI-Verordnung, Transparenzpflichten, Datenschutz, Informationssicherheit, den Schutz von Geschäftsgeheimnissen sowie die unternehmensinternen Freigabe- und Kontrollprozesse.

Fazit

Die Einführung eines KI-Systems ist weit mehr als die bloße Auswahl eines neuen Tools. Unternehmen müssen zahlreiche rechtliche, organisatorische und technische Aspekte berücksichtigen. Dazu gehören insbesondere die Risikoklassifizierung, datenschutzrechtliche Anforderungen, die Überprüfung von Verträgen, Transparenzpflichten, die Dokumentation sowie die erforderlichen KI-Kompetenzen.

Wer sich frühzeitig mit diesen Fragen auseinandersetzt, legt den Grundstein für einen nachhaltigen, sicheren und vorschriftsmäßigen Einsatz von KI. Etablieren Sie die Rolle der Entscheider*innen im Unternehmen für diese komplexen Prüfungen. So stellen Sie sicher, dass nicht jede*r potenzielle Nutzer*in diese Prüfungen selbst durchführen muss. Vermitteln Sie diesen Entscheider*innen die erweiterten Kenntnisse, die sie für die Auswahl der Systeme benötigen. Maßgeblich unterstützen kann dabei eine Richtlinie für Entscheider*innen, die konkrete Anleitungen enthält.

Sollten Sie bei der Einführung von KI-Systemen oder der Etablierung von Richtlinien hierfür Unterstützung benötigen, melden Sie sich gerne bei uns.