EU AI Act & Embedded AI
Warum viele industrielle KI-Systeme automatisch Hochrisiko sind.
INSIGHTS
Künstliche Intelligenz ist längst in der industriellen Praxis angekommen.
Besonders Embedded AI – also KI direkt auf Geräten, Maschinen oder Edge-Systemen – eröffnet enorme Möglichkeiten: von optischer Qualitätskontrolle über Fahrerassistenz bis hin zu intelligenten Diagnosesystemen.
Doch mit der steigenden Verbreitung wächst auch die Verantwortung. Denn sobald KI nicht nur Daten analysiert, sondern reale Prozesse beeinflusst, wird sie sicherheitskritisch.
Genau hier setzt der EU AI Act an.
KI ist nicht deterministisch.
Klassische Software-Systeme lassen sich meist klar beschreiben:
Wenn A passiert, folgt B. Entscheidungen sind nachvollziehbar, deterministisch und gut testbar. KI-Systeme funktionieren anders:
Ein trainiertes Modell trifft Entscheidungen auf Basis von Wahrscheinlichkeiten und Mustern – nicht auf Basis fixer Regeln. Dadurch wird es deutlich schwieriger, das Verhalten eines Systems vollständig vorherzusagen oder zu zertifizieren.
Bisherigen Methoden zur Bewertung und Zulassung stoßen hier an Grenzen.
Der EU AI Act: Ein Framework für vertrauenswürdige KI.
Der EU AI Act ist in vielerlei Hinsicht vergleichbar mit bestehenden Richtlinien wie der CE-Konformität oder der Maschinenrichtlinie. Er ist kein völlig neues Konzept, sondern eine Standardisierung von Anforderungen – erstmals speziell für KI-Systeme.
Zentral ist dabei ein risikobasierter Ansatz:
Nicht jede KI ist automatisch gefährlich, aber bestimmte Anwendungen bergen höhere Risiken als andere.
Die Risikopyramide: Von geringem Risiko bis verboten.
Der EU AI Act unterscheidet KI-Systeme in verschiedene Risikoklassen:
🟢 Geringes Risiko
Anwendungen ohne relevante Auswirkungen auf Sicherheit oder Rechte, z. B. KI-Spamfilter, Rechtschreibprüfung, Empfehlungen.
🟠 Begrenztes Risiko
Systeme, die mit Menschen interagieren, aber keine kritischen bzw. sicherheitsrelevanten Entscheidungen treffen, wie z.B. Chatbots, KI-Texterstellung.
🔴 Hohes Risiko
Hier befinden sich viele Embedded-AI-Anwendungen – insbesondere dann, wenn Fehlentscheidungen Menschen gefährden können, etwa in:
-
Automotive und Fahrerassistenz
-
Medizintechnik
-
Industrieautomation
-
Produktionsüberwachung
❌ Unannehmbares Risiko (verboten)
Bestimmte Anwendungen sind untersagt, z. B.:
-
Sozialbewertung (Social Scoring)
-
Biometrische Gesichtserkennung im öffentlichen Raum
- Manipulative KI
Wann gilt ein System als Hochrisiko?
Eine einfache Faustregel lautet:
Sobald ein KI-System die Sicherheit oder Gesundheit von Menschen beeinflussen kann, ist Hochrisiko sehr wahrscheinlich.
Besonders kritisch sind:
-
automatisierte Entscheidungen (z. B. Spurwechsel, Diagnosen)
-
Systeme ohne menschliche Übersteuerung (z. B. "Not-Aus")
-
adaptive KI, die sich im Betrieb weiterentwickelt (Retraining on the Edge)
Je weniger menschlicher Eingriff möglich ist, desto höher wird das Risiko bewertet.
Die Kernanforderungen für Hochrisiko-KI
Der EU AI Act fordert nicht nur ein einmaliges Audit, sondern einen strukturierten Prozess über den gesamten Lebenszyklus.
Drei Themen stehen dabei besonders im Fokus:
Risikomanagement als kontinuierlicher Prozess.
Risiken müssen nicht nur vorab identifiziert werden, sondern laufend bewertet werden.
Beispiel:
Ein Assistenzsystem erkennt ein Hindernis bei Gegenlicht nicht korrekt.
Solche Szenarien müssen durch Redundanzen, Tests und Monitoring mitigiert werden.
Datenqualität als Herausforderung.
In vielen Projekten zeigt sich: Nicht das Modell ist der Engpass, sondern die Datenbasis.
Der EU AI Act verlangt daher:
-
vollständiges Verständnis der Daten
-
Repräsentativität für den Einsatzbereich
-
Dokumentation von Datenquellen und Grenzen
Nachvollziehbarkeit statt Black Box.
KI-Modelle müssen wie klassische Software stressgetestet, dokumentiert und erklärbar gemacht werden.
Unternehmen müssen verstehen:
-
warum ein Modell entscheidet
-
welche Eingaben zu welchen Outputs führen
-
wie robust das System gegenüber unbekannten Daten ist
Cybersecurity wird Pflicht!
Ein oft unterschätzter Punkt: KI-Systeme müssen nicht nur korrekt, sondern auch sicher sein.
Manipulation, unautorisierte Updates oder unsichere Modellverteilung können gravierende Folgen haben.
Der EU AI Act und verwandte Regelwerke verlangen künftig u. a.:
-
Secure Boot
-
sichere Update-Prozesse
-
signierte Modelle
-
Hardware-Verschlüsselung
Fazit: Der EU AI Act ist kein Hindernis, sondern eine Chance.
Der EU AI Act ist weniger etwas, wovor man sich fürchten muss. Er formalisiert viele Prinzipien, die in sicherheitskritischen Systemen bereits bekannt sind und überträgt sie systematisch auf KI. Für Unternehmen bedeutet das:
Risiken richtig einordnen.
Früh verstehen, ob eine Anwendung in den Hochrisiko-Bereich fällt und welche regulatorischen Anforderungen daraus entstehen.
KI-Systeme nachvollziehbar entwickeln.
Modelle dürfen keine Black Box bleiben. Entscheidungen, Systemgrenzen und Verantwortlichkeiten müssen dokumentiert und erklärbar sein.
Datenqualität & Security früh mitdenken.
Robuste KI entsteht nur auf einer belastbaren Datenbasis und muss gleichzeitig gegen Manipulation, unsichere Updates und neue Bedrohungen abgesichert werden.
Gerade in Embedded AI wird das zur Grundlage für sichere, robuste und langfristig zulassungsfähige Anwendungen.
Sie möchten wissen,
wie Ihr Embedded-AI-System einzuordnen ist?
Danube Dynamics unterstützt Unternehmen bei der Entwicklung industrieller Embedded-AI-Lösungen – von Edge Engineering über Qualitätskontrolle bis hin zu sicheren Deployment- und Monitoring-Konzepten.