# Artificial intelligence under scrutiny: requirements, quality criteria, and testing tools for medical applications

## TL;DR

This paper discusses requirements and tools for ensuring the quality and safety of artificial intelligence in medical applications.

## Contribution

The paper introduces quality criteria and testing tools for medical AI, emphasizing explainability and standardization.

## Key findings

- Regulatory and clinical requirements are central to medical AI quality criteria.
- Explainability is highlighted as a key quality criterion for trustworthy AI systems.
- A testing framework is proposed to evaluate and standardize medical AI applications.

## Abstract

Der Einsatz von künstlicher Intelligenz (KI) in der Medizin bietet großes Potenzial zur Steigerung von Qualität und Effizienz. Gleichzeitig sind mit ihrer Anwendung Risiken verbunden. Um potenzielle Schäden zu vermeiden, entwickeln Expert:innen aus Forschung und Politik Anforderungskriterien, Prüfwerkzeuge und Richtlinien zur Identifikation und Kontrolle dieser Risiken. Im Mittelpunkt stehen dabei regulatorische und klinische Anforderungen an KI sowie Anforderungen aus Sicht der Nutzer:innen. Diese unterschiedlichen Perspektiven sind bei der Entwicklung von Qualitätskriterien und Prüfwerkzeugen zu berücksichtigen.

In diesem Artikel werden zunächst die Anforderungen an künstliche Intelligenz (KI) in der Medizin erläutert. Anschließend wird dargestellt, wie sich aus diesen Anforderungskriterien konkrete Qualitätskriterien und Prüfwerkzeuge ableiten lassen. Am Beispiel der „Erklärbarkeit“ wird ein zentrales Qualitätskriterium vertiefend behandelt. Zudem wird ein Prüfschema für den Einsatz von KI in der Medizin vorgestellt. Abschließend erfolgt ein Ausblick auf die Standardisierung von Qualitätskriterien.

Die Entwicklung von KI, insbesondere im medizinischen Bereich, schreitet rasant voran. Geeignete Prüfverfahren können dazu beitragen, Risiken zu minimieren und das Vertrauen in die Technologie zu stärken. Für eine erfolgreiche Umsetzung von Prüfverfahren in der Praxis sind jedoch kontinuierliche Forschungsanstrengungen erforderlich.