Participatory approaches in the development of AI applications in medicine: opportunities and challenges

TL;DR

This paper explores how involving patients and healthcare professionals in AI development can improve fairness and acceptance of medical AI systems.

Contribution

The paper introduces a framework for participatory AI development in medicine, highlighting both opportunities and challenges.

Findings

Participatory approaches can align AI innovations with real-world healthcare needs and promote social justice.

Examples like KIPA and KIDELIR demonstrate the benefits of involving stakeholders in AI design.

Challenges include limited resources, lack of representation, and hidden workloads for participants.

Abstract

Die zunehmende Integration von künstlicher Intelligenz (KI) im Gesundheitswesen birgt neben Potenzialen für Effizienzsteigerungen, personalisierte Medizin und evidenzbasierte Entscheidungen auch ethische und soziale Herausforderungen, etwa in Bezug auf Bias, mangelnde Transparenz und Akzeptanz. Partizipative Ansätze, die Patient:innen, Ärzt:innen, Pflegefachkräfte und weitere Stakeholder:innen aktiv in den Entwicklungsprozess einbeziehen, ermöglichen es, technologische Innovationen an den tatsächlichen Bedürfnissen auszurichten und sozial gerecht zu gestalten.

In der Analyse werden Partizipation als aktive Mitgestaltung und Teilhabe als Zugang zu gesellschaftlichen Ressourcen voneinander abgegrenzt. Theoretische Modelle wie die „Ladder of Participation“ (Arnstein) veranschaulichen die unterschiedlichen Grade der Einbindung. Zudem werden methodische Ansätze wie Aktionsforschung, Community-based Participatory Research, Ethics-by-Design und Value-Sensitive-Design diskutiert, die eine frühzeitige ethische Reflexion und kontinuierliches Nutzerfeedback fördern.

Anhand von Praxisbeispielen wie KIPA (KI-gestützte Patientenaufklärung), KIDELIR (Delirprävention in der Pflege) und PRIVETDIS (Neurotechnologien und mentale Privatheit) wird gezeigt, dass partizipative Forschung zur Optimierung von Versorgungskonzepten beitragen kann. Neben Chancen wie erhöhter Akzeptanz und bedarfsgerechter Technologiegestaltung werden Herausforderungen identifiziert, darunter begrenzte Ressourcen, mangelnde Repräsentativität und unsichtbare Mehrbelastungen. Abschließend wird betont, dass neben technischen und regulatorischen Maßnahmen eine kontinuierliche ethische Reflexion sowie transparente Kommunikation unerlässlich sind, um vertrauenswürdige und effektive KI-Systeme im Gesundheitswesen zu realisieren.