# Competence-oriented assessment: the structured oral examination

## TL;DR

Structured oral exams effectively assess medical students' ability to perform and explain procedures, bridging the gap between written and practical assessments.

## Contribution

The study demonstrates the feasibility and reliability of structured oral exams for competence-based assessment in medical education.

## Key findings

- Structured oral exams showed high reliability for RTA and RMM assessments.
- Significant rater differences were found in RTA but not in RMM.
- The method supports competence-based evaluation in medical training.

## Abstract

Strukturierte mündliche Prüfungen (SMP) sind ein valides Instrument zur Abbildung von Handlungs- und Begründungswissen (Stufe 2). Sie schließen die Lücke zwischen schriftlichen Formaten (Faktenwissen, Stufe 1) und praktischen Formaten wie „objective structured clinical evaluation“ (OSCE; Handlungskompetenz, ab Stufe 3). Durch standardisierte Fallvignetten, Checklisten und definierte Bewertungsmaßstäbe bieten SMP Potenzial für Objektivität, Reliabilität und Vergleichbarkeit.

Am Beispiel der Reintonaudiometrie (RTA) und Rhinomanometrie (RMM) wurden Durchführbarkeit, Bewertungsgüte (interne Konsistenz, Trennschärfen, Faktorenanalyse) und Prüfer:inneneffekte einer SMP gemäß Kompetenzstufe 2 des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) untersucht.

Im curricularen Unterricht wurden RTA (n = 217) und RMM (n = 190) vermittelt und anschließend in einer SMP geprüft. Bewertet wurden 5 Kategorien (Benennung, Durchführung, Beschreibung, Interpretation, Differenzialdiagnose; maximal 27 Punkte) mit Abzügen bei Hilfestellungen. Acht ärztliche Prüfer:innen führten die Prüfungen im 1:1-Setting durch. Neben deskriptiver Statistik erfolgte eine einfaktorielle ANOVA („analysis of variance“) zur Analyse von Prüferunterschieden.

Die mittlere Gesamtpunktzahl betrug 25,20 ± 1,94 (RTA) bzw. 24,84 ± 1,94 (RMM). Höchste Werte zeigten Benennung und Durchführung, niedrigste Werte fanden sich für Beschreibung (RTA) bzw. Interpretation (RMM). Für die RTA ergaben sich signifikante Prüferunterschiede (p = 0,001), für die RMM keine (p = 0,078).

Die SMP erwies sich als praktikables und reliables Format zur Abbildung von Handlungs- und Begründungswissen. Der Nachweis einzelner Prüferunterschiede verdeutlicht die Notwendigkeit von Prüfer:innenschulungen, Kalibrierung und standardisierten Instrumenten. Damit kann die SMP wesentlich zur Umsetzung kompetenzorientierter Prüfungen im Medizinstudium beitragen.