The European Board Examination in Otorhinolaryngology as a high-quality test instrument: psychometric measures in a long-term comparison. German version

TL;DR

The EBEORL-HNS medical exam is shown to be a stable and high-quality test for ENT specialists across Europe.

Contribution

Long-term psychometric analysis of the EBEORL-HNS exam reveals its consistent quality and transparency compared to national exams.

Findings

The written exam has a moderate difficulty (67% correct answers) and high reliability (Cronbach's α of 0.83).

Pass rates for the written exam averaged 82%, with a mean passing score of 59 points.

Oral exam pass rates averaged 74%, with scores around 3.0 on a four-point scale.

Abstract

Die European Board Examination in Otorhinolaryngology – Head and Neck Surgery (EBEORL-HNS) stellt eine europaweit durchgeführte Facharztprüfung dar. Sie umfasst einen schriftlichen Multiple-Choice-Test und eine standardisierte mündliche Prüfung. Bisher liegen nur wenige Analysen zur psychometrischen Qualität dieser Prüfung vor.

Ziel war es, die Prüfungsdaten der letzten Jahre auszuwerten und die Prüfungsformate im Hinblick auf Schwierigkeit, Reliabilität und Bestehensquoten zu bewerten.

Analysiert wurden aggregierte Jahreswerte (2013–2024) für Schwierigkeit, Trennschärfe, Cronbach‑α und Angoff-Grenzen, auch Mittelwert und Standardabweichung wurden berechnet. Schriftlicher und mündlicher Teil wurden getrennt und vergleichend ausgewertet.

Die schriftliche Prüfung wies eine mittlere Schwierigkeit (Anteil korrekt beantworteter Items) von 67 % auf, das Cronbach‑α lag bei 0,83 (interne Konsistenz), und die Bestehensquote betrug im Mittel 82 %. Die Bestehensgrenze (per Angoff-Verfahren) lag im Mittel bei 59 Punkten. Die mündliche Prüfung zeigte eine mittlere Schwierigkeit von 70 %, eine Bestehensquote von 74 % und Mittelwerte von rund 3,0 Punkten auf einer vierstufigen Skala. Unterschiede zwischen den Jahren spiegelten v. a. die Zusammensetzung der internationalen Kandidatenkohorten wider.

Die Daten zeigen, dass die EBEORL-HNS stabile Qualitätsmerkmale aufweist und im Vergleich zu nationalen Facharztprüfungen durch hohe Transparenz und definierte Qualitätskriterien hervorsticht. Unterschiede in den Bestehensquoten sind weniger Ausdruck von Defiziten des Prüfungsinstruments als Folge der heterogenen Zusammensetzung der Kandidatengruppen.

Figures