# Comparison of Different Methods of Data Collection for Assessing Competencies in the Field of Scientific Measurement in Hands-on Competence Tests

## TL;DR

This study compares different methods for assessing scientific measurement skills in students to determine which methods are most accurate and efficient.

## Contribution

The study provides the first systematic comparison of data collection methods for measuring scientific competencies.

## Key findings

- Adding interviews improves the accuracy of measuring students' scientific competencies.
- Video recordings during experiments do not significantly increase accuracy, especially when interviews are already used.
- Student protocols alone are a cost-effective but less accurate method for competency assessment.

## Abstract

Der Aufbau experimenteller Kompetenzen ist ein wesentliches Ziel naturwissenschaftlicher Bildung, womit auch deren Diagnose in den Fokus rückt. Allgemein werden Tests mit Realexperimenten als genauste Möglichkeit zur Erfassung experimenteller Kompetenzen betrachtet. Dabei können die Kompetenzen anhand verschiedener Erhebungsmethoden, z. B. Schüler*innen-Protokolle, Videoaufnahmen während der Durchführung oder Interviews über die Experimente, erfasst werden. Bislang gibt es keine Studien, die diese Erhebungsmethoden systematisch vergleichen und somit Rückschlüsse darauf ermöglichen, inwiefern die genutzte Methode die Genauigkeit des Ergebnisses der Kompetenzerfassung beeinflusst. Solche Erkenntnisse sind jedoch zentral, um je nach Kontext und Ziel der Erfassung der Kompetenzen fundiert entscheiden zu können, welche Erhebungsmethode hinreichend genau und dennoch möglichst ökonomisch ist. Dieses Desiderat greift die vorliegende Studie auf und nimmt dabei exemplarisch Kompetenzen des naturwissenschaftlichen Messens von Schüler*innen der Sekundarstufe I in den Blick: Ausgehend von Schüler*innen-Protokollen als ökonomische Möglichkeit zur Kompetenzerfassung wurde untersucht, inwiefern durch die Hinzunahme weiterer Erhebungsmethoden die Genauigkeit des Ergebnisses der Kompetenzerfassung erhöht wird. Hierfür wurden die Ergebnisse der Kompetenzerfassung anhand von Schüler*innen-Protokollen, Schüler*innen-Protokollen und Videos, Schüler*innen-Protokollen und Interviews sowie einer Kombination aller drei Methoden bei 108 Aufgaben mit Realexperimenten zum Messen verglichen. Die Ergebnisse zeigen, dass durch zusätzliche Interviews die Messkompetenzen genauer erfasst werden können als ohne Interviews. Des Weiteren deuten die Ergebnisse darauf hin, dass zusätzliche Videoaufnahmen während der Durchführung keinen entscheidenden Vorteil bezüglich der Genauigkeit des Ergebnisses der Kompetenzerfassung bringen, insbesondere dann nicht, wenn auch zusätzliche Interviews durchgeführt wurden.