DE » Forschung » KOMET » Forschungsfeld

Die Erweiterung des Forschungsfeldes

Mit der Ausweitung des KOMET-Forschungsschwerpunktes auf weitere Berufe und Berufsfelder sowie eine Ausweitung des Spektrums der beteiligten Bildungsgänge ist das KOMET-Konzept auf dem Wege, sich zu einem Standard in der Kompetenzdiagnostik zu entwickeln. Ganz wesentlich dazu beigetragen haben die KOMET-Projekte in Südafrika unter Einbeziehung weiterer Berufe und der Aufbau einer KOMET-Expertengruppe, die Etablierung eines nationalen Schlüsselprojekts zur Qualitätssicherung und -entwicklung auf der Basis des KOMET-Konzeptes in China (Zhao 2014) sowie das europäische KOMET-Projekt im Bereich der Pflegeausbildung.

Zwei große Herausforderungen standen im Zentrum der Forschung:

  1. die Übertragung des KOMET-Testverfahrens auf Kernberufe der kaufmännischen Berufs-ausbildung sowie der Pflege-/Gesundheitsberufe sowie
  1. die Erweiterung des Kompetenzmodells um die Dimension „Umsetzung des Geplanten in die Praxis“. Damit stellt sich die Frage nach dem Transfer von Erkenntnissen aus der Kompetenzdiagnostik in die Welt des Prüfens.

Das Forschungsprogramm

Das internationale Forschungsnetzwerk COMET

Das KOMET-Projekt war zunächst auf Untersuchungen in Deutschland ausgerichtet. Der Begründungsrahmen für die Entwicklung eines Kompetenzmodells sowie das Konzept der Testaufgaben wurden jedoch von vornherein auch für internationale Vergleichsunter­suchungen entwickelt. Dadurch war die Möglichkeit gegeben, berufliche Kompetenz und Kompetenzentwicklung länderübergreifend zu erfassen. Vor allem das Konzept der offenen Testaufgaben, das Ratingverfahren und Ratertraining sowie das Konzept der beruflichen Validität ermöglichen es, unterschiedliche Bildungsgänge wie die duale Berufsbildung, Berufsfachschulen, Fachschulen sowie berufliche Hochschulen vergleichend in die Untersuchungen einzubeziehen (Abb. 1).

Abb. 1: Kompetenzverteilung der Testgruppen Kfz China (Industrial Colleges, Comprehensive Colleges, Technical Colleges), Hessen, NRW (Auszubildende des zweiten und dritten Ausbildungsjahres) u. zwei Meisterkurse (Hessen)

Das erste Internationale Symposium des KOMET-Netzwerkes fand im Mai 2012 in Zusammenarbeit mit der ETF (European Training Foundation) in Turin statt. Auf nationaler Ebene folgte eine erste Konferenz im Dezember 2013 in Zusammenarbeit mit dem Institut für berufliche Bildung an der Universität Karlsruhe (KIT).

Bei der Entwicklung des Forschungsnetzwerkes lassen sich vier Phasen unterscheiden.

  1. Entwicklung und psychometrische Evaluation des KOMET-Kompetenz- und Messmodells
    (2006–2009).

Thomas Martens und Jürgen Rost haben in der ersten Projektphase dargelegt, dass in der beruflichen Bildung das Überprüfen beruflicher Kompetenz mit offenen komplexen Testaufgaben – nachdem KOMET-Testverfahren – möglich ist: „Im KOMET-Projekt wird ein Fähigkeitsmodell überprüft. Es geht darum, modellhaft abzubilden, wie die Probanden, deren Lösungen unterschiedliche Ausbildungsgrade aufweisen, offene berufliche Aufgabenstellungen bewältigen“ (Martens, Rost 2009, 98).

Im Folgenden sind die Veröffentlichungen zur empirischen Überprüfung des KOMET-Kompetenz- und Messmodells angegeben.

- Birgitt Erdwien, Thomas Martens (2009): Die empirische Qualität des Kompetenzmodells und des Ratingverfahrens. In: Rauner, F. u.: Messen beruflicher Kompetenzen. Band II. Ergebnisse KOMET 2008.

- Thomas Martens a. (2011): Ergebnisse des Messverfahrens, Gütekriterien, Rating, Raterschulung und Interraterreliabilität; die psychometrische Qualität des COMET-Testverfahrens. In: Rauner, F. u. a.: Messen beruflicher Kompetenzen. Band III: Drei Jahre KOMET-Testerfahrung, 90–126.

  1. Erprobung des Kompetenz-Testverfahrens in internationalen Vergleichsuntersuchungen
    (2008–2012).

Das Konzept der offenen Testaufgaben ist eine wesentliche Voraussetzung für internationale Vergleichsuntersuchungen. Dabei ist es erforderlich, dass die inhaltliche Validität der Testaufgaben gegeben ist und dass möglichst hohe Werte der Interraterreliabilität beim international vergleichenden Rating der Aufgabenlösungen erreicht werden.

Raterschulung Kfz China
Abb. 2: Raterschulung Kfz China
Raterübereinstimmung DE Raterübereinstimmung China
Abb. 3: Rater-Übereinstimmung der Kfz-Schulung in Deutschland (oben) und China (unten)

In das COMET-Projekt Südafrika wurden die Berufe Elektroniker (internat. Vergleich) und die „neuen“ Berufe Mechatroniker und Schweißer aufgenommen.

  1. Transfer des Testverfahrens für kaufmännische und personenbezogene Dienstleistungsberufe (2011–2014) sowie das Messen von Lehrerkompetenz (seit 2012).

In den KOMET-Projekten NRW sowie in den europäischen Projekten zur Pflegeausbildung war die Möglichkeit gegeben, das an die Inhalte dieser Berufe angepasste Testverfahren im Rahmen von Pretests zu evaluieren (Rauner u. a. 2014; s. a. 1. „Berufliche Kompetenzen messen – Das Modellversuchsprojekt KOMET NRW – 1. Zwischenbericht“).

  1. Etablierung eines KOMET-Doktorandenprogrammes (vereinbart von der Konferenz am 24. und 25. Mai 2012 in Turin.

Die Doktoranden, die sich im internationalen KOMET-Forschungsnetzwerk mit grund-legenden Fragen der Kompetenzdiagnostik im Bereich der beruflichen Bildung auseinandersetzen, haben die Möglichkeit, sich über eine gemeinsame Plattform in Bezug auf die Inhalte, Methoden und Ergebnisse ihrer Forschung auszutauschen.

Das KOMET-Projekt auf dem Prüfstand (KIT-Konferenz)

Die Bilanzierung und Evaluation des KOMET-Projektes erfolgte im Rahmen der KIT-Konferenz unter sieben Gesichtspunkten:

  • Erfassen beruflicher Kompetenz: Erwartungen, Ziele und Erfahrungen der Berufs-
  • Worauf es beim Modellieren beruflicher Kompetenz ankommt (Modellbildung und
    -evaluation).
  • Berufliche Identität und berufliches Engagement – eine wesentliche und oft vergessene Dimension beruflicher Kompetenzentwicklung.
  • Möglichkeiten und Grenzen der international vergleichenden Kompetenzdiagnostik.
  • Die Kompetenz von Berufschullehrern – der Dreh- und Angelpunkt guter Bildung:
    eine Herausforderung für die Kompetenzdiagnostik.
  • Kritisches Nachfragen und eine Zwischenbilanz.
  • Die Herausforderungen an die Kompetenzdiagnostik in einem neuen Feld der Berufsbildungsforschung.

Eine Besonderheit der Konferenz bestand darin, dass gezeigt werden konnte, dass die Zusammenarbeit zwischen Lehrern/Ausbildern und Wissenschaftlern in diesem Forschungsfeld eine notwendige Voraussetzung für eine den Gütekriterien genügende Kompetenzdiagnostik darstellt. Über die einschlägige Fach- und Fachdidaktik-Kompetenz für die Vielzahl der Ausbildungsberufe verfügen vor allem die (Fach-)Lehrer/-innen und Ausbilder/Ausbilderinnen. Diese sind jedoch auf die Expertise der wissenschaftlichen Kompetenzdiagnostik angewiesen, wenn es z. B. um die Entwicklung von Testaufgaben im Rahmen von Pretests geht. Vor allem aber können die Praktiker/-innen ermessen, welchen didaktischen Stellenwert das KOMET-Kompetenz- und Messmodell für die Gestaltung und Evaluation einer lernfeldorientierten Berufsbildung hat. Die Ergebnisse der Konferenz sind dokumentiert in Fischer, Rauner, Zhao 2014.

Ausweitung des KOMET-Kompetenz- und Messmodells auf Prüfungen und Trade Tests

Seit 2014 werden in einzelnen Projekten Studien zur Erweiterung des KOMET-Kompetenz- und Messmodells durchgeführt, um berufliche Kompetenz auch unter Einbeziehung der Dimension „Umsetzen des geplanten in die Praxis“ messen zu können (Rauner 2013).

Aus testökonomischen Gründen wurde die Kompetenzdiagnostik in der etablierten Kompetenzforschung auf das Messen der planerisch-konzeptuellen Lösung beruflicher Aufgaben beschränkt. Kompetenz wird in der Tradition der Kompetenzdiagnostik daher definiert als eine „domänenspezifische kognitive Disposition“ (Klieme, Leutner 2006). Zu Recht wird von den Kritikern der Kompetenzdiagnostik im Bereich der beruflichen Bildung darauf hingewiesen, dass diese Definition für die berufliche Bildung eine problematische Einschränkung für die Überprüfung der Berufsfähigkeit (beruflicher Handlungskompetenz) darstelle, da erst mit der praktischen Umsetzung der konzeptuell-planerischen Lösung von beruflichen Aufgaben der Nachweis erbracht werden kann, dass eine Aufgabe auch „tatsächlich“ – und „nicht nur auf dem Papier“ gelöst werden könne. Mit dem A+B-Forschungsbericht „Überprüfen beruflicher Handlungskompetenz“ liegt jetzt ein erweitertes Kompetenz- und Messmodell vor. Wie man das erweiterte Kompetenzmodell in ein Prüfungsverfahren umsetzen kann, um auf diesem Weg die Gütekriterien von Prüfungen zu erhöhen, ist Gegenstand einer Möglichkeitsstudie. Erleichtert wird die Erprobung kompetenzbasierter Prüfungsformen dadurch, dass die Prüfungsprogrammatik der Prüfungsverfahren bei den neu geordneten Berufen sowie der Begründungsrahmen des KOMET-Testverfahrens große Ähnlichkeiten aufweisen. Darüber hinaus kann man davon ausgehen, dass die auf der Basis des KOMET-Kompetenz- und Messmodells entwickelte neue Prüfungsform einfacher, genauer und weniger aufwändig ist.