1 Susan Seeber, Thilo J. Ketschau & Theresa RüterWirtschaftswissenschaftliche Fakultät Abteilung Wirtschaftspädagogik und Personalentwicklung Berufliche Problemlösekompetenzen bei Medizinischen Fachangestellten (MFA) (Competence Measurement based on Simulations and adaptive Testing in Medical Settings - CoSMed) Susan Seeber, Thilo J. Ketschau & Theresa Rüter Gesellschaft für Empirische Bildungsforschung, Frankfurt

2 Gliederung ForschungsstandIdentifikation, fachdidaktische Strukturierung, technische und psychometrische Umsetzung der Problemsituationen 3. Problemlöseaufgaben Ergebnisse der psychometrischen Modellierung Diskussion Praxisgemeinschaft in der Oststadt, Hannover Allgemeinmedizin und Orthopädie

3 1 Forschungsstand Problemlösen als Prozess der Informationsverarbeitung (Dörner 1979, 1995; Sell 1990, Edelmann 1996) nach Klix (1971) und Dörner (1987) drei Komponenten eines Problems: Unerwünschter Anfangszustand Erwünschter, noch nicht erreichter und ggfs. erst zu definierender Zielzustand Barriere zur Transformation des Anfangs- und den Zielzustand (auch Mayer 1992) Inkongruenz von Zielen und verfügbaren Mitteln, Verstehen der Problemsituation und verstehendes, schlussfolgerndes Denken konstitutive Merkmale des Problemlösens (Mayer/Wittrock 1996; Klieme et al. 2001), Nichtroutinesituationen (Leutner et al., 2012, 35; Funke 2003) Anerkennung des Problems – abhängig von internen Repräsentationen (Luer 1990) Kategorisierung von Problemen: Interpolations-, Synthese- und dialektische Probleme (Dörner 1979, 14) Differenzierung in analytisches und dynamisches Problemlösen (Leutner et al. 2012), Nickolaus (2011) unterscheidet analytisches und konstruktives Problemlösen Problemkategorisierungen (Aebli) Fragmentarische Strukturen  Verstehensproblem Widersprüchliche Strukturen  Probleme mit Widerspruch, Optimierungsprobleme Vereinfachungsfähige Strukturen  Probleme mit unnötiger Komplikation

4 1 Forschungsstand Diagnostik beruflicher Problemlösekompetenz  meist über Fremdbeurteilungen (Kesting 2001)  wenig empirisch belastbare Befunde Problem: fehlende tätigkeitsvalide Instrumente zur Messung beruflicher Problemlösekompetenz  in letzten Jahren Entwicklungen in technischen Berufen (Fehlerdiagnosekompetenz bei KfZ-Mechatronikern Nickolaus et al. 2009; Problemlösekompetenz bei Elektronikern ….) Unterscheidung zwischen „Aufgabe“ und „Problem“ in beruflichen Handlungskontexten schwierig (vgl. Funkt 2003; Anderson 2001), da Vertrautheit mit Situation, ev. beste-henden Lücken in Handlungsplänen etc. abhängig von formalen und informellen Lerngelegenheiten im Betrieb Berufliches Problemlösen – kontextgebunden an inhaltsspezifisches Wissen (deklarativ, prozedural, konditional), disparate Befunde zur Bedeutung von allgemeiner Problemlösekompetenz und Intelligenz auf berufliche Problemlösekompetenz (vgl. Abele et al. 2012)

5 Identifikation, fachdidaktische Strukturierung, technische und psychometrische Umsetzung der Problemsituationen Ziel: Bestimmung von typischen Arbeitsprozesse und -ergebnissen, erforderlichem Wissen und notwendiger Fähigkeiten zur Aufgabenbewältigung bei MFA. Dokumentenanalysen (Rahmenlehrpläne, Lehrbücher, Ausbildungspläne, Ausbildungshefte, Prüfungsaufgaben) Expertenbefragungen und -interviews, Expertenworkshops unter Nutzung der Critical Incident Technique (N = 30) Domänen-modell Arbeitsplatzbeobachtungen in Kliniken und Arztpraxen unter Nutzung der Critical Incident Technique  Identifikation von problemhaften Situationen (ca. 86 Std.) Auswertung von Stellenanzeigen einschlägiger Datenbanken (1.870 Anzeigen mit Stellen)

6 Identifikation, fachdidaktische Strukturierung, technische und psychometrische Umsetzung der Problemsituationen Critical Incident Techniques: Herausarbeitung kritischer und anforderungs-bestimmender Situationen für den Beruf (fachrichtungsunabhängig) Intern verursachte struktur- und prozessbedingte Problemsituationen und deren Folgen: Personalmangel, unzureichende Aufgabenkoordination im Team, volles Wartezimmer, Patientenbeschwerden Extern verursachte Problemsituationen und deren Folgen: häufige insbesondere telefonische Patientenanfragen, technische Probleme, medizinische Notfälle in der Praxis

7 Identifikation, fachdidaktische Strukturierung, technische und psychometrische Umsetzung der Problemsituationen Patientenbe-treuung, -versorgung Patienten empfangen, Anamnese durchführen Assistenzleistungen bei Behandlungen Beratungsleistungen im Rahmen von Prophylaxe, Gesundheitsprävention Medizinische Items nicht unmittelbar patientenbezogene medizin. Aufgaben Labortätigkeiten durchführen diverse Tätigkeiten im Rahmen der Hygiene Vorbereitung des Praxisbetriebs Zusammenfassung von Patientenbetreuung und nicht patientenbezogenen Items zu medizinischen Items: - Anzahl Items „Nicht unmittelbar patientenbezogene medizin. Aufgaben“ lediglich 8, außerdem ist von hoher Korrelation zwischen den beiden medizinischen Kategorien auszugehen  daher zusammengefasst kaufmännisch-verwaltende, betriebsorganisat. Aufgaben Abrechnungen vornehmen Mahnungen vorbereiten, versenden Korrespondenz eigenverantwortlich erledigen Medikamenten- und Materialbestellungen vornehmen Termine koordinieren

8 11 14 5 6 1 4 8 2 3 3 Problemlöseaufgaben 3.1 Tpyisierung medizinischkaufmännisch- verwaltend Entscheidungen treffen Fehler suchen Systeme analysieren und entwerfen bisher auswertbare Problemlöseitems: 26 für Haupterhebung geplante Problemlöseitems : 37

9 3. 2 Beispielaufgaben – 2CVid

10 3. 2 Beispielaufgaben (2C1) Die Patientin, Frau Daum, sitzt schweißgebadet im Wartezimmer. Sie ist schlecht ansprechbar und kann sich kaum noch artikulieren. Scoring: 4 und 3 richtige Antworten = 2 Pkt. 2 richtige Antworten = 1 Pkt. Estimate Weighted MNSQ Count % of total 0 / 1 / 2 Discrimination 0.443 1.02 60.35 / / 7.02 0.32

11 3. 2 Beispielaufgaben – MRE 1Die MFA Frau Nordmann sitzt an der Anmeldung und ist in Abrechnungen vertieft. Plötzlich tritt die Patientin Marina Müller ein! MRE, Multiresistenter Erreger, MRSA, Methicillin-resistente Staphylococcus aureus, ORSA, Oxacillin-resistente Staphylococcus aureus Denkschritte zur Diagnose des Problems: Krankenhausaufenthalt Zwei verschiedene Antibiotika Medizin nicht eingenommen Symptome: Übelkeit, Erbrechen, Durchfall  ergibt: MRE Estimate Weighted MNSQ Count % of total 0 / 1 Discrimination 0.42 0.94 77.59 / 22.41 0.39

12 3. 2 Beispielaufgaben – MRE 2Nach der Vorstellung beim Arzt betätigte sich die Diagnose MRSA-Infektion. Trotz dieses Befundes kann die bevorstehende ambulante Operation am Fuß der Patientin nicht verschoben werden. Welche besonderen Schutzmaßnahmen (Was, Wann, Wie) sind über die Maßnahmen des üblichen Praxishygieneplans hinaus erforderlich? Bitte tragen Sie diese in die Freitextfelder des beigefügten Hygieneplans ein.

13 4 Psychometrische Analysen – Partial Credit StufenWright Map – nur Problemlöseaufgaben (getrennte Skalierung ohne übrige simulationsgestützte Aufgaben)

14 *MFA-Auszubildende 3. Ausbildungsjahr4 Psychometrische Analysen – Itemschwierigkeiten nach Tätigkeitsbereichen n*: 126 Items: WLE-Rel.: Problemlöseaufgaben sind eher schwierig, was im Kontrast zu den Nicht-PL Aufgaben aber auch erwünscht ist *MFA-Auszubildende 3. Ausbildungsjahr

15 4 Psychometrische Analysen – nach InhaltsbereichenModellpassungen: 1- vs. 2-dimensionales Modell Modelle Final deviance df EAP-PV Rel. 1 dimensionales Modell 36 0.625 (26 Items) 2 dimensionales Modell (Med / KaVe) 38 0.643 / 0.356 (17 Items / 9 Items)  Final deviance 2 p < 0.01 Latente messfehlerbereinigte Korrelation:  Adaptiver Test zum deklarativen Fachwissen: Ebenfalls bessere Modellpassung bei 2 dimensionaler Skalierung, aber latente messfehlerbereinigte Korrelation: ,96

16 *MFA-Auszubildende 3. Ausbildungsjahr4 Psychometrische Analysen – Itemschwierigkeiten nach Problemstellungsarten n*: 126 Items: WLE-Rel.: Problemlöseaufgaben sind eher schwierig, was im Kontrast zu den Nicht-PL Aufgaben aber auch erwünscht ist *MFA-Auszubildende 3. Ausbildungsjahr

17 Final deviance df EAP-PV Rel.Psychometrische Analysen - Problemstellungsarten Modellpassungen: 1- vs. 3-dimensionales Modell Modelle Final deviance df EAP-PV Rel. 1 dimensionales Modell 36 0.615 (26 Items) 3 dimensionales Modell (Entscheiden / Fehlersuche / Systematisieren) 41 0.604 / / 0.579 ( 15 Items / 7 Items / 4 Items)  Final deviance 5 p < 0.05 n.s. Integral für Signifikanzniveau 5%: Latente messfehlerbereinigte Korrelationen: 1<>2 = 0.707 1<>3 = 0.903 2<>3 = 0.874

18 5 Diskussion

19 Vielen Dank für die Aufmerksamkeit!Georg-August-Universität Göttingen Professur für Wirtschaftspädagogik und Personalentwicklung im Verbund mit Platz der Göttinger Sieben 5 37073 Göttingen Tel ; Fax Prof. Dr. Susan Seeber Dipl. Päd. Thilo J. Ketschau Theresa Rüter, M. Sc.

20 Backup

21 Identifikation, fachdidaktische Strukturierung, technische und psychometrische Umsetzung der Problemsituationen Kompetenzmodell Epistem. Überzeugungen Motivation/ Interesse Selbstwirksamkeit/Selbstregul. Kompetenz-facetten Kognitive Anforderungen z. B. Wissensarten z. B. Berufsethische Orientierungen Wissen/ Kognition Kognitive Taxonomie Modellierungs-leistung Inhaltliche Komplexität Bewerten Kritisieren Komplexe und anspruchsvolle Modellierungen Hohe Vernetzung, mehrere Handlungs- stränge, u.U. verschiedener Fachgebiete Kompetenzen in der Patientenbetreuung und -versorgung Konditionales Wissen prozedurales Wissen Deklaratives Wissen nicht unmittelbar personenbezogene medizinische Fachkompetenz Analysieren, Elaborieren, Validieren Einfache , vollständige Modellierungen Systemische Zusammen-hänge herstellen Domänenspezifische Kompetenzdimensionen Gewissenhaftigkeit als eine Dimension der Big Five Vgl. Barrick & Mount 1991; Salgado 1997 sowie Lanjandanda & Patterson 2009 – Zusammenhang zu Leistungen am Arbeitsplatz in medizinischen Berufen Verträglichkeit – Zusammenhänge beobachtet in sozialen und interaktionsbetonten Berufen mit der beruflichen Leistung (Mount et al. 1998) Emotionale Stabilität als positiver Pol der Neurotizismus-Skala – Zusammenhänge mit beruflichen Leistungen in Meta-Analysen herausgearbeitet (Mount 1991; Salgadeo 1997) Einfaches Anwenden Kaufmännisch- verwaltende Kompetenzen keine bzw. unvollständige Modellierung isolierte Wissensinhalte Sachverhalte reproduzieren Fähigkeiten/ Kompetenzniveaus

22 4. 2 Beispielaufgaben – PC den Arzt informierenden EDV-Service oder Kundendienst verständigen die Patienten im Wartezimmer informieren Behandlungen und Verschreibungen manuell dokumentieren Scoring: 4 und 3 richtige Antworten = 2 Pkt. 2 richtige Antworten = 1 Pkt. Estimate Weighted MNSQ Count % of total 0 / 1 / 2 Discrimination -0.562 0.79 45 / 25 / 30 0.72