Formen und Einsatz der Evaluationsinstrumente

Die im Prozess der Evaluation eingesetzten und angewendeten Evaluationsinstrumente sollen eine den Zielen und Evaluationsgegenständen adäquate Beurteilung und Bewertung ermöglichen. Die unterschiedlichen Untersuchungsziele und Fragestellungen der Evaluation bedingen durch ihre Komplexität und Differenziertheit nicht ein allgemein anwendbares Instrument, sondern unterschiedliche und speziell auf die Untersuchungsgegenstände bezogene Evaluationsinstrumente. Ebenso ist zu berücksichtigen, dass die Durchführung der Evaluation auch als Selbstevaluation erfolgt, wodurch sich das Instrumentarium teils erweitert und kombinierbar in verschiedenen Formen und Situationen einsetzbar sein muss.

Als Evaluationsinstrumentarium und bezogen auf die insgesamt zu evaluierenden und verschiedenartigen Entwicklungen und Erprobungen im Modellversuch bieten sich im Überblick zunächst die folgenden Instrumente an:

Die einzelnen Instrumente können für sich oder in verschiedenen Kombinationen zum Einsatz kommen. Die konkrete Planung und Ausarbeitung sowie Durchführung und Auswertung hat den jeweiligen Untersuchungsgegenstand zu berücksichtigen. Nachfolgend werden zur Ausarbeitung und dem Einsatz der einzelnen Instrumente einige allgemeine Hinweise gegeben.

Befragungen

Befragungen können zur Erfassung der Lernkonzepte und des Lernerfolgs, der Erfahrungen, Einschätzungen und Einstellungen zum Unterricht oder auch des Lerntransfers eingesetzt werden. Als Zielgruppe können die Lehrer und Auszubildenden oder Mitarbeiter und Ausbilder der Betriebe befragt werden. Die Befragungen lassen sich im Ansatz als schriftliche oder mündliche oder als kombinierte Befragungen planen und durchführen.

Für die schriftlichen Befragungen sind Fragebögen auszuarbeiten, für die hinsichtlich der Konstruktion offene oder standardisierte Formen möglich sind. Hierbei sind allgemein die folgenden Inhaltsbereiche zu berücksichtigen:

Von zentraler Bedeutung bereits bei der Konstruktion von Fragebögen ist immer die Auswertung der Ergebnisse. Von daher ist vielfach eine Mischung von geschlossenen und offenen Fragen zu empfehlen. Gleiches gilt insbesondere für die Ergänzungen der schriftlichen Befragungen durch die mündlichen Befragungen wie Interviews oder Expertengespräche, da durch deren Kombination z.B. detaillierte Rückfragen zu Einzelaspekten möglich und erleichtert werden.

Mündliche Befragungen können im Rahmen der Evaluation und in Abhängigkeit vom jeweiligen Untersuchungsgegenstand einen eigenen Stellenwert haben oder die schriftlichen Befragungen spezifisch ergänzen. So können z.B. im Zusammenhang mit Schülerfragebögen besondere Gruppengespräche mit den Schülern durchgeführt, um deren Erfahrungen und Einschätzungen zum Lernprozess, zu speziellen Lernsituationen oder allgemein zur Unterrichtsgestaltung unter vertiefenden Aspekten zu evaluieren. Vergleichbares gilt für die Evaluation der Durchführung von bestimmten schulischen Unterrichtsprojekten oder betrieblichen Fallstudien, bei der sich die Befragten aus unterschiedlichen Personengruppen zusammensetzen sollten. Mündliche Befragungen sind im Sinne von

anzulegen und vorzubereiten. Hierzu sollte entsprechend dem Untersuchungsgegenstand jeweils ein Gesprächsleitfadens ausgearbeitet werden, der die wesentlichen Untersuchungsaspekte berücksichtigt und strukturiert. Dieser Leitfaden ist weitgehend offen zu gestalten, da ein standardisierter Leitfaden, der in detaillierter Form z.B. die Gesprächsinhalte wie die Gesprächsführung vorgibt, die Möglichkeiten der Antworten einschränken kann oder verhindert, dass relevante und nicht vorhergesehene Inhaltsaspekte zum Gegenstand der Befragung werden.

Unterrichtshospitationen, Beobachtungen

Beobachtungen und Unterrichtshospitationen dienen auf der Mikroebene der Evaluation exemplarischer Lernsituationen. Dadurch lassen sich z.B. aus einzelnen Unterrichtsausschnitten Rückschlüsse auf die gesamte Unterrichtssequenz ziehen. Im Zusammenhang mit den Unterlagen der Unterrichtsplanungen und –protokolle geben Unterrichtshospitationen auch einen authentischen Einblick in die gesamte Unterrichtsgestaltung und können somit Erkenntnisse zum Lernprozess und Lernerfolg der Auszubildenden liefern. Im Rahmen der Hospitationen lassen sich auch die Zusammenhänge zwischen den inhaltlichen, methodischen und medialen Aspekte der Unterrichtsgestaltung konkreter evaluieren wie auch unmittelbar die Interaktionen, Aktivitäten und die Motivation der Schüler beobachten.

Für die Durchführung einer Unterrichtshospitation sind Beobachtungsbögen zu erarbeiten, um die Beobachtungen inhaltlich zu strukturieren und um u.a. auch eine Vergleichbarkeit der Ergebnisse und Erkenntnisse zu ermöglichen. Die inhaltliche Ausrichtung der Hospitationen hat jeweils die Untersuchungsfragen zu berücksichtigen, wobei aufgrund der Faktorenkomplexion von Unterricht (vgl. Winnefeld 1973) Schwerpunkte zu bilden sind.

Protokolle, Tagebücher

Protokolle und Tagebücher zum Unterricht stellen in der Evaluation eine geeignete Ergänzung der Befragungen und Hospitationen dar. Dies können Lehrerprotokolle oder Schülerprotokolle sein, die die Unterrichtsarbeit oder die Gruppenarbeit aus verschiedenen Perspektiven dokumentieren. Lehrerprotokolle haben u.a. auch innerhalb des Modellversuchs die Funktion der Selbstevaluation durch die Lehrern und können der Reflexion und Nachbesinnung des eigenen Unterrichts dienen. Lehrerprotokolle oder Schülerprotokolle sollten möglichst eine vergleichbare Struktur haben und gewisse Mindestanforderungen erfüllen, um die Vergleichbarkeit unterschiedlicher Unterrichtsdokumentationen sicherzustellen.

Wichtige Protokollangaben sind: Angaben zur Klasse, Unterrichtsthema, Stellung des Themas im Stoffverteilungsplan des Ausbildungsjahres, Zielformulierungen der Unterrichtsstunde, Grobstruktur des Unterrichts, Inhalte und angewandte Methoden, Medienauswahl, die wesentlichen Schüler- und Lehreraktivitäten, gute und auch schlechte Erfahrungen im Unterricht, der Lernerfolg usw. Lehrerprotokolle und Schülerprotokolle können und sollten sich bezogen auf eine Unterrichtseinheit auch ergänzen. Ebenso kann mit Hilfe von Methoden wie "Blitzlicht" oder "Punktabfragen" auch das Feedback der Schüler zum Unterricht direkt in die Lehrerprotokolle mit aufgenommen werden.

Handlungsprodukte, Klassenarbeiten usw.

Die Ergebnisse und Leistungen von Schülern sind im Hinblick auf Zeugnisse und Prüfungen generell zu bewerten. Klassenarbeiten, Testergebnisse oder von Schülern erstellte Handlungsprodukte können somit auch zur Evaluation beitragen und unter Berücksichtigung der Zielsetzungen des Modellversuchs ausgewertet werden. Besonders abschließende Dokumentationen und Präsentationen zu Unterrichts- oder Lernfeldprojekten lassen entsprechende Rückschlüsse z.B. zu den intendierten Anforderungen der Geschäftsprozessorientierung einschließlich der angewandten Arbeitsmethoden zu. Sie sind geeignet, vermittelte Service- und Dienstleistungskompetenzen zu bewerten. Neben der kontinuierlichen Evaluation der Lernprozesse kann die summative Bewertung von Schülerleistungen eher dazu beitragen, Erkenntnisse zu den Zusammenhängen und wechselseitigen Wirkungen der jeweiligen Unterrichts- und Prüfungsgestaltung zu erhalten.

Arbeits- und Fallstudien

Die Evaluation der Unterrichts- und Ausbildungsgestaltung hinsichtlich der Zielsetzung "Befähigung zur Ausübung der qualifizierten Berufstätigkeit im IT-Beruf" ist letztlich nur auf der Grundlage detaillierter Kenntnisse zur Berufstätigkeit und deren Ausübung möglich. Um dementsprechende Kenntnisse über die Berufstätigkeit zu erhalten sind Arbeits- und Fallstudien auszuarbeiten und durchzuführen, die im Prinzip die unterschiedlichen IT-Arbeitsbereiche und Einsatzgebiete in verschiedenen Betrieben zum Gegenstand haben. Im Rahmen weiterer Analysen wäre die je individuelle Kompetenz in der Ausübung der IT- Berufstätigkeit zu untersuchen und zu bewerten, was im Zeitraum des Modellversuchs allerdings nicht geleistet werden kann.

Die Anlage und Durchführung von IT-Arbeits- und Fallstudien kann und soll im begrenzten Umfang zur Evaluation der Ordnungsmittel und Rahmenvorgaben zur IT-Ausbildung hinsichtlich ihrer Struktur und der Inhalte beitragen. Sie sind Voraussetzung für die Entwicklung arbeitsorientierter Curricula und sie sollen sich an den Standorten der Modellversuchsschulen auf exemplarische betriebliche Arbeitssituationen beziehen. Die Auswertungen und Ergebnisse können zugleich zu einem hohen und verbesserten Realitätsgehalt der schulischen Unterrichts- und Lernfeldprojekte beitragen. Die berufswissenschaftliche Anlage der IT-Arbeits- und Fallstudien hat im Überblick folgende Untersuchungsaspekte zu berücksichtigen:

Dokumentenanalysen

Bezogen auf die Ausbildungsvorgaben sind im Rahmen der Evaluation die Ausbildungsordungen und Ausbildungsrahmenpläne sowie die Rahmenlehrpläne zu analysieren. Da sie die Grundlage für die Ausbildung und den Unterricht sind, sind sie einerseits zugleich eine Basis für die Evaluation der Ausbildungs- und Unterrichtsergebnisse. Andererseits sind sie selbst Gegenstand der Evaluation, so dass in der Wechselwirkung mit den gesamten Evaluationsergebnissen auch Empfehlungen zu deren mögliche Revision zu geben sind.

In die Analysen sollen des weiteren z.B. Fachunterlagen, Lernmaterialien und die neueren IT-Schulbücher einbezogen werden. Denn diese wirken nicht unwesentlich auf die Ausbildungs- und Unterrichtsgestaltung ein. Sie sollten insbesondere von den Lehrern und aus der Sicht der Schüler evaluiert werden, da der Einsatz und die Nutzung solcher Dokumente ein Element der Unterrichtsgestaltung ist.

to the top