Programmevaluation - im Dialog mit den Projekten

Zu den Aufgaben des Programmträgers gehört die programmbezogene Evaluation aller am Programm beteiligten Projekte. Die Programmevaluation wird im Laufe jedes Projekts insgesamt zweimal durchgeführt.

Die Programmevaluation besteht jeweils aus drei Phasen:
· aus einer Evaluationssitzung beim Projektnehmer,
· aus einer Auswertung durch das Bilanzierungsteam beim Programmträger und
· aus einer Perspektivensitzung beim Programmträger.

Der Programmträger evaluiert die Projekte im Hinblick auf die Frage, welchen Beitrag die Vorhaben für die Programmziele erbringen. Auftraggeber und Öffentlichkeit sollen umfassend über die Effekte der einzelnen Programmbeiträge informiert werden. Dabei geht es vor allem darum, näher zu analysieren, wie Innovationen in das Bildungswesen effizient, dauerhaft und breitenwirksam eingeführt werden können - und hierbei Unterstützung zu leisten. Im folgenden wird über die ersten Erfahrungen im Kontext der Evaluation von Projekten zusammenfassend berichtet.

Sieben Evaluations-Sitzungen haben in den Modellversuchsorten stattgefunden Die ersten Sitzungen wurden in Dresden (Projekt: Berufsschule 2000), Dippoldswalde bei Dresden (Projekt: KUBE), Hamburg (Projekt: BQ 2000), München (Projekt: NELE), Rüdesheim (Projekt: TEBA), Tettnang (Projekt: MELITA) und Hannover (Projekt: IBU) durchgeführt. In der Regel fanden die halbtägigen Sitzungen bei den Projekten vor Ort, also in den am Versuch beteiligten Berufsschulen statt. Für den Programmträger war so gleichzeitig die Gelegenheit gegeben, die Schulen zu besichtigen und sich ein genaueres Bild von den örtlichen Rahmenbedingungen zu machen. An den Sitzungen haben am Projekt beteiligte Lehrer und ihre wissenschaftlichen Begleiter teilgenommen.

Bei Verbundprojekten mit ihrer komplexen Organisationsstruktur haben darüber hinaus auch Vertreter der einbezogenen Landesinstitute, teilweise auch der zuständigen Ministerien, teilgenommen. Die Evaluation ist vom Programmträger als ein nutzer- und dialogorientiertes Verfahren konzipiert worden. Das bedeutet, daß alle Beteiligten aktiv am Bewertungsprozess teilnehmen. Die Projektbeteiligten werden dazu aufgefordert, entlang eines von ihnen mitgestalteten Kriterienkataloges eine Einschätzung zum bisherigen Verlauf ihres Projektes vorzunehmen und nach Möglichkeit einen Konsens bei der Bewertung des gegenwärtigen Projektstandes herzustellen. Gesprächsgegenstand ist dabei ein zwischen dem Programmträger und den Projekten abgestimmter zweiteiliger Fragebogen. In diesem Fragebogen werden der Programmbezug und die Wirkungen der Projekte mittels operationalisierter Kriterien ermittelt. Der Zustand des Projektes wird dann durch die Projektbeteiligten sowohl individuell als auch anschließend in einer vom Programmträger moderierten Gruppendiskussion gemeinsam evaluiert. Dabei werden die Einschätzungen bzw. Gewichtungen zu den Fragebogen-Kriterien mit den bisher gemachten Erfahrungen und Zwischenresultaten aus dem Projektverlauf in Beziehung gesetzt und im einzelnen begründet. Unterschiedliche Bewertungen der beteiligten Akteure werden so erkennbar und geben Anlass zu vertiefenden Diskussionen und Klärungsprozessen.

Welches vorläufige Fazit können wir ziehen?

· Schon jetzt kann festgestellt werden, dass sich für die Projektbeteiligten wie für den Programmträger mit der Programmevaluation weitreichende Einblicke in den gegenwärtigen Zustand der einzelnen Projekte ergeben. Damit kann eine Informationsbasis geschaffen werden, die den Projekten zu einem verbesserten internen und externen Austausch und zu einer besseren Abstimmung aller in das gesamte Programm involvierten Akteure verhilft.

· Alle bisher evaluierten Projekte haben die Vorbereitung der Evaluationssitzungen aktiv unterstützt. Die Projektbeteiligten nahmen konstruktiv an der Durchführung der Programmevaluation teil. Alle Projektnehmer haben deutlich gemacht, dass sie eine Unterstützung insbesondere hinsichtlich der erforderlichen Sicherstellung des Transfers und der Vernetzung der Projekte von Seiten des Programmträgers erwarten. Die Projektnehmer gehen dabei von der generellen Erwartung aus, die selbst gesetzten Projektziele mit Hilfe der Programmevaluation besser erreichen zu können.

· Das vom Programmträger entwickelte Evaluations-Instrumentarium eignet sich zur angeleiteten Selbstreflexion der Projekteilnehmer im Hinblick auf die Einschätzung der bislang realisierten Projektziele und -wirkungen. Eine qualitative Bewertung des jeweiligen Projektstandes wird dadurch ermöglicht. Im Evaluationsverfahren können die unterschiedlichen Sichtweisen der am Projekt Beteiligten berücksichtigt werden und in die Projektzwischenbilanz einfließen. Damit ergeben sich Hinweise zur weiteren Optimierung der Projekte.

· Mit der gründlichen und umfassenden Dokumentation der Evaluationssitzungen durch den Programmträger wird der wechselseitige Argumentationsverlauf zwischen den Projektbeteiligten nachgezeichnet. Hierin wird Auskunft gegeben über die Positionen und Einschätzungen der Projektbeteiligten zu den wesentlichen Aspekten und Facetten des Projektes. Bereits angegangene, aber auch noch ungelöste Probleme und Aufgaben werden benannt. Daran anknüpfend formuliert der Programmträger offene Fragen an das Projekt und nimmt eine Einschätzung der Stärken und Schwächen aus einer Programmperspektive vor. Diese werden bei der Nachbesprechung (Perspektivensitzung) beim Programmträger erörtert und für die weitere Projektplanung operationalisiert.

· Ausgehend vom dialogischen Evaluationsansatz nutzen die Projektnehmer die Gelegenheit, die Ergebnisdokumentationen durch mündliche oder schriftliche Erläuterungen zu ergänzen bzw. zu modifizieren.

· Im Rahmen der Evaluationen wurden auch Aussagen zur Verortung der einzelnen Projekte im Zielsystem des BLK-Programms gemacht. Es wurde herausgestellt, auf welche zentralen Leitfragen des Programms das jeweilige Projekt Bezug nimmt und welchen Beitrag es im Hinblick auf die Maßnahmenfelder im Programm beisteuert.

· Es wurde deutlich, dass alle Vorhaben eine Verbesserung der internen und externen Vernetzung benötigen: Den Einzelvorhaben könnte ein engerer Austausch mit Projekten zu gute kommen, die sich ähnlichen Problemstellungen widmen. So wurden im Rahmen der Empfehlungen von Seiten des Programmträgers Kooperationsbeziehungen mit anderen Projekten vorgeschlagen und mit den Projektnehmern vereinbart. (Beispielsweise das Berufsschule-2000-Projekt, Dresden, mit dem MELITA-Projekt in Baden-Württemberg oder das KUBE Projekt, Dippoldiswalde, mit dem Bremer Projekt „Beratungsbüro"). Dabei soll es nicht nur bei einem allgemeinen Austausch bleiben, sondern korrespondierende Projektaufgaben sollen auch durch gemeinsame Workshops zu spezifischen Themen bearbeitet werden. Es wird erwartet, dass die vereinbarten Kooperationsbeziehungen zu einem intensiveren Transfer von Ergebnissen (z.B. im Rahmen von Hospitationen zwischen den in den Projekten beteiligten Lehrerteams) führen.

· Die schulübergreifende Kooperation soll verstärkt werden. Die Projekte werden ihre über den allgemeinen Informationsaustausch hinausgehenden Formen der inhaltlichen, programmbezogenen Zusammenarbeit weiterentwickeln. Es mangelt noch an gut funktionierenden Vernetzungen, mit deren Hilfe die Kommunikationsprozesse zwischen der großen Zahl der einbezogenen Schulen und Lehrerteams unterstützt werden können. Damit wird Neuland betreten. Es zeigt sich, dass diese Prozesse komplizierter sind als ursprünglich erwartet worden war und mehr Zeit benötigen.

· Die Evaluation der Einzelprojekte zeigt schon jetzt, dass diese ihren Stellenwert behalten und nicht durch Verbundprojekte ersetzbar sind.

· Den vom Programmträger geplanten Konferenzen zu spezifischen Themenschwerpunkten des Programms, wie der geplanten Herbstkonferenz in Ohlstadt/ Bayern zu den bisherigen Erfahrungen mit Lernfeld-Konzepten, wird für die weitere Programmentwicklung eine Orientierungsfunktion beigemessen. Diese Konferenzen sollen auch dazu beitragen, unterschiedliche Begriffs-Verständnisse zu klären und damit die Programmbeiträge besser aufeinander abzustimmen. Wo liegen z. B. die Abgrenzungen/ Überschneidungen zwischen „Modul" (Projekt: BQ 2000) „Lernfeld" (NELE-Verbundprojekt) oder „arbeitsorientierten Handlungsfeldern" (BS 2000)?

Im bisherigen Verlauf der Programmevaluation wurde auch deutlich, dass dem regionalen Umfeld („regionales Innovationsmilieu") der Modellversuche erheblicher Einfluss auf einen positiven Projektverlauf zukommt. Bestätigt wurde, dass die Produktivität der Projektarbeit ganz entscheidend von der Einbeziehung der potentiellen Akteure in die Planungen und Vorarbeiten zum Modellversuch abhängt.

Informationen zum Ablauf der Programmevaluation im BLK-Programm "Neue Lernkonzepte in der dualen Berufsausbildung"

Die Projektteilnehmer nehmen mit Ihrem Projekt an der Programmevaluation im Rahmen des BLK-Programms "Neue Lernkonzepte in der dualen Berufsausbildung" teil. Die Programmevaluation wird im Laufe Ihres Projektes insgesamt zweimal durchgeführt. Sie besteht jeweils aus drei Phasen:

An der Evaluationssitzung bei Ihnen können bis zu 15 Projektbeteiligte teilnehmen, die interne Bilanzierungssitzung bei uns dient der Vorbereitung der Perspektivensitzung beim Programmträger, bei der dann mit ein oder zwei Vertretern Ihres Projekts der weitere Fortgang beraten wird.

Welchem Zweck dient die Programmevaluation?

Die Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung ( BLK) hat die Modellversuchsförderung neu geordnet. Stärker als bislang soll auf die Effizienz, auf die Nachhaltigkeit und den Transfer von Modellversuchsaktivitäten geachtet werden. Für die Gewährleistung dieser Zielsetzungen sind Programmträger eingesetzt worden. Der Programmträger evaluiert die Projekte im Hinblick auf die Frage, welchen Beitrag die Vorhaben für die Programmziele erbringen.

Die Programmträger befördern somit ein Politikinteresse und sie befördern ein Forschungs- und Entwicklungsinteresse. Das Politikinteresse besteht darin, dass Auftraggeber und Öffentlichkeit umfassend über die Effekte der einzelnen Programmbeiträge informiert werden sollen. Das Forschungs- und Entwicklungsinteresse besteht darin, näher zu analysieren, wie Innovationen in das Bildungswesen effizient, dauerhaft und breitenwirksam eingeführt werden können - und hierbei Unterstützung zu leisten. Damit geht es bei der Programmevaluation um folgende projektübergreifende Fragestellungen:

Wie verläuft eine Evaluationssitzung beim Projektnehmer?

Folgendes Vorgehen hat sich bewährt:

  1. Begrüßung und Vorstellungsrunde der anwesenden Teilnehmer (10 - 15 Minuten).
  2. Kurze Einführung des Programmträgers zu Ziel, Zweck und Verfahren der Programmevaluation (10 Minuten).
  3. Mündlicher Bericht eines Projektvertreters über den aktuellen Sachstand im Projekt (ca. 15 Minuten).
  4. Bearbeitung und Diskussion der Evaluationsfragebögen (ca. 2 Stunden).
  5. Abschlussdiskussion (und ggf. kurze Besichtigung von Fachräumen, Arbeitsergebnissen etc.).

Zum besseren Verständnis des Ablaufs ist folgendes zu sagen: Zur Vorbereitung der Evaluationssitzung hatte jedes Projekt die Aufgabe, die Programmziele projektspezifisch, in Form von Unterkriterien, zu untersetzen und diese Kriterien gemäß ihrer Bedeutung im Projekt zu gewichten. Die Projekte haben sich daher zum Beispiel gefragt: Welche Bedeutung hat das Programmziel "Selbständiges und selbstorientiertes Lernen" in unserem Vorhaben und wie gewichten wir dies im Verhältnis zu anderen Kriterien? Die gewichteten Unterkriterien sind von uns in Evaluationsfragebögen eingearbeitet worden und werden nun, bei der Evaluationssitzung, wieder an die Projektbeteiligten zurückgegeben. Jeder Projektbeteiligte ist dann aufgefordert, zunächst einmal für sich den Projektfortschritt im Hinblick auf die Kriterien des Evaluationsfragebogens zu bewerten. Dabei werden die Kriterien im Rückblick der bisher gesammelten Erfahrungen und Ergebnisse mit Punkten (0-10) versehen. Maßstab ist die Qualität der bisher erreichten Problemlösungen.

Im Anschluss an diese Einzelarbeit der Teilnehmer findet dann eine Diskussion mit allen Beteiligten der Evaluationssitzung statt, in der die i. d. R. unterschiedlichen Bewertungen ausgetauscht und hinterfragt werden. Ziel dieser Diskussion ist es, möglichst zu einem Konsens unter den Teilnehmern zu gelangen. Dabei geht es nicht notwendigerweise nur um die Ermittlung von Mittelwerten aus den individuellen Bewertungen. Vielmehr steht die Frage im Mittelpunkt, ob die Teilnehmer sich im Licht der Diskussion auf eine gemeinsame Bewertung einigen können, d. h., ob im Lauf der Diskussion einzelne Teilnehmer neue Erkenntnisse gewinnen konnten, und die Gruppe insgesamt ihre Erfahrungen verallgemeinern kann. Diese erste Evaluationssitzung kann somit als angeleitete Selbstreflexion der Teilnehmer verstanden werden. Die Evaluationsfragebögen dienen als Leitfaden für den Diskussionsprozess.

Was wird für die Evaluationssitzung benötigt?

Für die Evaluationssitzung benötigen wir etwa drei Stunden Zeit und einen Raum, in dem wir in Ruhe arbeiten können. Außerdem brauchen wir einen Overhead-Projektor und eine Pinwand einschließlich großformatigem Papier. Es wäre gut, wenn auch die übrigen Utensilien einer Moderation wie Papierkarten, Stecknadeln, Filzstifte etc. zur Verfügung stünden.

Wie geht es im Evaluationsverfahren weiter?

Die Evaluationssitzungen werden protokolliert (mit einem Kassettenrecorder oder schriftlich). Protokolle und ausgefüllte Fragebögen dienen als Unterlagen für die Bilanzierung der Evaluationssitzung beim Programmträger. Der Programmträger verfertigt als Ergebnis der Auswertung einen vorläufigen Evaluationsbericht, der an das Projekt zurückgesandt wird. Dieser Evaluationsbericht enthält Fragen an das Projekt, die aus Sicht der Programmzielsetzungen klärungsbedürftig sind. Der Bericht dient als Grundlage für die Perspektivensitzung, die mit einem oder zwei Projektvertretern beim Programmträger durchgeführt wird und wo der weitere Fortgang des Projektes beraten wird.

Nach Aussagen der Teilnehmer an den bisherigen Evaluationssitzungen haben sich diese Treffen als sehr produktiv erwiesen. Stand und Fortschritt der Projekte konnten in einer Weise diskutiert werden, für die sonst kaum Raum und Zeit vorhanden ist. Wir können daher hoffen, durch die Programmevaluation die weitere Arbeit auch in Ihrem Projekt zu stimulieren.

Quelle: ITB und ISB