Qualitätssicherung

Sammelrezension zu

• 1. Stefanie Hartz: Qualität in Organisationen der Weiterbildung. Eine Studie zur Akzeptanz und Wirkung von LQW. Wiesbaden: VS Verlag für Sozialwissenschaften 2011. 361 S. ISBN 978-3-531-17485-3 Preis: 39,95 €.

• 2. Bernd Schaal/Franz Huber (Hrsg.): Qualitätssicherung im Bildungswesen. Auftrag und Anspruch der bayerischen Qualitätsagentur. Münster: Waxmann 2010. 247 S. ISBN 978-3-8309-2276-6. Preis: 24,90 €.

• 3. Karl-Oswald Bauer/Andreas Bohn/Pierre Kemna/Niels Logemann: Pädagogische Qualität messen. Ein Handbuch. Münster: Waxmann 2010. 181 S. ISBN 978-3-8309-2415-9. Preis: 24,90 €.

Seit nunmehr über 20 Jahren wird die (pädagogische) Qualität des Bildungssystems sowie deren Sicherung in der Erziehungswissenschaft diskutiert. Dabei lassen sich in den schulischen und außerschulischen Teildisziplinen unterschiedliche Ausgangspunkte der Qualitätsdebatte beobachten (vgl. Klieme und Tippelt2008).

ImSchulsystem kann Qualitätssicherung als eine Reaktion auf die schwachen Ergebnisse der ersten vergleichenden Schulleistungsuntersuchungen interpretiert werden. Mithilfe der Einführung von Bildungsstandards und des Rückgriffs auf Studien zu Unterrichtsqualität wird im Rahmen von Qualitätssicherung darauf abgezielt, die Qualität des Schulsystems sowie der Einzelschulen zu verbessern (vgl. im Überblick van Buer und Wagner2009). Imaußerschulischen Bereich wie der Weiterbildung und der Sozialpädagogik geht der Diskurs auch auf die finanziellen Kürzungen Anfang der 1990er-Jahre zurück. Mit diesen war die Aufforderung verbunden, durch die Einführung von Qualitätsmanagementverfahren die wirtschaftliche Effizienz der Organisationen zu sichern. Nach der Übernahme von Systemen aus der Wirtschaft (wie z. B. ISO 9001, EFQM), wurden Qualitätssicherungssysteme für den Bildungsbereich entwickelt, die neben organisationalen Faktoren auch Lehr- und Lernprozesse in den Mittelpunkt rücken, wie z. B. die Lernerorientierte Qualitätstestierung (vgl. im Überblick Hartz und Meisel2006).

Daher wird mit dieser Sammelrezension darauf abgezielt, aktuelle Entwicklungen in beiden Diskursfeldern in Forschung und Praxis darzustellen. Die Auswahl fiel auf eine empirische Studie aus dem außerschulischen Bereich, die sich mit der Implementation des Qualitätssicherungsverfahrens LQW in Organisationen der Weiterbildung befasst. Für den schulischen Bereich wurde ein Sammelband ausgewählt, in dem Qualitätssicherung aus der Perspektive des (bayerischen) Schulsystems betrachtet und die Arbeit der dort eingerichteten Qualitätsagentur vorgestellt wird. In dem anschließend vorgestellten Handbuch steht die pädagogische Qualität in Einzelschulen im Mittelpunkt. Das ausgewählte Buch möchte Lehrkräften Anregungen zur Erfassung und Reflexion ihrer eigenen pädagogischen Qualität geben.

Hartz, Qualität in Organisationen der Weiterbildung. Die 2011 erschienene Habilitationsschrift von Stefanie Hartz basiert auf der im Rahmen des Bund-Länder-Verbundprojekts „Qualitätstestierung in der Weiterbildung“ durchgeführten wissenschaftlichen Beobachtung der Implementierung des Qualitätsmanagementsystems „Lernerorientierte Qualitätstestierung in der Weiterbildung“ (LQW), geht aber in ihren forschungsmethodologischen Ansätzen über das Verbundprojekt hinaus. Die Forschungsarbeit zielt darauf ab, die Akzeptanz und Wirkung des LQW Modells zu erfassen.

Mit der im Kontext der Evaluationsforschung verorteten Forschungsarbeit werden die Fragestellungen verfolgt, wie sich das LQW-Modell im organisationellen Feld verbreitet hat, welche Akzeptanz das Modell und dessen impliziertes Qualitätsverständnis gefunden hat und welche Motive, Erwartungen und Wirkungen die Organisationen der Einführung von LQW zuschreiben. Zur Bearbeitung dieser Forschungsfragen nimmt die Autorin Bezug auf systemtheoretische und neoinstitutionalistische Theorieperspektiven, mit denen zwischen unterschiedlichen Systemebenen differenziert wird (Gesellschaft, Vermittlungsinstanzen, Organisation, Interaktion), an denen wiederum das hypothesengenerierende und -prüfende Forschungsdesign ansetzt: So wurden auf der Ebene derGesellschaft sowohl 19 Interviews mit Weiterbildungsreferenten der Bundesländer geführt als auch mit der Leitung der Testierungsstelle und 21 Gutachterinnen. Auf der Ebene derVermittlungsinstanzen wurden Interviews mit Mitarbeitenden der Unterstützungsreinrichtungen für LQW geführt. Die Perspektive derOrganisation wurde zu zwei Messzeitpunkten durch eine vollstandardisierte Fragebogenerhebung aller beteiligten Organisationen erfasst (N = 286; Rücklauf: 60 %) sowie durch explorative Fallstudien in zwei Organisationen. Schließlich wurden auf der Ebene derInteraktion Interviews mit Qualitätsbeauftragten und Gruppendiskussionen mit Teilnehmenden ausgewählter Organisationen geführt. Die Datenauswertung erfolgte für die qualitativen Anteile durch die Grounded Theory, während die quantitativen Anteile durch statistische Verfahren (Faktoren- und Clusteranalysen) ausgewertet wurden.

In den ausführlich dargestellten Ergebnissen der Forschungsarbeit zeigt sich auf der Ebene derGesellschaft, dass die Weiterbildungsreferenten der Bundesländer mehrheitlich positive Erwartungen an LQW knüpfen. Sie scheinen in den Interviews „[w]eitgehend das [zu] reproduzieren, was im politischen Diskurs als geltende Meinung dominiert“ (S. 142). Schließlich weise die vorzeitige Marktöffnung des Modells auf die Akzeptanz auf gesellschaftlicher Ebene hin.

Auf der Ebene derOrganisationen zeigt sich in den empirischen Ergebnissen zunächst eine feldgebundende Verbreitung von LQW. So haben sich überdurchschnittlich viele Volkshochschulen an LQW gebunden und gleichzeitig ist in den Bundesländern, die LQW positiv bewerten, die Verbreitung entsprechend größer. Schließlich wird in der Zusammenschau deutlich, dass LQW Einrichtungen eines bestimmten Typs besonders anspricht und damit „LQW keine generelle Akzeptanz“ gefunden habe (S. 161).

In den Faktoren- und Clusteranalysen zu den Motiven, Erwartungen und der Akzeptanz des Qualitätsverständnisses zeigt sich weiter, dass sich die Motive zur Einführung von LQW im Spannungsfeld zwischen extrinsischen und intrinsischen Motivlagen befinden. Unter Rückgriff auf die theoretischen Perspektiven wird als zentrales Ergebnis herausgearbeitet, dass der Begriff der Lernerorientierung eine Art „Nestwärme“ produziere. Dadurch werden überwiegend positive Erwartungen mit dem Modell verknüpft. Allerdings wird diese semantische Präferenz von den Organisationen nicht mit möglichen Auswirkungen im mikrodidaktischen Bereich verknüpft. Auch in der Akzeptanz des Qualitätsverständnisses zeigt sich dementsprechend, dass „der Teilnehmende als Lernender mit ausweisbarem Lernerfolg noch keinen systematischen Platz im Qualitätsverständnis gefunden hat, dass er als Referenzpunkt für mikrodidaktische Qualität von dieser gar entkoppelt ist“ (S. 246).

Vor diesem Hintergrund zeigen die insgesamt nur schwach signifikanten Wirkungen der Einführung von LQW, „dass die Formal- und Aktivitätsstruktur der Einrichtungen durch die in LQW präferiert Lernerorientierung entkoppelt werden.“ (S. 279) Dadurch habe LQW „genau da die geringste Wirkung, wo unter semantischen Gesichtspunkten eigentlich die deutlichsten Effekte hätten angenommen werden können“ (ebd.).

Die Forschungsarbeit widmet sich der zentralen Frage nach der Einführung von Qualitätssicherungsverfahren als Innovation in Organisationen. Damit wird mit der Studie ein wichtiger empirischer Beitrag zur Organisationsforschung sowie zum bislang empiriearmen Diskurs um Qualitätsmanagementverfahren in der Erwachsenenbildung geleistet. Stefanie Hartz bearbeitet in ihrer Habilitationsschrift eine überaus umfangreiche und komplexe Datengrundlage auf unterschiedlichen Systemebenen. In der Beschreibung der empirischen Ergebnisse wird diese Komplexität bearbeitet, indem vor allem die Systemebene der Organisation und die Auswertung der quantitativen Erhebung in den Mittelpunkt gerückt werden. Dadurch geraten die qualitativen Auswertungen der explorativen Fallstudien oder der Befragungen auf der Interaktionsebene in den Hintergrund. Diese sich aus dem umfangreichen Datenmaterial ergebende Problematik zeigt sich auch in der dem Ergebniskapitel inhärenten theoretischen Interpretation der empirischen Befunde. So bieten systemtheoretische und neoinstitutionalistische Zugänge das große Potenzial, die empirischen Ergebnisse der unterschiedliche Systemebenen zu relationieren, indem betrachtet werden kann, inwiefern die Kommunikationen der unterschiedlichen Systemebenen im Feld aneinander anschlussfähig sind. Dieses theoretische Potenzial der Relationierung wird in der Interpretation der Daten nicht hinreichend ausgeschöpft. Die Forschungsarbeit stellt aber durch ihre umfangreiche Datenmenge eine wichtige Pionierarbeit dar, bietet in ihren Ergebnissen einen tiefen Einblick in die Entscheidungs- und Motivstrukturen von Organisationen bei der Einführung von Qualitätssicherungsverfahren und ist vor diesem Hintergrund allen Wissenschaftlerinnen und Wissenschaftlern zu empfehlen, die sich mit Organisationsforschung und Qualitätssicherungsverfahren in der Weiterbildung beschäftigen.

Bernd Schaal/Franz Huber (Hrsg.), Qualitätssicherung im Bildungswesen. Der 2010 erschienene Sammelband beschäftigt sich mit der 2003 gegründeten bayerischen Qualitätsagentur am Staatsinstitut für Schulqualität und Bildungsforschung (ISB). Die Publikation stellt eine Bestandsaufnahme und Einordnung der Arbeit dar und richtet sich an Lehrkräfte sowie an Akteure der Politik und Wissenschaft. Um einen mehrperspektivischen Einblick in Aufgaben, Funktionen und Prozesse der Qualitätsagentur zu geben, wird zwischen einer Außenperspektive der Wissenschaft, einer Innenperspektive der Qualitätsagentur und einer weiteren Außenperspektive der Praxis unterschieden.

Die Beiträge zur wissenschaftlichen Außenperspektive beschäftigen sich mit Fragen nach der Qualitätssicherung im Schulwesen. Zunächst wird die Herausforderung der Umsetzung steuerungsbasierten Wissens beschrieben und die Funktion von Qualitätsagenturen als wichtige Schnittstelle zwischen Wissenschaft, Politik und schulischer Praxis interpretiert, deren Aufgabe in der Entwicklung und Durchführung von Vergleichsarbeiten, von internen und externen Evaluation sowie von Bildungsberichten liegt (Ditton). Darauf aufbauend wird das Instrument „Bildungsbericht“ dargestellt und reflektiert (Döbert) sowie – in diesem Rahmen – die Rolle der Bildungsstandards (Köller und Pant). Im Anschluss daran wird ein allgemeiner Überblick über das Konstrukt der Unterrichtsqualität im Spiegel aktueller empirischer Forschung gegeben (Helmke und Schrader), bevor der erste Teil mit einer Reflexion des Verhältnisses von Schulentwicklung und Qualitätssicherung (Rahm) abgeschlossen wird.

Im zweiten Teil des Sammelbands wird die Arbeit der bayerischen Qualitätsagentur aus einer Innenperspektive betrachtet. Im ersten Beitrag wird vor dem Hintergrund bildungstheoretischer Überlegungen die Aufgabe der Qualitätsagentur dahingehend bestimmt, dass diese in der Generierung und Bereitstellung empirischer Daten als „Orientierungshilfe“ (S. 126) bestehe. Darauf aufbauend erfolgt die Darstellung entsprechender in der Qualitätsagentur entwickelter Messinstrumente, wie der Bildungsberichterstattung (Burgmaier) und der von der Qualitätsagentur durchgeführten Vergleichsarbeiten in bayerischen Schulen (Crössmann). Abschließend wird aus der Innenperspektive die Herausforderung der externen Evaluation aus zwei verschiedenen Blickwinkeln beleuchtet. So wird zum einen allgemein die Herausforderung der Qualitätsagentur reflektiert, durch externe Evaluationen interne Schulentwicklungsprozesse anzustoßen (Vaccaro). Zum zweiten wird darauf eingegangen, wie in der Qualitätsagentur mögliche Evaluatorinnen und Evaluatoren ausgewählt und bei ihren Evaluationen unterstützt und betreut werden (Mühlbauer).

Mit dem dritten Teil des Sammelbandes kommt die Außenperspektive der Praxis zu Wort. Nach einer Einführung in den Thementeil (Sachsenröder) beschreiben die von der Qualitätsagentur ausgewählten Evaluatoren oder Schulleiter ihre Sichtweisen. So wird hier die Zusammenarbeit mit Regierungsbehörden beschrieben (Renner) sowie das Zusammenwirken von Schulaufsicht und der Qualitätsagentur (Oechslein). Abschließend wird der Prozess der externen Evaluation aus der Sicht beteiligter Schulleiterinnen (Wallner und Ringelstetter) sowie aus der Perspektive von externen Evaluatorinnen und Evaluatoren (Groß und Spiegel) dargestellt und reflektiert.

Der Sammelband liefert durch die klare Struktur und die gute Lesbarkeit einen umfangreichen Einblick in die Arbeit der bayerischen Qualitätsagentur. Durch den Einbezug der Innen- und Außenperspektiven wird ein mehrperspektivischer Zugang ermöglicht, mit dem Transparenz in das noch junge Praxisfeld gebracht wird. Gleichwohl zeigt sich in der Struktur des Bandes auch eine Problematik der Arbeit von Qualitätsagenturen. So werden mit der Außenperspektive der Wissenschaft im ersten Teil vielfältige Bezüge zu der aktuellen Debatte um Standards in der Qualitätssicherungsarbeit gesetzt. Die Beiträge der Innenperspektive der Agentur in Teil zwei und der Außenperspektive der Praxis im dritten Teil schließen jedoch kaum an diese Auseinandersetzungen an. Beispielsweise werden im zweiten Teil die Verfahren der Vergleichsarbeiten und der Bewertungsmechanismen der externen Evaluation explizit beschrieben, während die dahinterliegenden Bewertungskriterien oder Evaluationsstandards nicht reflexiv aufgegriffen werden. Aus dieser Perspektive erscheint die Arbeit der Qualitätsagentur zwar formell an die Diskussion um Qualitätsstandards anzuknüpfen, während die Handlungspraxis davon noch nicht durchdrungen ist. Trotz – oder auch wegen – der unreflektierten Schwachstelle bietet der Sammelband einen guten Einblick in die aktuelle Vorgehensweise der Qualitätsagentur und ist vor diesem Hintergrund allen Akteuren aus Wissenschaft und Praxis zu empfehlen, die sich für zentral organisierte Institutionen zur Qualitätssicherung im Schulsystem interessieren.

Bauer et al., Pädagogische Qualität messen. Ausgangspunkt des 2010 erschienenen Handbuchs war die Annahme, dass es inzwischen möglich sei, die Qualität von Lehr-Lernprozessen „präzise abzubilden und im Hinblick auf pädagogische Ziele zu bewerten“ (S. 8). Vor diesem Hintergrund wendet sich die Publikation an Lehrkräfte, die Hilfestellungen in der Erfassung ihrer pädagogischen Qualität bekommen sollen.¹

Um diese Zielstellung zu verfolgen wird zunächst der Schwerpunkt pädagogischer Qualität auf die „Erzeugung guter Lernumgebungen und guter Voraussetzungen für Bildungsprozesse“ (S. 12) gelegt und damit das „Angebot der Schule und der Lehrkräfte“ (ebd.) fokussiert. Vor diesem Hintergrund werden empirische Befunde zu Unterrichts-, Beratungs- und Schulqualität sowie daraus abgeleitete Modelle pädagogischer Qualität dargestellt, bevor darauf aufbauend Indikatoren und Messinstrumenten zur Untersuchung pädagogischer Qualität in den Mittelpunkt gerückt werden. In der Darstellung von Instrumenten zur Messung von Prozess- und Ergebnisqualität wird im Anschluss jeweils zwischen fächerübergreifenden und fachspezifischen Qualitätsindikatoren und Kompetenzanforderungen unterschieden, die durch Beispielitems, z. B. aus Vergleichstudien wie TIMMS und IGLU, illustriert werden.

Im Anschluss daran reflektieren die Autoren die Möglichkeiten der Rückmeldung empirischer Ergebnisse an Schulen und illustrieren diese anhand unterschiedlicher schriftlicher Rückmeldeformate. Nach diesen Beispielen, die aus externen Forschungen zur Schul- und Unterrichtsqualität stammen, wechseln die Autoren mit dem vierten Kapitel die Perspektive. Ab hier steht die Frage im Mittelpunkt wie Lehrkräfte „die Prozessqualität ihres Unterrichts überprüfen können“ (S. 105). Dazu stellen die Autoren Skalen zur Motivation von Schülern und zur Strukturiertheit des Unterrichts vor und bieten anschließend eine Anleitung zur Kombination unterschiedlicher Skalen in Fragebögen sowie zur Datenauswertung (in SPSS).

Vor diesem Hintergrund wenden sich die Autoren anschließend der „psychologischen Seite des Umgangs mit der Qualität der eigenen Arbeit“ (S. 129) zu. Dabei wird das Verhältnis von Professionalität und Technologie reflektiert und konstatiert, dass die Aufgabe darin bestehe „herauszufinden, welche Technologien am besten geeignet sind, unsere Arbeit zu unterstützen, und welche Technologien weniger nützlich oder sogar schädlich sind“ (S. 131). Daran anschließend werden Selbstentwicklungsprozesse im Beruf der Lehrkräfte unter Rückgriff auf Konstrukte der Persönlichkeitspsychologie diskutiert, bevor die erlebte Wirksamkeit und die Zufriedenheit im Beruf im Kontext aktueller Studien thematisiert werden.

Im abschließenden Ausblick beschreiben die Autoren eine zukünftige Entwicklung, bei der es durch die Integration von „fachlichen, fachdidaktischen und bildungswissenschaftlichen Modellen“ gelingen könne, „Bildung […] wieder inhaltlich klarer und überzeugender“ (S. 167) zu bestimmen. Dabei sei gerade die Kooperation von Institutionen, Professionen und Individuen von besonderer Bedeutung.

Mit dem Handbuch wird das viel diskutierte, herausfordernde und teilweise strittige Thema der Messung pädagogischer Qualität bearbeitet und für Lehrkräfte aufbereitet. Die Lehrkräfte werden direkt adressiert und durch zahlreiche Übungen zu Reflexionsprozessen angeregt. Das Handbuch bietet insgesamt einen gut strukturierten Überblick über aktuelle hypothesenprüfende Schul- und Unterrichtsforschungen. Leitend für den Aufbau und die Struktur des Handbuches ist die Grundprämisse der Autoren, dass pädagogische Qualität objektiviert durch quantitative statistische Erhebungsmethoden erfasst werden kann. Dieses Grundverständnis wird jedoch nicht expliziert oder im Kontext alternativer Deutungsmöglichkeiten pädagogischer Qualität verortet. Vor diesem Hintergrund erhalten die Lehrkräfte teilweise recht kleinschrittige Anleitungen zur Zusammenstellung von Itembatterien und deren Auswertung im SPSS-Programm. Problematisch erscheint dabei, dass Lehrkräfte hier angeregt und angeleitet werden, die Qualität ihres eigenen Unterrichts durch statistische Verfahren zu überprüfen, während die damit verbundenen forschungsmethodologischen Problematiken nicht thematisiert oder reflektiert werden. Wünschenswert wäre hier eine breitere Darstellung der qualitativen und quantitativen Möglichkeiten, die Qualität von Unterrichtsprozessen zu reflektieren.

Resümee. Die Arbeit der Autorinnen und Autoren einigt bei aller Unterschiedlichkeit die Frage, wie Qualität im Bildungssystem her- und sichergestellt werden kann. Entsprechend der eingangs differenzierten Ausgangslagen im schulischen und außerschulischen Bereich zeigen die Publikationen die aktuellen Entwicklungen in ihrem Teilbereich auf. So stellt die Arbeit von Hartz erste empirische Erkenntnisse über die Einführung und dezentrale Verbreitung von Qualitätssicherungssystemen in Organisationen der Weiterbildung bereit und liefert wichtige Erkenntnisse zur Motiv- und Wirkungsstrukturen von Einrichtungen bei der Einführung von Qualitätsmanagementverfahren. Demgegenüber bringt der Sammelband von Schaal und Huber Transparenz über die Arbeit einer eigens eingerichteten Agentur zur zentralen Koordination von Qualitätssicherungsaufgaben im Schulwesen und verweist auch auf die Schwierigkeit, die konzeptionelle und theoretische Debatte über Standards bei der Qualitätssicherung mit der Handlungspraxis im Feld zu verknüpfen. Das Handbuch zur Messung pädagogischer Qualität von Bauer und Kollegen liefert wiederum einen Einblick in die Perspektive der Lehrkräfte, die die Qualität ihres Unterrichts einschätzen lernen sollten. In der Zusammenschau der drei Publikationen zeigen sich die Bedeutung des Themas pädagogischer Qualität in der Erziehungswissenschaft sowie die fortschreitenden Entwicklungen in Forschung und Praxis.