1 Einleitung

Im Zuge des Bologna-Prozesses wurde für den Europäischen Hochschulraum (European Higher Education Area) ein übergreifender Qualifikationsrahmen für (Hochschul-)Abschlüsse festgelegt, der die Kompetenzen beschreibt, die Studierende durch ein Hochschulstudium erwerben sollen. Die Förderung von Kompetenzen ist damit zu einer Leitlinie der Studienstrukturreform der Hochschullehre geworden. Zusätzlich haben sich die Europäischen Minister/-innen verpflichtet, nationale Qualifikationsrahmen zu erstellen (Bologna working group on qualifications frameworks2005). Entsprechend wurde im März 2011 derDeutsche Qualifikationsrahmen für lebenslanges Lernen (DQR) verabschiedet. Hier finden sich präzisierte Beschreibungen von Kompetenzprofilen, über die Absolventinnen und Absolventen nach Abschluss verschiedener Ausbildungsgänge verfügen sollten (Arbeitskreis Deutscher Qualifikationsrahmen2011). Hochschulen haben den Nachweis zu erbringen, dass ihre Absolventen/-innen tatsächlich die entsprechenden Kompetenzen erworben haben.

Der Anforderung anQualitätssicherung der Lehre versuchen die Hochschulen meist mit der Evaluation der Lehre zu entsprechen. Einen anderen Ansatz wählte derNational Survey of Student Engagement (NSSE). Hierbei werden nicht die Lehrveranstaltungen evaluiert, sondern Studierende befragt, welches Engagement sie für ihren Studiengang auch außerhalb der Lehrveranstaltungen aufbringen (z. B. Vor- und Nachbereitung, Kommunikation mit anderen Studierenden, Zusammenarbeit in Lerngruppen) und welche Unterstützung sie dabei von der Universität erhalten (Kuh2003). Hierbei wird die Theorie verfolgt, dass Studierende durch ein kognitives und affektives Engagement lernen: Je stärker das Engagement ausgeprägt ist und je mehr Studierende sich engagieren, desto größer ist die Qualität der Lehre einzuschätzen. Vergleichsweise stärker durchgesetzt hat sich bisher jedoch die Durchführung von Studierendenbefragungen zur Qualität der Lehrveranstaltungen, die sie selbst besuchen. Solche regelmäßigen Lehrevaluationen sind zwischenzeitlich sogar zu einer Bedingung der Akkreditierung neuer Studiengänge geworden (vgl. ASIIN2008).

Während Lehrevaluationen dem Anspruch der Qualitätssicherung der Hochschullehre genügen mögen, wird aus unserer Sicht das Potenzial, das Lehrevaluationen für die Qualitätsentwicklung der Lehre bergen, bisher nicht wirklich verstanden und ausgeschöpft. Generell wird davon ausgegangen, dass die Durchführung von Evaluationen sowie die Rückmeldung der Ergebnisse die Lehrenden für das Thema „Qualitätssicherung“ sensibilisiert und die Qualität ihrer Lehrveranstaltungen dadurch verbessert wird (Hage1996; Balk2000). Interessanterweise zeigen jedoch einschlägige Meta-Studien, dass Evaluationen nicht immer eine entsprechende Wirkung zeigen konnten (Cohen1980; L’Hommedieu et al.1990).

Die uneindeutigen Befunde zur Wirksamkeit von Lehrevaluationen sind u. E. auch darauf zurückzuführen, dass die vermittelnden Prozesse, über die eine Rückmeldung der Studierendeneinschätzungen zu einer Optimierung des Lehrenden-Handelns führen soll, bisher nicht identifiziert worden sind. Eine Variable, die hierbei eine große Rolle spielen dürfte, soll in diesem Beitrag genauer untersucht werden:die Lehrorientierung der Lehrperson.

2 Merkmale guter Hochschullehrender: Kompetenzorientierung durch studierendenfokussierte Lehrorientierung

Welche Merkmale haben gute Hochschullehrende? Was Wildt (2005) als „shift from teaching to learning“ bezeichnet, drückt sich darin aus, dass Lehrende nicht nur die Aufgabe reiner Wissensvermittlung haben, sondern sich eher als Initiator des Lernprozesses der Studierenden sehen sollen. Die Aufgabe der Dozierenden ist es somit, herausfordernde Lernumgebungen zu schaffen, in denen die Studierenden aktiviert werden, eigenständig ihre Kompetenzen zu entwickeln und zu erweitern. Für diese Art der Gestaltung von Lehre – der sog. kompetenzorientierten Lehre – hat sich eine studierendenfokussierte Lehrorientierung des Dozierenden als förderlich erwiesen (Braun und Hannover2009).

Das Konzept der Lehrorientierung lässt sich empirisch basiert (vgl. u. a. Gow und Kember1993; Prosser et al.1994) in zwei Dimensionen differenzieren: eine lehrendenfokussierte und eine studierendenfokussierte Ausrichtung. Lehrendenfokussierte Dozierende sehen es als wichtig für den Lernprozess an, Fachkenntnisse an ihre Studierenden zu vermitteln. Entsprechend steht der fachliche Vortrag durch die Lehrperson im Zentrum des Unterrichts, Vorwissen und Eigenaktivitäten der Studierenden spielen eine vergleichsweise untergeordnete Rolle (vgl. Kember1997). Studierendenfokussierte Lehre folgt im Unterschied dazu einem konstruktivistischen Verständnis von Lernen: Die wesentliche Unterrichtszeit wird durch Aktivitäten der Studierenden gefüllt, durch die sie Wissen konstruieren und auf diese Weise Kompetenzen erwerben und erweitern. Die Dozierenden sind hierbei als Unterstützer dieses Prozesses zu verstehen: Sie geben Lernimpulse und setzen Aufgaben ein, die soziales Lernen bei der Lösung authentischer und komplexer Aufgaben ermöglichen (vgl. De Corte2000). Ähnliche Unterscheidungen zwischen verschiedenen Ausrichtungen der Lehrorientierung sind von Prosser und Trigwell (approaches to teaching,2006) und Norton et al. (teachers’ beliefs,2005) vorgeschlagen worden.

Die Lehrorientierung kann mit verschiedenen Instrumenten gemessen werden. Ein im Bereich der Hochschulforschung besonders häufig genutztes Instrument ist dasApproaches to Teaching Inventory (ATI, Trigwell und Prosser2004). Dieser Fragebogen umfasst insgesamt 16 Items mit je acht Fragen zu den Subskalen Studierendenfokussierung (z. B. „In my interactions with students in this subject I try to develop a conversation with them about the topics we are studying“) und Lehrendenfokussierung (z. B. „In this subject, I only provide the students with the information they will need to pass the formal assessments“).

Empirisch zeigt sich, dass Lehrende ihren Unterricht durch unterschiedlich starke Zustimmung zu den beiden Orientierungen beschreiben (z. B. Kember und Kwan2002; Gibbs und Coffey2004; Winteler2004). Die beiden Subskalen sind dabei nicht interkorreliert, stellen also kein bipolares Konstrukt dar, sondern bilden zwei qualitativ unterschiedliche Dimensionen ab (Nijhuis und Segers2007; Braun und Hannover2009; Lübeck2009). Gleichwohl ist eine gewisse Stabilität der Lehrorientierung nachweisbar und darüber hinaus sind kontextabhängige Variationen in der Dominanz der einen oder anderen Orientierung möglich (Samuelowicz und Bain2001).

Studien, die den Zusammenhang zwischen Lehrorientierungen und dem Lernerfolg von Studierenden untersucht haben, fanden eine Überlegenheit der studierendenfokussierten Ausrichtung. So berichteten die von Braun und Hannover (2009) befragten Studierenden einen stärkeren Kompetenzzuwachs, wenn die besuchte Lehrveranstaltung studierendenfokussiert ausgerichtet war, als wenn die Lehrperson eine vergleichsweise stark ausgeprägte Lehrendenfokussierung hatte. Trigwell et al. (1999) untersuchten, ob Lehrorientierungen mit Lernstrategien der Studierenden einhergehen. Sie konnten zeigen, dass studierendenfokussierte Ansätze mit einem tiefergehenden Zugang zum Lernen (deep approach to learning) – also einem vermehrten Einsatz lernförderlicher Strategien – einhergehen. Umgekehrt gab es einen Zusammenhang zwischen lehrendenfokussierten Ansätzen und der Nutzung eher oberflächlicher Lernstrategien (surface approach to learning). Zusammenfassend kann eine studierendenfokussierte Lehrorientierung als Merkmal guter Hochschullehre gesehen werden, da sie für den Kompetenzerwerb der Studierenden förderlich ist.

3 Gestaltung von Lehrevaluationen zum Zweck der Verbesserung der Lehre

Vor dem Hintergrund, dass Lehrpersonen mit höherer Studierendenfokussierung den Kompetenzzuwachs seitens der Studierenden begünstigen können, ergibt sich die Frage, wie eine studierendenfokussierte Lehrorientierung bei den Dozierenden gefördert werden kann. Genauer wollen wir mögliche Einflüsse von Lehrevaluationen untersuchen. Vorhandene Lehrevaluationsinstrumente fokussieren in aller Regel die Prozessebene, d. h. den Verlauf einer Lehrveranstaltung und die Gestaltung durch die Lehrperson (vgl. Braun und Gusy2006). Beispiele sind die vielfach eingesetzten Instrumente von Westermann et al. (1998), Staufenbiel (2000) oder Rindermann (2001). Sie enthalten Items, die direkt auf die Lehrperson bezogen sind (z. B. Didaktik, Freundlichkeit der Lehrperson, Qualität der Materialien, Anforderungen etc.). Prozessorientierte Evaluationen richten sich also auf eine Bewertung des Verhaltens der Lehrperson durch die Studierenden und spiegeln Zufriedenheitsurteile der Studierenden wider.

Nur selten finden sich Evaluationsinstrumente, die sich an den im Rahmen des Bologna-Prozesses neu formulierten Anforderungen an die Hochschullehre ausrichten, indem sie den subjektiven Kompetenzerwerb der Studierenden erfragen. Das erste Instrument mit kompetenz- oder ergebnisorientiertem Schwerpunkt ist dasBerliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BevaKomp: Braun et al.2008). Hier werden die Einschätzungen der Studierenden erfragt, was sie durch die Teilnahme an der Lehrveranstaltung gelernt haben.

Wir vermuten, dass eine Lehrperson, wenn sie mit einer ergebnisorientierten Rückmeldung über die eigene Lehre konfrontiert wird, den Fokus ihrer Aufmerksamkeit auf die Frage richtet, ob sie den Erwerb von Kompetenzen bei den Studierenden hinreichend gefördert hat; ob sie Lerngelegenheiten geschaffen hat, die die Studierenden für den Kompetenzerwerb nutzen konnten. Entsprechend sollte ein solches Feedback eine Studierendenfokussierung auslösen. Umgekehrt sollten Dozierende, die eine Rückmeldung über ihr Lehrverhalten in Form von prozessorientierten Evaluationen erhalten, sich vor allem Gedanken über die eigene Person machen, denn das Feedback ist darauf fokussiert, wie sehr die Studierenden mit der Lehrperson zufrieden waren. Es sollte somit eine Lehrendenfokussierung induziert werden.

In den im Folgenden dargestellten drei Untersuchungen sollen diese Annahmen empirisch geprüft werden. Zwischen den Studien wird variiert, ob die Lehrpersonen ihre Lehrorientierung retrospektiv oder aber prospektiv beschreiben sollen. Wir erwarten, dass ein ergebnisorientiertes Feedback durch die Studierenden – relativ zu einem prozessorientierten Feedback – a) die Absicht der Lehrperson stärkt, in ihrer zukünftigen Lehre stärker studierendenfokussiert und weniger lehrendenfokussiert vorzugehen und b) bei der Bewertung der eigenen in der Vergangenheit durchgeführten Lehre zu einer kritischeren Selbstsicht führt, also zu der Einschätzung, nicht genügend studierendenfokussiert und zu stark lehrendenorientiert vorgegangen zu sein.

3.1 Studie 1: Reaktionen von Expertinnen und Experten auf fiktives prozess- versus ergebnisorientiertes Feedback über eigene Lehre

Die Studie war eine experimentell angelegte qualitative Pilotstudie. Expertinnen und Experten zum Thema Hochschullehre wurden gebeten, ihre Gedanken, wie sie zukünftig eigene Lehre gestalten wollen, zu äußern und zwar nachdem sie fiktive Lehrevaluationsergebnissen erhalten hatten. Die Personen hatten zufällig entweder ein prozessorientiertes oder aber ergebnisorientiertes fiktives Feedback erhalten. Die Äußerungen wurden inhaltsanalytisch kategorisiert und die Ergebnisse beider Gruppen miteinander verglichen.

Stichprobe.

Es wurden 11 männliche und 7 weibliche Teilnehmer/-innen (N = 18) eines Workshops zur „Qualität in der Lehre“ untersucht. Die Teilnahme an dem Workshop war freiwillig und erfolgte im Rahmen einer hochschuldidaktischen Tagung. Die Teilnehmenden können als Expert/-innen zum Thema Hochschullehre betrachtet werden, da sie über umfangreiche eigene Lehrerfahrung verfügten und/oder eine berufliche Tätigkeit im Bereich der Qualitätssicherung der Lehre ausübten. Das Durchschnittsalter der Teilnehmenden lag bei 42,6 Jahren (SD = 13,4).

Durchführung.

Den Teilnehmenden wurde randomisiert eine von zwei Evaluationsrückmeldungen aus einer fiktiven Lehrveranstaltung vorgelegt, die entweder ergebnisorientiert (n = 9) oder prozessorientiert (n = 9) war. Die Teilnehmenden sollten die Ergebnisse betrachten und sich vorstellen, dass es sich hier um eine Lehrveranstaltung handelt, die sie selbst gehalten haben. Darauffolgend wurden sie gebeten aufzuschreiben, was genau sie in einer neuen Lehrveranstaltung im nächsten Semester aufgrund der Rückmeldung verändern würden: „Wie würden Sie Ihre Lehrveranstaltung im nächsten Semester aufgrund der Rückmeldung verbessern?“

Erhebungsinstrumente.

Für die Experimentalgruppe (EG) wurden fiktive ergebnisorientierte Lehrevaluationsergebnisse von Studierenden mittels des BEvaKomp (Braun et al.2008) erstellt. Wie Tab. 1 zu entnehmen ist, wurden aus diesem Instrument Items der SkalenFachkompetenz (6 Items, z. B. „Aufgrund dieser Lehrveranstaltung kann ich behandelte, komplizierte Sachverhalte anschaulich darstellen.“),Methodenkompetenz (3 Items, z. B. „In Folge dieser Lehrveranstaltung kann ich meine Arbeit besser organisieren.“) undPersonalkompetenz (5 Items, z. B. „Die Lehrveranstaltung hat mich darin bestärkt, mein Studium fortzusetzen.“) entnommen.

Für die Kontrollgruppe (KG) wurden aus dem prozessorientiertenFragebogen zur Evaluation von Seminaren (FESEM, Staufenbiel2000) analoge Items ausgewählt, die jeweils einen möglichst ähnlichen Sachverhalt wie die Items aus dem BEvaKomp erfassen: Aus den SkalenPlanung und Darstellung wurden 4 Items entnommen (z. B. „Der/Die Dozent/in gibt zu wenig erklärende und weiterführende Informationen zu den behandelten Themen.“) und aus den SkalenInteressantheit und Relevanz 5 Items (z. B. „Der/Die Dozent/in gestaltet das Seminar interessant.“) (vgl. Spalte 2 in Tab. 1).

Die Teilnehmenden beider Gruppen erhielten fiktives Feedback von Studierenden in Form der gleichen Mittelwerte (vgl. Spalte 3 in Tab. 1). Zusätzlich wurde beiden Gruppen für eine bessere Einordnung der Ergebnisse ein fiktiver Mittelwert aus anderen Lehrveranstaltungen als Referenzwert rückgemeldet (vgl. Spalte 4 in Tab. 1).

Tab. 1 Erhebungsmaterial zur qualitativen Studie
Full size table

Ergebnisse.

Auf der Grundlage der Angaben der Teilnehmenden zu der Frage, wie sie ihre Lehrveranstaltung im nächsten Semester aufgrund der Rückmeldung verändern würden, wurden Kategorien gewonnen, die der Beschreibung lehrendenfokussierter (z. B. Einbettung in die Prüfungsordnung) und studierendenfokussierter (z. B. starker Praxis-/Anwendungsbezug für die Studierenden) Aspekte von Lehre dienten. Die Kategorien sind in Tab. 2 dargestellt. Zwei Rater wiesen nun unabhängig voneinander die Antworten der Befragten den Kategorien zu. Sämtliche Aussagen konnten den Kategorien zugeordnet werden. Eine Prüfung auf Interraterreliabilität ergab einen Cohens Kappawert von, 68. Landis und Koch (1977) bezeichnen einen solchen Wert als „beachtliche Übereinstimmung“ und Greve und Wentura (1997) als „gut bis ausgezeichnet“. Die Häufigkeiten, mit denen Aussagen zu den einzelnen Kategorien gemacht wurden, sind in Tab. 2 dargestellt.

Tab. 2 Häufigkeit der Aussagen zu den verschiedenen Kategorien, aufgeteilt nach Lehrorientierungen und Art der Ergebnisrückmeldung
Full size table

Insgesamt wurde deutlich, dass Personen mit ergebnisorientierter Rückmeldung häufiger Gedanken äußerten, wie sie in ihrer zukünftigen Lehre die Interaktionen zwischen den Studierenden und Eigenaktivitäten der Studierenden stärker fördern könnten. Beispielsweise hieß es, die Studierenden sollten zur Arbeit mit „weniger Formelwissen, mehr praktische[n] Beispiele[n], z. B. projektorientiert“ (3 Nennungen) angeregt werden und „[…] sich stärker einbringen können.“. Ein weiterer häufig in Reaktion auf eine ergebnisorientierte Rückmeldung geäußerter Aspekt war die Förderung selbständigen Arbeitens der Studierenden. Hierzu hieß es beispielsweise: „evtl. kleines Projekt integrieren, in denen die Studierenden eine Fragestellung entwickeln und eine kleine eigene Forschung/Recherche/Empirie durchführen“ (3 Nennungen). Darüber hinaus wurde nach ergebnisorientiertem Feedback stärker die Förderung von Wissenstransfer betont: „Nutzen des Themas für weitere/spätere Themen hervorheben (wozu lerne ich das)“ (3 Nennungen).

Personen, die prozessorientierte Rückmeldung erhalten hatten, machten sich vergleichsweise mehr Gedanken über die eigene Person und Materialien zum studentischen Selbststudium. Die Teilnehmer/-innen erläuterten hier meist, etwas an der eigenen Person oder den seminarbegleitenden Studienunterlagen ändern zu wollen, was die folgenden Aussagen exemplarisch verdeutlichen: „ich würde versuchen, mich selbst mehr zu motivieren, damit meine eigene Motivation authentisch bei den Studierenden ankommt“ (3 Nennungen) sowie „ich würde mehr Lernmaterial zur Verfügung stellen“ (5 Nennungen). Ansätze zur Veränderung der Lehre wurden also in erster Linie bei der eigenen Person (in ihrer Funktion als Lehrende/r) gesucht und nicht in einer Verbesserung der Interaktion mit den Studierenden.

Diskussion.

Die Ergebnisse der qualitativen Befragung zeigen, dass erwartungsgemäß die Konfrontation mit ergebnisorientierten Lehrevaluationsergebnissen bei Lehrenden Reflektionen über die eigene Studierendenfokussierung und Möglichkeiten auslösten, diese in der eigenen Lehre zu verstärken. Rückmeldungen zu Prozessvariablen hingegen verstärkten erwartungsgemäß bei den Lehrenden eine Auseinandersetzung mit der eigenen Person in ihrer Funktion als Lehrende/r; in der Folge wurden vor allem Vorsätze zur Veränderung der eigenen Person – nicht aber zur Optimierung des Kompetenzerwerbs der Studierenden – formuliert.

Diese erste qualitative Studie arbeitete mit einer nur kleinen Stichprobe mit fiktivem Studierendenfeedback, durch das entweder studierendenfokussierte oder lehrendenfokussierte Vorsätze zur Gestaltung der eigenen zukünftigen Lehre angeregt werden sollten. Es wurden bewusst Expertinnen und Experten zum Thema Hochschullehre gewählt, in der Annahme, dass diese in besonderem Maße in der Lage sein würden, Metakognitionen zur eigenen Lehrenden- und Studierendenfokussierung zu äußern. Dies bedeutet, wir haben Wert auf eine hohe einschlägige Kompetenz der Befragten gelegt und dafür in Kauf genommen, dass die Gruppe der Teilnehmenden nur sehr klein war. Aufgrund der kleinen und selektiven Stichprobe sind die hier gewonnenen Ergebnisse als Tendenzen zu verstehen und sollten nicht generalisiert werden.

In einer zweiten Studie sollte unsere Hypothese nun in einer nicht selegierten und größeren Stichprobe von Lehrenden geprüft werden. Im Unterschied zur ersten Studie wurden nicht Vorsätze für die zukünftige Lehre erfasst, sondern die Lehrenden sollten ihre eigene Lehreretrospektiv hinsichtlich der Stärke ihrer Studierenden- und Lehrendenfokussierung einschätzen. Während wir in Studie 1 fiktives Feedback genutzt haben, um den Einfluss der Valenz der Rückmeldungen konstant halten zu können, sollten in Studie 2 die Einschätzungen der Lehrenden darüber, wie ihre Lehre in der Vergangenheit war, durch die Art des Studierendenfeedbacks beeinflusst werden. Entsprechend war es erforderlich, die Lehrenden mit tatsächlichen Rückmeldungen ihrer Studierenden zu konfrontieren.

Entsprechend den Ergebnissen aus der ersten qualitativen Studie haben wir erwartet, dass ergebnisorientierte Lehrevaluationsergebnisse einen Impuls geben, über die Lehrgestaltung in Richtung einer stärkeren Aktivierung der Studierenden nachzudenken. Dies sollte sich darin zeigen, dass sich Lehrende nach einer ergebnisorientierten Rückmeldung von ihren Studierenden im Vergleich zu vorher und im Vergleich zu Lehrenden, die eine prozessorientierte Rückmeldung erhalten haben, weniger studierendenfokussiert einschätzen. Diese Annahme beruht auf Befunden, nach denen eine Veränderung von auf die Lehre bezogenen Orientierungen einen längerfristigen Prozess darstellt, der durch eine „kritische Selbstreflexion“ initiiert wird, die sich in einer kritischen Einschätzung der eigenen Lehrorientierung (in unserem Fall einer geringen Einschätzung der Stärke der eigenen Studierendenfokussierung) niederschlägt (Postareff et al.2007,2008).

Diese kritische Selbstreflexion sollte sich aber nicht in einer generell negativeren Sicht der eigenen Lehre niederschlagen, sondern spezifisch in einer geringeren Einschätzung der eigenen Studierendenfokussierung sichtbar werden. Die Ergebnisse unserer qualitativen Studie lassen erwarten, dass die Reflexion des ergebnisorientierten Feedback in der Regel die Aufmerksamkeit der Lehrenden auf Diskrepanzen zwischen dem Ziel einer aktivierenden Lehre und der eigenen aktuellen Lehre lenkt. Entsprechend haben wir hinsichtlich der Einschätzung der eigenen Lehrendenfokussierung keine gerichtete Hypothese darüber formuliert, ob die Lehrenden diese retrospektiv in Abhängigkeit der Art des Studierendenfeedbacks anders einschätzen würden oder nicht.

Zur Beeinflussung der Lehrorientierung wurden – wie in Studie 1 – die Rückmeldungen der Studierenden entweder auf einem ergebnisorientierten Evaluationsinstrument oder aber einem prozessorientierten Evaluationsinstrument gegeben. Im Unterschied zur ersten Studie kam a) zur Erfassung der Lehrorientierungen ein quantitatives Maß zum Einsatz: dasApproaches to Teaching Inventory (ATI, Trigwell und Prosser2004) und wurden b) nicht fiktive Urteile, sondern die tatsächlichen Einschätzungen der Studierenden rückgemeldet, die die betreffende Lehrveranstaltung des Dozierenden besucht hatten. Um eine Veränderung in der Lehrorientierung nachweisen zu können, wurde der ATI zu zwei Messzeitpunkten vorgegeben.

3.2 Studie 2: Beeinflussung der Lehrorientierung durch Verwendung eines ergebnisorientierten versus eines prozessorientierten Evaluationsinstrumentes

Stichprobe.

Als Probanden wurden für diese Untersuchung 54 Lehrende (34 wissenschaftliche Mitarbeitende, davon 13 promoviert und 3 habilitiert, sowie 20 Professoren/-innen) aus Natur- und Geisteswissenschaften einer großen Universität in Deutschland gewonnen. Bei den ausgewählten Lehrveranstaltungen handelt es sich ausschließlich um Seminare. Die den Teilnehmenden vorgelegten Rückmeldungen basierten auf den Lehrevaluationen der Studierenden, die das jeweilige Seminar besucht hatten. Insgesamt lagen Urteile von N = 1600 Studierenden vor, wobei in den 54 Seminaren im Durchschnitt 28,1 Studierende (SD = 9,2) teilnahmen.

Erhebungsinstrumente.

Für die Erfassung der Lehrorientierung wurde das ATI in der deutschen Übersetzung nach Braun und Hannover (2009) gewählt. Das deutsche Inventar umfasst 11 Items, fünf zur Lehrendenfokussierung (z. B. „In dieser Veranstaltung behandele ich hauptsächlich Inhalte, die in einem Standardwerk stehen sollten.“) und sechs zur Studierendenfokussierung (z. B. „Zwischen den Inhalten der Lehrveranstaltung und der zukünftigen Berufswelt der Studierenden stelle ich gezielt Bezüge her.“). Die Items wurden von den Dozierenden auf einer fünfstufigen Likert-Skala (1 = nur selten, 5 = fast immer) beurteilt.

Den Studierenden wurde entweder das vollständige BEvaKomp (6 Skalen, 27 Items) oder der vollständige FESEM (5 Skalen, 19 Items) zur Evaluation der jeweiligen Lehrveranstaltung vorgelegt.

Durchführung.

Die erste Erhebung des ATI bei den Lehrenden fand in der Mitte des Semesters zeitgleich mit der Durchführung der studentischen Lehrevaluation statt. Die zweite Erhebung des ATI fand zwei Wochen später statt, nachdem den Dozierenden die Ergebnisse der Lehrevaluation zurückgemeldet worden waren.

Die Lehrenden wurden den beiden Bedingungen „ergebnisorientierte Lehrevaluation“ versus „prozessorientierte Lehrevaluation“ randomisiert zugeordnet. Während die Studierenden von Dozierenden, die der Bedingung „ergebnisorientierte Lehrevaluation“ zugewiesen worden waren (n = 29), den BEvaKomp ausfüllten, wurde den Studierenden, deren Dozierende der Bedingung „prozessorientierte Lehrevaluation“ zugewiesen worden waren (n = 25), der FESEM zur Evaluation der Lehrveranstaltung vorgelegt. Die unterschiedlichen Gruppengrößen kommen durch den Ausfall von Probanden/-innen zu t2 zustande.

Ergebnisse.

Die Skala zur Lehrendenfokussierung wies eine nur geringe Reliabilität auf (Messzeitpunkt t1: α = 0.47 auf; Messzeitpunkt t2: α = 0.45). Die Subskala zur Studierendenfokussierung wies zu t1 ein Cronbachs α von 0.66 und zu t2 von α = 0.64 auf.

Die Höhe der Korrelation zwischen Lehrenden- und Studierendenfokussierung der Lehrorientierung war zum ersten Messzeitpunkt r = 0.07 und zum zweiten Messzeitpunkt r = 0.06, sodass die Konstrukte als unabhängig voneinander betrachtet werden können.

Da die Angaben auf den beiden Subskalen zur Lehrorientierung sich als unabhängig voneinander erwiesen, wurden sie getrennt ausgewertet (vgl. Tabachnik und Fidell2007; Field2009). Sie wurden jeweils einer einfaktoriellen Varianzanalyse (ergebnisorientierte versus prozessorientierte Rückmeldung) mit Messwiederholung auf dem Faktor Zeitpunkt der Messung der Lehrorientierung (vor Ergebnisrückmeldung, nach Ergebnisrückmeldung) unterzogen.

Tab. 3 Deskriptive Statistik nach Lehrorientierung und Art der Evaluation
Full size table

Die deskriptiven Statistiken (vgl. Tab. 3) zeigten, dass sich zum ersten Messzeitpunkt die Gruppen der Dozierenden hinsichtlich ihrer Ausgangslage in der Studierendenfokussierung signifikant unterschieden: Dozierende, die zwischen den zwei Messzeitpunkten eine ergebnisorientierte Evaluationsrückmeldung erhalten hatten, berichteten eine signifikant höhere Studierendenfokussierung. Da sich die beiden Gruppen zum ersten Messzeitpunkt in der Studierendenfokussierung unterscheiden, hat eine Randomisierung offensichtlich nicht ganz funktioniert.

Allerdings sind hier Veränderungen über die Zeit von Interesse, sodass die Werte des ersten Zeitpunkts als Vergleichswert verwendet werden sollen. Maßgeblich für die Abschätzung der Wirkung des Treatments ist die Interaktion zwischen Messzeitpunkt und Art des Feedbacks, die erwartungsgemäß zeigte, dass sich die retrospektive Selbsteinschätzung der eigenen Studierendenfokussierung nach den ergebnisorientierten Rückmeldungen verringerte (MWMZP1 = 3.48; SDMZP1 = 0.68; MWMZP2 = 3.24; SDMZP2 = 0.85; p = 0.038), hingegen nach den prozessorientierten Rückmeldungen stabil blieb (MWMZP1 = 2.78; SDMZP1 = 0.67; MWMZP2 = 2.75; SDMZP2 = 0.65; p = 0.848). Die Interaktion war allerdings nur marginal signifikant (F(1,48) = 3.73, p = 0.059; η2 = 0.13). Für die Lehrendenfokussierung zeigten sich keine statistisch bedeutsamen Unterschiede. Sowohl nach einer ergebnisorientierten Rückmeldung (MWMZP1 = 3.79; SDMZP1 = 0.52; MWMZP2 = 3.69; SDMZP2 = 0.54; p = 0.309) als auch nach einer prozessorientierten Rückmeldung (MWMZP1 = 3.75; SDMZP1 = 0.56; MWMZP2 = 3.73; SDMZP2 = 0.56; p = 0.979) blieben die Einschätzungen der Lehrenden hinsichtlich ihrer Lehrendenfokussierung stabil, Interaktion Treatment ´ Zeitpunkt F(1,44) = 1.58, p = 0.22.

Diskussion.

Die Ergebnisse aus den Varianzanalysen mit Messwiederholung zeigten, dass nur die Rückmeldung auf Grundlage eines ergebnisorientierten Evaluationsinstrumentes eine statistisch signifikante zeitliche Veränderung in der studierendenfokussierten Lehrorientierung auslöste: Lehrende schätzten unmittelbar nach dem Erhalt einer ergebnisorientierten Rückmeldung, nicht aber nachdem sie eine prozessorientierte Rückmeldung erhalten hatten, ihre eigene Studierendenfokussierung als geringer ein als zum ersten Messzeitpunkt. Die Lehrendenfokussierung hingegen blieb unabhängig von der Art des Studierendenfeedbacks über die Zeit stabil. Diese Befunde sind konsistent mit unserer Annahme, dass studierendenfokussierte Rückmeldungen Diskrepanzen zwischen dem Ziel einer kompetenzorientierten Lehre und der eigenen Lehre deutlich machen, wohingegen prozessorientiertes Feedback die Selbstaufmerksamkeit der Lehrenden stärker auf die eigene Person als auf Veränderungspotentiale in der eigenen Lehrgestaltung lenkt. Dieses Ergebnis ist ein erster Hinweis darauf, dass ergebnisorientierte Lehrveranstaltungsevaluationen eine kritische Selbstsicht der eigenen Studierendenfokussierung bei den Dozierenden anregt – also eine Voraussetzung für die Entstehung von Veränderungsabsichten bieten.

Kritisch sind jedoch die nicht zufriedenstellenden Kennwerte für die Reliabilität der Subskalen des ATI anzumerken. Eine Ursache dafür könnte sein, dass unsere Stichprobe sehr heterogen war: Unsere Dozierenden unterschieden sich deutlich in ihrem Alter, ihrem beruflichen Status und hinsichtlich ihrer Fachrichtung. In anderen Studien, die höhere Reliabilitäten berichteten, wurden vergleichsweise homogenere Stichprobe verwendet (z. B. Braun und Hannover2009). Allerdings kann trotz dieser geringen Reliabilität erwartungskonform eine Veränderung der Studierendenfokussierung über die Zeit beobachtet werden.

In unserer zweiten Studie hatten wir einen Ansatz gewählt, in dem die Dozierenden retrospektiv das Ausmaß des Lehrenden- und Studierendenfokus in ihrer eigenen Lehre angeben sollten. In Studie 3 soll nun ergänzend – und analog zu dem Vorgehen in unserer ersten Studie – die prospektive Orientierung der Lehrenden erfasst werden: Die Teilnehmer/-innen wurden gefragt, wie sie aufgrund der Evaluationsrückmeldung ihre zukünftige Lehre gestalten möchten. Dabei wurden wiederum – analog zu unserem Vorgehen in Studie 1 – fiktive Ergebnisrückmeldungen verwendet, um die Valenz des Feedbacks konstant halten zu können.

Um zu zeigen, dass derzeit gängige Evaluationsinstrumente in unterschiedlichem Maße eine Studierendenfokussierung der Lehrenden fördern, haben wir in unserer zweiten Studie zwei häufig verwendete Fragebögeninventare verwendet. Es könnte nun aber eingewendet werden, dass die in den beiden experimentellen Bedingungen erzeugten differenziellen Effekte nicht auf die Variation der Ergebnis- bzw. Prozessrückmeldung zurückgehen, sondern durch andere Merkmale der Items (z. B. sprachliche) bedingt waren, die ebenfalls zwischen den Bedingungen variierten. Um diese Alternativerklärung auszuschließen, wurden für Studie 3 Items konstruiert, die sich in ihrer Orientierung auf Ergebnisse oder aber auf Prozesse voneinander unterschieden, in ihren semantischen Inhalten jedoch parallel waren.

3.3 Studie 3: Beeinflussung der Lehrorientierung durch Verwendung parallelisierter ergebnisorientierter versus prozessorientierter Items zur Evaluation der Lehre

Wir haben erwartet, dass eine Evaluationsrückmeldung auf ergebnisorientiert formulierten Items bei Dozierenden stärkere Absichten auslösen, ihre Lehre zukünftig studierendenfokussiert zu gestalten, als eine Evaluationsrückmeldung auf parallel formulierten, aber prozessorientierten Items. Für die Lehrendenfokussierung wurde auf der Grundlage der Ergebnisse von Studie 1 (in der die Befragten ebenfalls einen prospektiven Blick einnehmen sollten) erwartet, dass Lehrende nach einer prozessorientierten Rückmeldung ihre Lehre zukünftig lehrendenfokussierter gestalten wollen als Lehrende, die eine ergebnisorientierte Rückmeldung erhalten haben.

Stichprobe.

Insgesamt haben 69 Lehramtsstudierende (39 weiblich, 30 männlich) verschiedener Fachrichtungen, an dieser Untersuchung teilgenommen. Diese Gruppe der Studierenden wurde gewählt, da sie sich derzeit in der Ausbildung zu Lehrkräften befinden und in ihrem späteren Beruf Feedback von ihren Schülern/-innen zum Unterricht erhalten werden und dieses dann interpretieren und verarbeiten müssen. Außer dem Geschlecht der Befragten wurden keine weiteren personenbezogenen Daten erhoben.

Erhebungsinstrumente.

Für das fiktive Studierendenfeedback wurden aus dem BEvaKomp neun Items ausgewählt, die es ermöglichten, eine analoge prozessorientierte Aussage zu formulieren. Tab. 4 stellt die verwendeten Items dar. Um sicherzustellen, dass das fiktive Feedback zwischen den experimentellen Bedingungen vergleichbar hinsichtlich seiner Sinnhaftigkeit und Valenz wahrgenommen wird, wurden die Teilnehmenden zusätzlich gefragt, wie sinnvoll sie es finden, solche Rückmeldungen zu erhalten (fünfstufig; 1 = stimmt überhaupt nicht, 5 = stimmt völlig) und ob sie die Bewertung der Lernenden als sehr negativ oder sehr positiv empfanden (fünfstufig; 1 = sehr negativ, 5 = sehr positiv).

Für die Erfassung der Lehrorientierungen wurde wiederum die deutschsprachige Version des ATI (Braun und Hannover2009) verwendet.

Tab. 4 Originalitems aus dem BEvaKomp und deren Adaptation
Full size table

Durchführung.

Analog zu Studie 2 wurden den Teilnehmern/-innen fiktive Evaluationsergebnisse vorgelegt. Als Hintergrund wurde ihnen mitgeteilt, dass es um die Fragestellung geht, wie sie als Lehrperson mit Rückmeldungen umgehen, die sie zu ihrer Lehre erhalten. Sie wurden gebeten sich vorzustellen, dass diese Ergebnisse ihre persönlichen erreichten Ergebnisse sind. Den Proband/-innen wurde 10 min Zeit gegeben, sich mit den Ergebnissen auseinanderzusetzen. Im Anschluss daran wurden sie gebeten die (adaptierte) deutschsprachige Version des ATI auszufüllen.

Ergebnisse.

Die Reliabilität der Skala Studierendenfokussierung mit sechs Items betrug α = 0.63. Für die Skala zur Lehrendenfokussierung ließ sich ebenfalls ein Cronbachs α von 0.63 feststellen. Mittelwerte und Standardabweichungen zu den erhobenen Variablen sind Tab. 5 zu entnehmen.

Tab. 5 Mittlere Werte und Streuungen zu den Subskalen der Lehrorientierung und zur wahrgenommenen Sinnhaftigkeit und Valenz der Rückmeldungen
Full size table

Tabelle 6 zeigt die Ergebnisse von Kovarianzanalysen über die beiden Subskalen des ATI. Es wurde jeweils ein Modell gerechnet, welches als feste Faktoren die Evaluationsrückmeldung (ergebnisorientiert vs. prozessorientiert) und das Geschlecht der Teilnehmer/-innen enthielt sowie als Kovariaten die Einschätzung der Valenz und ob die Proband/-innen es als sinnvoll empfinden, solche Evaluationsrückmeldungen zu erhalten. Da die beiden Dimensionen der Lehrorientierungen nicht zusammenhängen (r = 0.08), wurden analog zu Studie 2 getrennte Analysen gerechnet (vgl. Tabachnick und Fidell2007; Field2009).

Die Ergebnisse zeigten einen statistisch signifikanten Haupteffekt des experimentellen Treatments auf die Lehrorientierung (F(1,53) = 5.04; p = 0.029): Personen, die Rückmeldung aus einer ergebnisorientierten Evaluation erhalten hatten (MW = 3.47; SD = 0.35), berichteten eine höhere Studierendenfokussierung als Personen, die eine Evaluationsrückmeldung aus einer prozessorientierten Befragung (MW = 3.39, SD = 0.50) bekommen hatten. Für die Lehrendenfokussierung ließen sich entgegen der Erwartung, aber in Überstimmung mit Studie 2, keine statistisch bedeutsamen Effekte feststellen.

Tab. 6 Kovarianzanalyse über die Lehrorientierungen, bereinigt um den Einfluss von wahrgenommener Sinnhaftigkeit und Valenz der Rückmeldungen
Full size table

4 Gesamtdiskussion

Ziel dieses Beitrags war es zu überprüfen, wie Lehrevaluationsinstrumente gestaltet werden müssen, damit sie von den Lehrenden zur Verbesserung ihrer Lehre, im Sinne einer Verstärkung eines Studierendenfokus, genutzt werden können. In einer qualitativen Vorstudie konnten wir zeigen, dass ergebnisorientierte Evaluationsrückmeldungen mehr auf eine Verstärkung der Studierendenfokussierung zielende Kognitionen über die eigene Lehre auslösen als prozessorientierte Rückmeldungen, die die Aufmerksamkeit der Befragten stärker auf die eigene Person ausrichteten. In unserer zweiten Studie wurde derApproaches-to-Teaching-Fragebogen von Trigwell und Prosser (2004) eingesetzt, um zu prüfen, ob Lehrende ihre eigene Lehrorientierung retrospektiv in Abhängigkeit einer ergebnis- oder aber prozessorientierten Evaluation durch ihre Studierenden in unterschiedlich starkem Maße selbstkritisch einschätzen. Die Ergebnisse zeigten zunächst, dass Lehrenden- und Studierendenfokussierung als voneinander unabhängige Konstrukte zu verstehen sind (für ähnliche Ergebnisse s. a. Braun und Hannover2008). Weiter zeigte sich erwartungsgemäß Evidenz dafür, dass eine ergebnisorientierte Rückmeldung bei den Lehrenden eine stärker kritische Selbstsicht hinsichtlich der Stärke der eigenen Studierendenfokussierung auslöste, die die Implementation entsprechender Veränderungsintentionen zur Folge haben könnte. Diese Befunde bestätigen Ergebnisse von Postareff et al. (2007,2008), nach denen die Veränderung von Lehreinstellungen einen längerfristigen Prozess darstellt, der als einen ersten Schritt eine „kritische Selbstreflexion“ beinhaltet, die sich in einer weniger positiven Einschätzung der eigenen Lehreinstellung niederschlägt. Ein differenzieller Einfluss der Art der Rückmeldungen auf die Einschätzung der Stärke der eigenen Lehrendenfokussierung ließ sich nicht feststellen. Eine Verstärkung der Studierendenfokussierung konnte schließlich in unserer dritten Studie unter Einsatz eines parallelisierten Evaluationsinstrumentes für prospektive Angaben der Teilnehmenden zu der Frage, wie sie zukünftig ihre Lehre gestalten wollen, repliziert werden. Proband/-innen, die fiktive Rückmeldungen auf ergebnisorientierten Items erhalten hatten, gaben an, ihre Lehre zukünftig stärker studierendenfokussiert ausrichten zu wollen als Teilnehmende, die eine identische Rückmeldung auf analog formulierten, prozessorientierten Items erhalten hatten. Ein Effekt auf die Lehrendenfokussierung war nicht nachweisbar.

Insgesamt konnte in allen drei Studien Evidenz dafür gezeigt werden, dass Veränderungsprozesse hinsichtlich der Studierendenfokussierung der Lehrenden durch ergebnisorientierte Evaluationsergebnisse, nicht aber durch prozessorientierte Evaluationsergebnisse, angestoßen werden können: Bei prospektiver Befragung in unserer ersten und dritten Untersuchung bekundeten die Dozierenden eine gesteigerte Absicht, ihre Lehre zukünftig stärker studierendenfokussiert gestalten zu wollen. Bei retrospektiver Befragung wie in unserer zweiten Untersuchung zeigte sich eine gesteigerte Selbstkritik (über eine zu schwache Studierendenfokussierung). Es scheint, die Dozierenden setzen sich bei einer ergebnisorientierten Rückmeldung intensiver damit auseinander, wie sie ihre Lehre am Kompetenzerwerb der Studierenden ausrichten können.

Weniger konsistent waren unsere Ergebnisse zur Lehrendenfokussierung. Die Ergebnisse unserer qualitativen Studie legten nahe, dass Dozierende bei einer prozessorientieren Rückmeldung sich vor allem mit Fragen zu ihrer eigenen Person beschäftigten. Während durch das ergebnisorientierte Feedback bei den befragten Expertinnen und Experten Veränderungskognitionen in Hinblick auf Möglichkeiten der Verstärkung der Eigenaktivität und der Interaktion mit den Studierenden ausgelöst wurden, schrieben die Befragten nach einem prozessorientierten Feedback eher Gedanken nieder, die auf die eigene Person in ihrer Funktion als Lehrkraft bezogen waren (z. B. „ich muss die Eigenmotivation der Studierenden steigern“) oder sich an der Vermittlung von Fachwissen orientierten (z. B. „ich sollte mehr Lernmaterial zur Verfügung stellen“). In den beiden anderen Studien, in denen wir die Lehrendenfokussierung durch denApproaches-to-Teaching-Fragebogen erfasst haben, konnten jedoch keine bedeutsamen Effekte der Variation der Art der Rückmeldungen festgestellt werden. Die Reliabilitäten der Messung der Lehrendenfokussierung hatten sich dabei insbesondere in Studie 2 als sehr unbefriedigend erwiesen. Es kann an dieser Stelle nicht entschieden werden, ob der ATI zur Erfassung von Veränderungen in der Lehrendenfokussierung nicht sensitiv ist, zu ungenau gemessen hat oder ob die Lehrendenfokussierung nicht durch Studierendenfeedback, egal in welcher Form verabreicht, beeinflusst werden kann. Möglich ist auch, dass Deckeneffekte in der Subskala Lehrendenfokussierung eine Rolle dabei gespielt haben, warum sich für diese keine Effekte nachweisen ließen. Bei einer Evaluation mit einem prozessorientieren Instrument beurteilen Studierende Prozessmerkmale in der Regel sehr positiv (Braun und Gusy2006) und möglicherweise wird daher hier kein Veränderungswunsch bei den Lehrenden geweckt. So schildern beispielsweise Braun und Vervecken (2009), dass in ergebnisorientierten Evaluationen die Lehrqualität von den Studierenden sehr viel kritischer/negativer eingeschätzt wird als bei prozessorientierten Evaluationen. Veränderungsprozesse können jedoch nur dann angeregt werden, wenn nicht alle Aspekte einer Lehrveranstaltung als durchgehend positiv bewertet werden.

Ausgangspunkt unserer Studien war die Frage, ob Lehrevaluationen nicht nur zum Zweck der Sicherung der Qualität der Hochschule eingesetzt, sondern selbst auch als Werkzeug zur Qualitätsentwicklung in der Lehre genutzt werden können. Die Ergebnisse unserer Studien sprechen dafür, dass Lehrende unter bestimmten Bedingungen ihre Lehre auf einem bedeutsamen Merkmal – nämlich dem Ausmaß der Studierendenfokussierung – optimieren können, wenn die Rückmeldungen, die sie von den Studierenden bekommen, ergebnisorientiert sind. Solche Veränderungsprozesse wurden offensichtlich nicht angeregt, wenn die Rückmeldungen prozessorientiert waren, also aus Zufriedenheitsurteilen der Studierenden mit der Person der Lehrkraft oder dem Verlauf der Lehrveranstaltung bestanden. Vor dem Hintergrund der im Rahmen der Bologna-Reformen veränderten Anforderungen an die Hochschullehre kann geschlussfolgert werden, dass eine stärker kompetenzorientierte Lehre durch den Einsatz kompetenzorientierter Rückmeldungen gefördert werden kann: Beschäftigen sich die Lehrenden mit den Lernzuwächsen, die die Studierenden glauben, aus der Lehrveranstaltung gezogen zu haben, so wird ihre Aufmerksamkeit direkt auf die Bereitstellung von Lerngelegenheiten für die Studierenden gelegt. Ein Baustein auf dem Weg zur Erreichung kompetenzorientierter Lehre ist somit der Einsatz von Lehrevaluationsinstrumenten, die einen ergebnisorientierten Schwerpunkt aufweisen.