Zusammenfassung
In einem systematischen Review dokumentieren wir den Stand der Forschung in Deutschland zur Erfassung von im Hochschulstudium erworbenen fachspezifischen und fachübergreifenden Kompetenzen. Durch Literatur- und Datenbankrecherchen sowie Expertenbefragungen wurden über 200 Studien identifiziert. In diesem Beitrag werden aktuelle Arbeiten berücksichtigt, die außerhalb der BMBF-Förderlinie Kompetenzmodellierung und Kompetenzerfassung im Hochschulsektor (KoKoHs) entstanden sind (deren Ergebnisse bereits an anderer Stelle dokumentiert wurden) und die a) nach 2010 publiziert wurden, b) über rein normative oder deskriptive Kompetenzbeschreibungen (ohne empirische Überprüfung) hinausgehen sowie c) standardisierte Tests bzw. Assessmentverfahren verwenden, zu deren Validität erste Evidenzen vorliegen. Die Ergebnisse zeigen, dass sich die meisten Studien auf fachspezifische kognitive Kompetenzen (wie die Kompetenzfacette Fachwissen) und auf nur einige wenige Fachdomänen konzentrieren: Am häufigsten wurden bisher die Kompetenzen Studierender in den naturwissenschaftlich-mathematischen Studiengängen im Rahmen der Lehramtsausbildung untersucht. Vergleichsweise selten sind Studien zu finden, die fachübergreifende Kompetenzen oder über kognitive Kompetenzfacetten deutlich hinausgehende Handlungsfähigkeit im Sinne der Kompetenz, die in beruflich relevanten Situationen zu professionellem Agieren befähigt, in den Blick nehmen. Eine besondere Herausforderung für zukünftige Forschung besteht darin, valide Indikatoren solcher Kompetenzen zu entwickeln, die über fachspezifisches Wissen hinausweisen und einen breiteren Geltungsanspruch als zentrale Outcomes der akademischen Ausbildung haben.
Abstract
In this review, we document the state of research in Germany on assessment of generic and domain-specific competencies students acquire in higher education. We conducted a systematic literature review and database search, identifying more than 200 studies. Excluding studies from the BMBF-funded research program Modeling and Measuring Competencies in Higher Education (KoKoHs), which have been reported elsewhere, we identified studies a) published after 2010, b) offering more than just normative or descriptive definitions of competency, and c) using standardized instruments or assessment methods, for which validity evidence is or has been reported. The results indicate that most studies focus on assessment of domain-specific cognitive competencies, usually content knowledge. Most of the studies refer to the domain of science and mathematics teacher education. Only very few studies investigated generic competencies or abilities underlying performance in professionally relevant situations. A major challenge for future research is to develop valid assessments of such competencies that go beyond the scope of domain-specific content knowledge. Only then will learning outcomes of higher education be assessed validly and thoroughly.
Avoid common mistakes on your manuscript.
1 Relevanz
Die Fähigkeiten und Fertigkeiten, die Studierende am Ende ihres Hochschulstudiums erworben haben, können als Indikatoren der Leistungsfähigkeit der Hochschulausbildung im Allgemeinen und einzelner Hochschulen im Besonderen dienen. Die Modellierung und die valide Erfassung solcher Kompetenzen stellt aber nach wie vor eine große Herausforderung dar. Erstmalig in den 70er-Jahren des vergangenen Jahrhunderts wurde mit der Debatte um „Schlüsselqualifikationen“ der Fokus auf die Ausbildungsziele zur Sicherung einer qualitativ hochwertigen Hochschulbildung gerichtet (z. B. Metz-Göckel et al. 2012). Im Zuge der Bologna-Reform und den daraus resultierenden Maßnahmen, wie die Umstrukturierung des Hochschulstudiums in modularisierte Bachelor- und Master-Studiengänge, wird die Frage um die Qualität und Effektivität sowie nach den gesellschaftlichen und individuellen Erträgen (Output/Outcome) des nationalen Hochschulsystems – nun unter dem Schlagwort der „Kompetenzorientierung“ – erneut verstärkt diskutiert. Die zu erwerbenden „fachbezogene[n], methodische[n], fachübergreifende[n] Kompetenzen“ (KMK 2000, S. 6) bilden die Grundlage für die Definition von Ausbildungs- bzw. Lernzielen in Modulbeschreibungen von Studiengängen und damit das zentrale Kriterium für eine erfolgreiche Akkreditierung von Studienprogrammen und Bildungsinstitutionen.
Während die Kompetenzen, die Kinder und Jugendliche in der Schule erwerben sollen, zwischenzeitlich in den nationalen Bildungsstandards festgelegt und Instrumente zur Überprüfung ihrer Erreichung bundesweit implementiert sind (z. B. Köller et al. 2010; Pant et al. 2013), bestehen für den Bereich der universitären Bildung bisher lediglich allgemeine Definitionsrahmen für Lernergebnisse im Hochschulsektor, wie der Qualifikationsrahmen für Deutsche Hochschulabschlüsse, innerhalb dessen die einzelnen Disziplinen für ihre fachspezifischen Anforderungen Qualifikationsniveaus formulieren können (für einen Überblick siehe http://www.hrk.de/themen/studium/arbeitsfelder/qualifikationsrahmen/hqr-und-fqrs/) sowie die für die Lehrerbildung von der Kultusministerkonferenz (KMK) verabschiedeten bereichsspezifischen Standards. Von einer systematischen und flächendeckend realisierten Erfassung von im Hochschulstudium erworbenen Kompetenzen sind wir jedoch weit entfernt. Mit dem Ziel der Entwicklung geeigneter Messinstrumente haben sich in der letzten Dekade zunehmend differenzierte Forschungsaktivitäten etabliert, die das in Deutschland noch recht neue Forschungsfeld stetig wachsen lassen (z. B. Wolter 2010; Hornbostel 2013).
Bereits auf Bundeslandebene zeichnen sich universitäre Bildungsangebote durch eine hohe Heterogenität aus, wodurch eine (vergleichende) Bewertung der Outcome-Qualität von Hochschulen auf der Grundlage der von Studierenden erworbenen Zertifikate weiter erschwert wird (z. B. Wissenschaftsrat 2012). Auch sind die in der gängigen Akkreditierungs- und Anerkennungspraxis genutzten Indikatoren kaum geeignet, die tatsächliche Outcome-Qualität der Hochschulausbildung zu messen. Vor diesem Hintergrund ist die Entwicklung von Instrumenten dringend erforderlich, mit denen im Studium erworbene Kompetenzen valide erfasst werden können. Auf dieser Grundlage wäre es dann auch möglich, die Qualität verschiedener universitärer Ausbildungsangebote national und international objektiv zu bewerten und damit die Grundlage für eine evidenzbasierte Optimierung dieser Angebote zu schaffen. Auch würde die Voraussetzung dafür geschaffen, dass sich Studierende die an einer Hochschule erworbenen Kompetenzen, die anhand valider Indikatoren nachgewiesen sind, für ein Studium an einer anderen Hochschule (im In- und Ausland) anerkennen lassen.
In Ergänzung der genannten Verwertungsperspektiven, die primär auf Makro- und Mesoebene zu verorten sind, sind belastbare Aussagen über die Ausprägung, den Erwerb und die Entwicklungsverläufe der Kompetenzen Studierender mit Blick auf die Prozess- oder auch Individualdiagnostik und die Lehr-Lernprozesse auf Mikroebene von hoher Bedeutung. Aus messmethodischer Sicht ist jedoch zu berücksichtigen, dass je nach Einsatzzweck unterschiedliche Anforderungen an die Testverfahren gestellt werden und die intendierten Einsatzzwecke für eine valide Interpretation der gewonnenen Evidenzen mitberücksichtigt werden müssen (s. Kane 2013). Der Definition in den Standards for Educational and Psychological Testing folgend (s. American Educational Research Association, American Psychological Association und National Council on Measurement in Education (AERA, APA und NCME) 2014, S. 11) wird Validität verstanden als „the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests“. So ist bei einem individualdiagnostischen Fokus das entwickelte Testverfahren dahingehend zu untersuchen, inwieweit auf Basis der gewonnenen Testwerte bzw. des Antwortverhaltens valide Schlüsse für diagnostische Entscheidungen möglich sind. Ein anderer Fokus kann beispielsweise auf Repräsentationsschlüsse oder eine theorieprüfende Testwertinterpretation gelegt werden (Hartig et al. 2007).
Vor diesem hier nur kurz skizzierten Hintergrund wollen wir in diesem Aufsatz einen Überblick zu den verschiedenen aktuellen Forschungsentwicklungen und deren Ergebnissen auf Basis eines systematischen Reviews für Deutschland vorlegen (für den internationalen Raum s. Coates 2014; Zlatkin-Troitschanskaia et al. 2015a). Eine solche kritische Betrachtung des aktuellen nationalen Forschungsstandes ist erforderlich, um beurteilen zu können, welche der in der letzten Dekade entwickelten bzw. erprobten Instrumente sich für eine valide Erfassung der Kompetenzen von Studierenden in der Hochschulbildung tatsächlich eignen. Unsere Analyse soll zugleich die Anschlussfähigkeit der nationalen Forschung an die aktuelle internationale Forschungslandschaft und Assessmentpraxis (s. Zlatkin-Troitschanskaia et al. 2015a) sowie auch weitere Bedarfe und Entwicklungsperspektiven aufzeigen.
Zur Erstellung unseres systematischen Reviews zu einschlägigen nationalen (und internationalen) Forschungsarbeiten und insbesondere zu vorliegenden Instrumenten zur Erfassung der Kompetenzen Studierender im Hochschulsektor in der letzten Dekade wurde eine breit angelegte Dokumentenanalyse in Form von Literatur- und Datenbankrecherchen (inkl. qualitativer Inhaltsanalysen) mit ergänzenden Expertenbefragungen im Zeitraum Herbst 2014 bis Herbst 2015 durchgeführt, bei der über 500 Studien gesichtet wurden (ausführlicher s. Zlatkin-Troitschanskaia et al. 2016a).Footnote 1 Dabei wurden nur Arbeiten einbezogen, die nach 2010 entstanden sind, da für den Zeitraum bis einschließlich 2009 bereits eine entsprechende Forschungsstandanalyse vorliegt (Zlatkin-Troitschanskaia und Kuhn 2010), an die systematisch angeschlossen wurde. Um eine hinreichend detaillierte Darstellung zu ermöglichen, fokussieren wir uns in diesem Überblicksbeitrag auf die Betrachtung der Studien mit deutschsprachigen Testverfahren, die außerhalb der BMBF-Förderinitiative „Kompetenzmodellierung und Kompetenzerfassung im Hochschulsektor (KoKoHs)“ entstanden sind. Komplementär sei auf einen aktuellen Überblick zum nicht-deutschsprachigen internationalen Forschungsstand (Zlatkin-Troitschanskaia et al. 2015a, 2016a) und auf Übersichtsbeiträge zur 24 Projektverbünde umfassenden KoKoHs-Initiative verwiesen, die in diesem Thementeil sowie an anderen Stellen bereits ausführlich dokumentiert sind (z. B. Blömeke und Zlatkin-Troitschanskaia 2015, Zlatkin-Troitschanskaia et al. 2015b) und die auf der Grundlage dieses systematischen Reviews angefertigt wurden. Bei der Bewertung der Ergebnisse unseres Reviews werden die aus der KoKoHs-Initiative gewonnenen Erkenntnisse ebenso wie die Ergebnisse aus Studien, die vor 2010 publiziert worden sind, mit reflektiert.
2 Fachspezifische und fachübergreifende Kompetenzen der Studierenden. Konzeptueller Rahmen und Modellierungsansätze
Mit dem Kompetenzkonzept wird ein theoretisch und empirisch umfassender Forschungsgegenstand in den Blick genommen, zu dem ganz verschiedene, z. T. auch konträre, Modellierungs- und Analysezugänge vorliegen (s. z. B. Shavelson 2013; Blömeke et al. 2015; Zlatkin-Troitschanskaia et al. 2015a). So sind unterschiedliche Klassifikationsversuche von im Hochschulstudium zu erwerbenden Kompetenzen vorgelegt worden – eine Gemeinsamkeit besteht lediglich darin, dass sie fachspezifische und fachübergreifende (sog. generische) Kompetenzen umfassen, wobei an die Erfassung beider Arten von Kompetenzen in messtheoretischer und methodologischer Perspektive analoge Anforderungen gestellt werden. Eine Uneinigkeit bzw. auch ein Forschungsdesiderat besteht hinsichtlich der Frage, ob generische Kompetenzen grundsätzlich losgelöst von Fachinhalten des jeweiligen Studiums erfasst werden können (s. z. B. Herl et al. 1999; Chatman 2007; Pike 2011).
Betrachtet man vorliegende Modellierungen der Kompetenzen Studierender, so basieren diese meist auf einem kognitionsfokussierten Verständnis, bei dem fachspezifisches Wissen im Vordergrund steht. Diese Ansätze folgen einem forschungspragmatischen Verständnis, nach dem – beim aktuellen Stand der Forschung – die verschiedenen Kompetenz-konstituierenden Facetten (wie das Fachwissen, Überzeugungen, Motivation) nur getrennt, als mehrere empirisch voneinander separierbare latente Konstrukte, valide erfasst werden können (s. Klieme und Leutner 2006).Footnote 2 Andere Modellierungen der Kompetenzen in der Hochschulbildung folgen einer vergleichsweise breiter gefassten Definition, in der Handlungskompetenzen betont werden (s. Roth 1971). So unterscheidet beispielsweise der Qualifikationsrahmen für deutsche Hochschulabschlüsse zwischen Wissen und Verstehen auf der einen Seite und Können, zu dem u. a. kommunikative Kompetenzen gehören, auf der anderen Seite. Ähnlich differenzieren Braun et al. (2008) aufbauend auf den in Rahmenlehrplänen für Schulen verschiedener Bundesländer festgelegten Kompetenzbereichen zwischen Fachkompetenz, Methodenkompetenz, Sozialkompetenz und Personalkompetenz als von Hochschulstudierenden zu erwerbende Kompetenzen. Dementsprechend reichen die Modellierungszugänge von der Analyse des Fachwissens als zentraler kognitiver Disposition über die Untersuchung motivationaler und volitionaler Bereitschaften bis hin zur Performanz von Studierenden und Hochschulabsolventen (Zlatkin-Troitschanskaia et al. 2016a).
Besonders weit entwickelt sind derzeit Modellierungen und Messungen von fachspezifischen Kompetenzen. Betrachtet man hierbei die im Hochschulstudium meist im Vordergrund stehenden kognitiven fachspezifischen Kompetenzen, finden diese häufig in den Modulbeschreibungen als zu erwerbende Fähigkeiten, Kenntnisse oder (Fach)Wissensinhalte Erwähnung. Geeignete Messinstrumente verlangen nach fachspezifischen Indikatoren, durch die diese nicht unmittelbar beobachtbaren Kompetenzfacetten in ihren unterschiedlichen Ausprägungen unter Berücksichtigung der (theoretisch angenommenen) Dimensionalität und Niveaus möglichst objektiv erfasst werden können. Die Anforderung an die Studierenden besteht bei diesen Messverfahren darin, unterschiedlich komplexe (Test-)Aufgaben eines Studienfachs, oft in schriftlicher Form, zu bearbeiten, so dass valide Schlüsse vom Testergebnis auf die studienfachspezifische Kompetenz gezogen werden können. Während in den letzten Jahren die Modellierung und Entwicklung von Instrumenten zur Erfassung solcher fachspezifischen kognitiven Kompetenzen bereits für verschiedene Fachdisziplinen vorangetrieben wurde, gilt dies in deutlich geringerem Maße für alle anderen in einem Hochschulstudium zu vermittelnden Kompetenzen. Blömeke et al. (2015) sprechen von kognitiven Kompetenzen als Leistungsfähigkeit und grenzen davon Performanz, im Sinne von Handlungsfähigkeit, ab. Sie betonen, dass „competence ultimately refers to real-world performance (…). To the degree that conation, affect and motivation are involved in that performance besides cognition, so too should the definition of competence include them for that domain“ (S. 5). In Bezug auf die Entwicklung von Messinstrumenten stellt die Erfassung von Handlungsfähigkeit sicherlich eine noch größere Herausforderung dar als die Messung kognitiver (fachspezifischer und fachübergreifender) Kompetenzen. Während zugrundliegende kognitive Dispositionen und fachspezifisches Wissen bspw. durch standardisierte Papier-und-Bleistift- oder computergestützte schriftliche Leistungstests erfasst werden können, kann Kompetenz, verstanden als Handlungsfähigkeit, in spezifischen beruflichen Anforderungssituationen professionell angemessen zu handeln, nur mittels komplexer performanzorientierter Verfahren angemessen bewertet werden (Shavelson 2013; Braun 2015; Zlatkin-Troitschanskaia et al. 2015a). Beim aktuellen Stand der Forschung ist bei der Anwendung solcher Verfahren auf mögliche Einschränkungen bei der Erfüllung der Gütekriterien besonders zu achten (s. Pascarella und Terenzini 2005; Yen und Hynes 2012).
Wie der im Folgenden dargestellte Review im Einzelnen zeigen wird, beziehen sich die meisten der bisher entwickelten Verfahren auf die Erfassung kognitiver Dispositionen, insbesondere auf die Erfassung fachspezifischen Wissens. Dabei können verschiedene Typen von Instrumenten zur standardisierten Beurteilung kognitiver Kompetenzen differenziert werden: Standardisierte Hochschul-Eingangstests, am Ende des Studiums einzusetzende Tests und erste vereinzelte groß angelegte Leistungsstudien (v. a. im Lehrerbildungsbereich). Verfahren zur Messung fachübergreifender Kompetenzen oder von professioneller Handlungsfähigkeit sind vergleichsweise selten oder befinden sich derzeit noch in Entwicklung. Insbesondere bei der Erfassung der nicht-kognitiven generischen Kompetenzfacetten kommt Selbsteinschätzungsverfahren (nach wie vor) in der Forschungs- als auch in der Assessmentpraxis im Hochschulsektor eine wesentliche Bedeutung zu (für einen Überblick über Selbsteinschätzungsinstrumente und eine Diskussion ihrer Validität zur Messung der Kompetenzen von Studierenden s. Braun et al. 2012). Ein Beispiel für Verfahren, die eine intersubjektive, verhaltensbasierte Messung professioneller Handlungsfähigkeit anstreben, stellt die Erfassung professioneller Gesprächsführungskompetenz von Lehrkräften im Lehrer-Eltern-Gespräch dar (s. Gartmeier et al. 2011).
3 Vorgehen bei der Erstellung des Reviews
In unserem Review haben wir alle im deutschsprachigen Raum entwickelten theoretischen Modellierungsansätze einbezogen (s. Kapitel 2), solange sie den etablierten Strängen der Kompetenzforschung zugeordnet werden konnten. Als etablierten Strang erachten wir den forschungspragmatisch begründeten Ansatz mit einem kognitionsorientierten Verständnis, bei dem meist, jedoch nicht ausschließlich, eine Fokussierung auf das Fachwissen als originär im Studium zu erwerbende Kompetenz erfolgt. Gerade mit Blick auf die entwickelten Qualifikationsrahmen für deutsche Hochschulabschlüsse wird deutlich, dass eine Einschränkung auf rein wissensbasierte Facetten den aktuellen Anforderungen an die in einem Hochschulstudium zu erwerbenden Kompetenzen nicht gerecht wird. Aus diesem Grund werden auch Ansätze berücksichtigt, die ein umfassenderes Verständnis von Kompetenzen, mit stärkerem Handlungsbezug, zugrunde legen, solange ihnen nicht rein normative oder deskriptive Kompetenzbeschreibungen zugrunde liegen. Dabei wurden Studien berücksichtigt, die standardisierte Tests bzw. Assessmentverfahren verwenden – Studien, in denen ausschließlich Selbsteinschätzungsfragebögen (z. B. zu Selbstwirksamkeit oder Studieninteresse) zum Einsatz kamen, wurden ausgeschlossen. Insgesamt wurden sowohl Studien mit Fokus auf fachspezifische als auch generische Kompetenzen berücksichtigt. Eine Eingrenzung der Analysebasis erfolgte vor allem hinsichtlich der methodologischen Charakteristika und Qualität der Forschungsarbeiten, indem eine Fokussierung auf die Identifizierung und kritische Bewertung der Arbeiten zur objektiven und validen Erfassung der Kompetenzen der Studierenden erfolgte. Dabei wurden insbesondere die entwickelten bzw. erprobten Messinstrumente in den Blick genommen und vorliegende Evidenzen im Hinblick auf Validität betrachtet. Als Betrachtungskriterien wurden die gängigen etablierten nationalen und internationalen Standards für psychologische bzw. individualdiagnostische Testverfahren herangezogen (wie den Standards der AERA et al. 2014; des Testkuratoriums 2010), wobei auch die externe Validität (Gültigkeit und Übertragbarkeit der Ergebnisse) in den Blick genommen wurde.
Um Instrumente hinsichtlich ihrer Validität beurteilen zu können, muss Evidenz in Bezug auf (i) den Testinhalt (Domäne und Inhalte von Kompetenzen), (ii) die interne Struktur (Dimensionalität und Niveaus), (iii) die Antwortprozesse (mentale Prozesse bei Aufgabenbearbeitung), (iv) die Beziehungen zu anderen Variablen (Vergleich ähnlicher und verschiedener Kompetenzkonstrukte bzw. mit Außenkriterien wie Noten etc.) sowie (v) die Vorhersagekraft der Testung gesammelt werden (s. Kane 2013; AERA et al. Kane 2014; Tiffin-Richards und Pant 2016). Das letztgenannte Kriterium ist insbesondere dann relevant, wenn die entwickelten und erprobten Instrumente für individualdiagnostische Zwecke in der Hochschulpraxis eingesetzt werden sollen. Entsprechende Evidenz kann durch unterschiedliche qualitative und quantitative Verfahren erzeugt werden wie z. B. Lehrbuchanalysen, Analysen der hochschulischen Curricula, studiendisziplinenvergleichende Analysen, Optimierung der Tests auf der Grundlage wiederholter Pretests, Experten- und Studierendeninterviews (bspw. mittels der Methode des lauten Denkens, gleichzeitige Erhebung von Noten, Prüfungsergebnissen oder des Studien- und Berufserfolgs Absolvierender).
Spezifisch die externe Validität betreffend ist festzustellen, dass in den meisten Arbeiten Kompetenzmessungen auf lokaler Ebene, ausschließlich im Rahmen eines Studiengangs und oft an nur einem Studienstandort vorgenommen wurden. In nur wenigen Studien wurden Kompetenzen auf nationaler Ebene, mit studiengangs- und hochschulstandortübergreifenden Assessments, erfasst. Vor dem Hintergrund, das selbst innerhalb von Fachdisziplinen eine hohe Vielfalt an länder-, hochschul- und institutionenspezifischen Schwerpunktsetzungen besteht, kann den entwickelten Messinstrumenten nur dann eine hohe externe Validität zugeschrieben werden, wenn sie an mehreren Hochschulen eingesetzt und (im Rahmen von Validierungsstudien) erprobt wurden. Liegen Evidenzen für die Generalisierbarkeit der Testergebnisse vor, können diese für vergleichende Analysen zwischen den an verschiedenen Hochschulen vermittelten Kompetenzen genutzt werden.
Im Folgenden geben wir einen Überblick zu vorliegenden deutschsprachigen Instrumenten, bei denen erste Evidenzen zur Validität im Sinne der vorgenannten Kriterien vorliegen. In Kapitel 4 werden zunächst ausgewählte Studien und die dazugehörigen Instrumente für verschiedene Bereiche exemplarisch dargestellt. Im Anhang werden diese und weitere Studien in tabellarischer Form angeführt. Die Struktur der Darstellung der Analyseergebnisse orientiert sich an den verschiedenen Domänen, Bereichen und Einsatzzwecken der betrachteten Instrumente. In Kapitel 5 werden die Ergebnisse kritisch in Hinblick auf zukünftige Herausforderungen und Perspektiven für die nationale Kompetenzforschung im Hochschulbereich diskutiert.
Im vorliegenden Beitrag werden die Ansätze zur Erfassung der Kompetenzen in allen Studienphasen, einschließlich der Studieneingangsphase, einbezogen, sofern sie sich genuin auf im Studium zu erwerbende Kompetenzen beziehen. Um eine stärkere Evidenzbasierung im Hochschulsektor voranzutreiben, werden – u. a. um die Anschlussfähigkeit unseres Reviews an den internationalen Forschungskontext zu erhöhen (s. hierzu Zlatkin-Troitschanskaia et al. 2016a) – auch Verfahren berücksichtigt, die eine Erfassung der Studierfähigkeit und Eignung von Studieninteressierten oder der allgemeinen Fähigkeiten von Studierenden zum Ziel haben. Damit lassen sich auf empirischer Ebene im Studium erworbene Kompetenzen von Eingangsvoraussetzungen der Studierenden abgrenzen.
4 Analyseergebnisse des Reviews
4.1 Forschungsarbeiten und Messinstrumente zu fachspezifischen Kompetenzen im Bereich der universitären Lehrerbildung
Die meisten Arbeiten und Instrumente für eine objektive und (hochschulübergreifend) valide Erfassung von Kompetenzen Studierender liegen bislang für den Bereich der universitären Lehrerbildung vor, wobei die Entwicklung in diesem Bereich in den letzten Jahren exponentiell beschleunigt verlief (s. bereits Zlatkin-Troitschanskaia und Kuhn 2010). Ein großer Teil der jüngeren Studien befasst sich mit der Modellierung und Erfassung fachspezifischer kognitiver Kompetenzen Lehramtsstudierender, mit einer Schwerpunktsetzung in den mathematisch-naturwissenschaftlichen Disziplinen. Beispiele für international vergleichende Studien stellen MT-21 („Mathematics Teaching in the 21st Century“) und TEDS-M („Teacher Education and Development Study – Learning to Teach Mathematics“) unter deutscher Beteiligung zum Fach Mathematik (Blömeke et al. 2010a, 2010b) dar (s. Anhang). Footnote 3 Spezifisch für Deutschland liegen Kompetenzmodelle und darauf basierte standardisierte Instrumente zur Erfassung des universitär erworbenen Fachwissens, des fachdidaktischen Wissens und des pädagogisch-psychologischen Wissens Lehramtsstudierender der Fächer Biologie, Chemie, Physik und Mathematik aus dem Projekt „Messung professioneller Kompetenzen in den mathematisch und naturwissenschaftlichen Lehramtsstudiengängen (KiL)“ vor (Kleickmann et al. 2014). Die Testaufgaben, welche in Orientierung an den Standards für die Lehrerinnen- und Lehrerbildung der Kultusministerkonferenz für den Bereich Bildungswissenschaften und die jeweiligen Fächer der Lehramtsstudierenden entwickelt wurden, wurden in einer Pilotstudie in 2012 bei insgesamt N = 1240 und ein Jahr später im Rahmen der Hauptstudie (2013) bei insgesamt N = 1058 Lehramtsstudierenden an elf Hochschulen in Deutschland eingesetzt. Den Testanalysen liegen entsprechend Teilstichproben zugrunde (z. B. im Rahmen der Pilotierung in 2012: N = 220 für das Fach Chemie, N = 368 für das Fach Biologie; Kleickmann et al. 2014). Im Fortsetzungsprojekt KeiLa („Kompetenzentwicklung in mathematischen und naturwissenschaftlichen Lehramtsstudiengängen“) werden die im KiL-Projekt querschnittlich erprobten Instrumente einer längsschnittlichen Analyse unterzogen, um zu prüfen, ob sie auch die Entwicklung von Kompetenzen, unter verschiedenen Randbedingungen, valide abbilden können. Der Aufbau professionellen Wissens bei Lehramtsstudierenden speziell des Fachs Mathematik wird auch im Rahmen der experimentellen Studie T‑Knox („Teacher Knowledge Experiment“) untersucht (Kleickmann et al. im Druck). Mittels einer experimentellen Variation des zur Verfügung gestellten Fachwissens, fachdidaktischen Wissens und pädagogischen Wissens bei 240 Lehramtsstudierenden und einer Erhebung zu vier Messzeitpunkten (vor, während und nach der Intervention) sollen Aussagen über das Zusammenspiel der drei Wissensbereiche bei der Entwicklung des fachdidaktischen Wissens (als zentrale abhängige Variable) gewonnen werden. Die Erprobung von Instrumenten für verschiedene Zwecke eröffnet ein erweitertes Spektrum an potentiellen Einsatzmöglichkeiten und damit eine höhere Bedeutung der entwickelten Instrumente für die universitäre Lehrerausbildung, um bspw. betrachten zu können, inwieweit die KMK-Standards an den Hochschulen tatsächlich erreicht werden und welche Effekte dabei ggf. auf einzelne Studienbestandteile (z. B. Fachdidaktik, Praktika) zurückgeführt werden können.
Die Studien aus dem mathematisch-naturwissenschaftlichen Bereich können als Impulsgeber für die Entwicklung von Ansätzen zur Erfassung von Kompetenzen Lehramtsstudierender in anderen Fachdisziplinen betrachtet werden. Gemessen an dem breiten Fächerspektrum, das hier zu untersuchen ist, ist die Anzahl einschlägiger Studien bisher noch als gering zu bezeichnen. Instrumente zur Erfassung des universitär erworbenen Fach- und fachdidaktischen Wissens in den Fächern Deutsch und Englisch für das Lehramt der Sekundarstufe I wurden hochschulübergreifend in der TEDS-LT-Studie („Teacher Education and Development Study: Learning to Teach“) an insgesamt acht Universitäten in Deutschland bei N = 462 bis N = 592 Probanden erprobt (Bremerich-Vos et al. 2011; Roters et al. 2011). Unter Verwendung der in TEDS-LT für das Fach Englisch entwickelten Instrumente wird die „professionelle Kompetenz angehender Englischlehrkräfte (PKE)“ bei 200 Masterstudierenden aus Universitäten in Nordrhein-Westfalen und bei 200 Referendaren untersucht, um Veränderungen im Ausbildungsverlauf abbilden zu können (Roters et al. 2013, 2014). Hierbei wird über die TEDS-LT Studie hinausgehend auch handlungsnahes Wissen zu sprachlichen Lehr- und Lernprozessen erfasst.
4.2 Forschungsarbeiten und Messinstrumente zu fachübergreifenden Kompetenzen im Bereich der universitären Lehrerbildung
Zur Messung fachübergreifender pädagogischer Kompetenzen bei Lehramtsstudierenden wurden in den letzten Jahren mehrere standardisierte Instrumente entwickelt, die in Teilen bereits in der Lehrerbildungspraxis zur Betrachtung des komplexen Ursache-Wirkungsgefüges des Kompetenzerwerbs eingesetzt werden (s. ausführlich Voss et al. 2015). Exemplarisch sei auf die LEK-Studie („Längsschnittliche Erhebung pädagogischer Kompetenzen von Lehramtsstudierenden“) verwiesen, in der Lehramtsstudierende an vier deutschen Universitäten im ersten (N = 645) und vierten Semester (N = 351) befragt wurden (Panel-Stichprobe: N = 261, König und Seifert 2012). Zur Erfassung des pädagogischen Unterrichtswissens wird der im TEDS-M-Projekt entwickelte Test eingesetzt, zur Erfassung des bildungswissenschaftlichen Wissens wird auf das Instrument aus dem SPEE-Projekt („Standards – Profile – Entwicklung – Evaluation“, Seifert und Schaper 2010) zurückgegriffen. Darauf aufbauend wird mit dem Projekt LEK-R („Längsschnittliche Erhebung pädagogischer Kompetenzen von Lehramtsstudierenden und Referendaren“) die Veränderung der pädagogischen Kompetenz beim Übergang in die zweite Ausbildungsphase in den Blick genommen, wobei weitere Testverfahren (u. a. ein Video-Vignetten-Test zur Erfassung der „Classroom Management Expertise“) zum Einsatz kommen (Darge et al. 2014). Im Rahmen des Projekts „Observe“ wurde das sog. Observer-Tool, bestehend aus sechs Video-Clips mit Unterrichtsszenen zu verschiedenen Fächern und Rating-Skalen zur Diagnose der professionellen Unterrichtswahrnehmung von Lehramtsstudierenden, entwickelt. Das Instrument wurde in drei aufeinanderfolgenden Studien mit Lehramtsstudierenden (Studie 1: N = 119; Studie 2: N = 119; Studie 3: N = 20) auf Validität und Reliabilität geprüft (Seidel und Stürmer 2014).
4.3 Forschungsarbeiten und Messinstrumente zu fachspezifischen Kompetenzen in Disziplinen außerhalb der Lehramtsausbildung
Jenseits von KoKoHs existieren kaum Studien, die eine objektive und (hochschulübergreifend) valide Erfassung von Kompetenzen bei Studierenden ermöglichen. Einige Arbeiten finden sich für den Hochschulbereich zur Erfassung sprachlicher Kompetenzen. Im Rahmen des Projekts LiKom („Erforschung und Weiterentwicklung literaler Kompetenzen von BA-Studierenden der Germanistik und Physik“) werden vier Sprachkompetenztests zur Erfassung der sprachlichen Reflexionsfähigkeit bei Germanistik- und Physik-Studierenden in der Bachelorphase eingesetzt (erster Test: bei 37 Studienanfängern der Germanistik, zweiter Test: bei 191 Germanistikstudierenden und 37 Physikstudierenden als Kontrollgruppe, dritter Test: bei 70 Germanistikstudierenden und 22 Physikstudierenden als Kontrollgruppe, vierter Test: bei 25 Germanistikstudierenden). Durch das Vergleichsgruppendesign kann u. a. der Frage nachgegangen werden, inwieweit diese Kompetenzen eher als fachspezifisch oder fachübergreifend zu charakterisieren sind (Civak et al. 2012). Die Befunde beziehen sich jedoch größtenteils auf eher geringe Fallzahlen zu den vier Messzeitpunkten an einem Studienstandort, so dass Aussagen zur Generalisierbarkeit bislang kaum möglich sind. Ebenfalls zur Erfassung sprachbezogener Kompetenzen wurde ein standardisiertes Instrument im Projekt AVE („Ausbildung und Verlauf von Erzieherinnen-Merkmalen“, Hendler et al. 2011) speziell für (angehende) Fachkräfte in der Frühpädagogik entwickelt. Der im Rahmen des längsschnittlich angelegten Projekts entwickelte Test FESKO-F („Fragebogen zur Erfassung sprachbezogener Kompetenzen von Fachkräften in der Frühpädagogik“) erfasst die Bereiche „sprachbezogenes Wissen“, „sprachbezogene diagnostische Kompetenz“ und „sprachbezogene Förderkompetenz“. Zum ersten Messzeitpunkt wurde er bundesweit bei 536 Fachschülerinnen und Fachschülern zu Beginn der Ausbildung an 15 Fachschulen und 416 Studierenden des ersten Semesters an 13 universitären Ausbildungsgängen eingesetzt (Hendler et al. 2011).
Für die objektive Erfassung von Kompetenzen im technischen-naturwissenschaftlichen Bereich kann auf die Studie von Quaiser-Pohl und Sancer (2011) verwiesen werden, die den Mentalen Rotationstest (MRT) bei Studierenden der Computervisualistik und Studierenden mit einem nicht-technischen Fach im ersten Studienabschnitt einsetzen (N = 375). Die Daten, die an zwei Hochschulen in zwei Bundesländern erhoben wurden, werden besonders mit Blick auf geschlechterspezifischer Einflüsse von Erfahrungen mit technischen Aufgaben und fachspezifischen Einstellungen analysiert (zu geschlechterspezifischen Effekten in weiteren Studienfächern wie Ökonomie s. Brückner et al. 2015; Finanzwissenschaft s. Schmidt et al. 2015).
Im bundesweiten Nationalen Bildungspanel (NEPS) kommt in der Etappe „Hochschulstudium und Übergang in den Beruf“ ausschließlich für Studierende der Wirtschaftswissenschaften ein fachspezifischer Leistungstest zum Einsatz, wobei auf im Hochschulkontext validierte Aufgaben aus dem WiwiKom-TestFootnote 4 zurückgegriffen wird (Aschinger et al. 2011; Zlatkin-Troitschanskaia et al. 2014).
4.4 Forschungsarbeiten und Messinstrumente zu fachübergreifenden Kompetenzen in Disziplinen außerhalb der Lehramtsausbildung
In vergleichsweise größerem Umfang werden im NEPS fachübergreifende Kompetenzen Studierender erfasst. Durch die Begleitung einer Kohorte von Studienanfängern (N = ca. 16.500) bis zum Berufseinstieg können evidenzbasierte Aussagen u. a. zur Kompetenzentwicklung sowie zum Ertrag des Studiums generiert werden. Die sog. „subject-specific competencies“ werden vorwiegend durch einheitliche Selbsteinschätzungsbögen (über die Studienfächer hinweg) erhoben (Aschinger et al. 2011), sodass unklar ist, inwiefern sie tatsächlich fachspezifische Kompetenzen abbilden werden. Darüber hinaus werden basale fachübergreifende Kompetenzen mittels Paper-Pencil-Testung erfasst: u. a. zu Lesegeschwindigkeit, Lesekompetenz und mathematischer Kompetenz (NEPS 2011).
Für die Untersuchung des Allgemeinwissens Studierender kann auch der sog. online-basierte „Studentenpisa-Test“ (2009) genutzt werden. Dieser Wissenstest, der von fast 700.000 Teilnehmern freiwillig bearbeitet wurde (Pretest mit N = 3725 Studierenden), umfasst eher allgemeinbildende (Test-)Aufgaben aus den Bereichen Politik, Geschichte, Wirtschaft, Naturwissenschaften und Kultur. Unter Einbezug von Wissenschaftlerinnen und Wissenschaftlern wurden die Ergebnisse hinsichtlich unterschiedlicher Fragestellungen ausgewertet (s. die Beiträge in Trepte und Verbeet 2010). Eine der Analysefragen richtet sich dabei auch auf die Wissensausprägung derjenigen, die die o. g. Fachgebiete studiert haben und damit unter den Teilnehmenden als „Expertinnen und Experten“ einzuschätzen sind (Bachl und Geise 2010; Renner und Maier 2010).
Ein weiteres Beispiel für ein Verfahren zur standardisierten Messung fachübergreifender Kompetenzen stellt der online-basierte „Willenstest“ dar, der basierend auf volitionstheoretischen Ansätzen eine Analyse der individuellen Willensstärke von Studierenden erlauben soll. Das auf dem englischsprachigen AVSI („Academic Volitional Strategy Inventory“) beruhende Instrument zielt u. a. auf Aussagen zu den Ausprägungsmustern der volitionalen Kompetenzfacetten Motivations-, Emotions- und Kognitionskontrolle (Deimann et al. 2009). Der Test wurde bundesweit von 16.250 Probanden an sekundären und tertiären Bildungseinrichtungen (Fern-Universität Hagen, Präsenzuniversitäten, Fachhochschulen und Berufsakademien, Schulen und Berufliche Bildung) bearbeitet, so dass Analysen für unterschiedliche Probandengruppen (Fernstudierende, Präsenzstudierende, Schüler) und Bildungsinstitutionen vorgenommen werden können. Ein besonderes Augenmerk wurde bei der Konzeption des Instrumentariums auf die Implementation eines Rückmeldesystems gelegt, mit dem der Testperson unmittelbar nach der Bearbeitung ein Kompetenzprofil und Strategien zur Optimierung der eigenen Willensstärke mitgeteilt werden (Deimann et al. 2009).Footnote 5
Ein weiteres Beispiel stellt die Studie von Greiff et al. (2012) dar, die die Erfassung des dynamischen Problemlösens in den Blick nimmt. Dynamisches Problemlösen erfordert den erfolgreichen Umgang mit komplexen dynamischen Situationen. Demnach kann die Kompetenz zum dynamischen Problemlösen durch die Prozesse Informationsgenerierung, Modellbildung und Prognose modelliert werden. Im Rahmen des computerbasierten MicroDYN Ansatzes kann ein Set von multiplen Aufgaben zusammengestellt werden (i. d. R. 10 unabhängige Aufgaben), die jeweils 5 Minuten Bearbeitungszeit beanspruchen und dabei das Durchlaufen der drei Problemlösephasen erfordern. Die Validierung von MicroDYN erfolgte in einer ersten Studie bei 114 Psychologie-Studierenden, eine Kreuzvalidierung wurde bei 140 Studierenden verschiedener Studienfächer durchgeführt.
Um die Erfassung fachübergreifender Kompetenzen geht es z. T. auch in Studieneingangstests, in denen Studierfähigkeiten i. S. einer Vorhersage der Studienleistung bzw. des Studienerfolgs festgestellt werden sollen. Während im internationalen Kontext standardisierte Leistungstests inzwischen häufig zum Zweck der Studierendenauswahl genutzt werden (s. Zlatkin-Troitschanskaia et al. 2015a), stellt ihr Einsatz in Deutschland bislang eher eine Ausnahme dar (ausgenommen den an manchen Universitäten eingesetzten Test für medizinische Studiengänge (TMS)), an dem Studierende freiwillig teilnehmen können, um ihre Chance auf einen Studienplatz über die Quotenregelung „Auswahlverfahren der Hochschulen“ (AdH) zu erhöhen (s. auch Mallinger et al. 2008).
Ein neuer Ansatz wurde für das Studienfach Psychologie entwickelt. Für die Zulassung an deutschen Hochschulen wurde eine Testbatterie konzipiert, die den Empfehlungen der von der Deutschen Gesellschaft für Psychologie (DGPs) gegründeten „Kommission Studierendenauswahl“ folgte (Formazin et al. 2011). Die modular aufgebaute Testbatterie umfasst demnach Aufgaben zum schlussfolgernden Denken (verbal, numerisch und figural) sowie zu Mathematik-, Englisch- und Biologievorkenntnissen. Ergänzend wurde ein domänenspezifischer Verständnistest mit anforderungsnahen Aufgaben aus dem Studium entwickelt, der sog. „Psychologieverständnistest“. Nach mehreren Pilotierungsrunden zur psychometrischen Prüfung der Testbatterie wurde die optimierte Testbatterie zur Auswahl der Studierenden für den Bachelor-Studiengang Psychologie an einer Universität eingesetzt. Die Daten von 1187 Bewerbern bildeten die Grundlage zur Prüfung der prädiktiven und inkrementellen Validität. Es konnte u. a. gezeigt werden, dass auf latenter Ebene die Note der Hochschulzugangsberechtigung sowie die in der Testbatterie geprüften Fähigkeiten gute Prädiktoren für die Studiennoten nach zwei Jahren waren. Der Befund, dass das studienfachrelevante Vorwissen stärker zur Vorhersage der Studienleistungen beiträgt als das schlussfolgernde Denken, zeigt die Relevanz der Trennung beider Faktoren auf der Prädiktorseite (Formazin et al. 2011).
Die Erfassung von Studieneingangsvoraussetzungen steht auch im Fokus einer längsschnittlich angelegten Studie von Kramer et al. (2011). Unter Einbezug von 1230 Studierenden der Fachbereiche Technik und Wirtschaft an mehreren Universitäten, Fachhochschulen und Berufsakademien/Dualen Hochschulen in Baden-Württemberg konnten die Autoren zeigen, dass sich die Studierenden der unterschiedlichen Hochschultypen signifikant in den drei untersuchten Merkmalsbereichen (kognitive Leistung, Persönlichkeit, soziale Herkunft) unterscheiden. Als Indikatoren für die kognitive Leistung der Studierenden dienten die Abiturgesamtnote, die voruniversitäre Mathematikleistung, Englischkenntnisse gemessen mit der Kurzversion des TOEFL (Test of English as a Foreign Language) und allgemeine kognitive Fähigkeiten erfasst über zwei Subtests des kognitiven Fähigkeitstests (Wort- und Figurenanalogien, nach Heller und Perleth 2000).
In der Hochschulpraxis werden zur Prüfung der Eignung für ein Studienfach (größtenteils online-basierte) häufig Selbsteinschätzungsverfahren genutzt (s. Hasenberg und Schmitz-Atzert 2014). Solchen Instrumenten ist besonders die Funktion zugedacht, Studieninteressierte bei ihrer Studienfachwahl zu unterstützen. Exemplarisch können hier z. B. das Self-Assessment für Psychologie der Universität Frankfurt genannt werden, dessen prognostische Validität hinsichtlich des Studienerfolgs für die Interessenskala nachgewiesen werden konnte; die Interessenskala konnte neben der Hochschulzulassungsnote bedeutsame Varianzanteile erklären (Schreiner und Mildner 2011). An der Universität Passau wird seit 2009 ein auf mehreren Methoden (Verhaltensbeobachtungen, Fragebögen, Tests) basierendes Verfahren „PArcours“ zur Beratung von an einem Lehramtsstudium Interessierten eingesetzt. Die Datenbasis, die durch die freiwillige Teilnahme der Studierenden generiert wird, dient einer umfassenden Rückmeldung zu Stärken und Entwicklungsmöglichkeiten sowie zu Empfehlungen für die Laufbahnwahl und Studienplanung. Eine Validierung des Verfahrens steht derzeit noch aus (Wirth und Seibert 2011). Ebenfalls für Lehramtsstudierende wird in Kassel das Modell „BASIS: Psychosoziale Basiskompetenzen für den Lehrerberuf“ eingesetzt, welches seit 2008 den Studierenden im Rahmen eines verpflichtenden Kompaktseminars im ersten Studienjahr eine reflektierte Selbsteinschätzung ihrer Kompetenzen ermöglichen soll (Jurkowski 2011; Nolle und Döring-Seipel 2011; Bosse et al. 2012; s. darüber hinaus auch das Self-Assessment zur Berufsorientierung und Selbstreflexion hinsichtlich berufsrelevanten sozialen Kompetenzen im Lehrerberuf von Kanning et al. 2012 oder das Online-Self-Assessment (CCT-Tour 3-RLP) zur Erfahrungsverarbeitung und Selbstreflexion bei Lehramtsstudierenden in Rheinland-Pfalz im Übergang vom Bachelor- zum Masterstudium). Kritisch ist hinsichtlich solcher Verfahren festzustellen, dass sie bislang i. d. R. nur an einem Standort eingesetzt bzw. erprobt werden, so dass die Evidenzen zur Übertragbarkeit der Instrumente noch ausstehen. Bei mehreren Verfahren mangelt es an dokumentierten Nachweisen ihrer Validität.
Inzwischen liegen auch viele Studien zur Messung des Studienerfolgs vor, Studienerfolg wurde aber bisher selten als Kriterium zur Prüfung der Vorhersagevalidität von Kompetenzmessungen genutzt. Das Konstrukt „Studienerfolg“ wird meist – auch aufgrund des noch defizitären Forschungsstandes – distal über Umfrage- und Prüfungsdaten (u. a. Abschlussnoten) erfasst (z. B. Erdel 2010 bei BA-Studierenden der Wirtschaftswissenschaften; Heinze 2013 bei Studierenden der Sozial- und Wirtschaftswissenschaften; Grüner 2011 bei Studierenden der Humanmedizin und des Lehramts). Die Studie „SioS-L“ bzw. „SioS-L II“ fokussiert mittels kombinierten Längsschnitts, der sämtliche Lehramtsstudierende des Saarlandes umfasst (N = 737), auf die Vorhersage des Studienerfolgs sowie die Entwicklung im Studienverlauf – ebenfalls unter Berücksichtigung individueller und struktureller Faktoren. Der Studienerfolg wird hierbei auf Basis von studienbezogenen Bewertungen sowie darüber hinaus auch auf Grundlage von Wissenstests und Videoanalysen zur Entwicklung der handlungsnahen Kompetenzen der Lehramtsstudierenden bei ihren Unterrichtsversuchen in Praktikumsphasen erfasst. Zur Prüfung der Übertragbarkeit des Modells auf andere Studiengänge werden zugleich 191 Studierende der Psychologie in die Untersuchung einbezogen (s. Friedrich et al. 2013).
Die Analyse von hemmenden und förderlichen Merkmalen zur Vorhersage des Studienerfolgs bzw. -abbruchs wird auch in der Studie von Albrecht und Nordmeier (2010) fokussiert (s. auch Albrecht 2011). Ausgangspunkt stellt das für physikalische Studiengänge modifizierte allgemeine Modell zum Studienerfolg nach Thiel et al. (2008) dar, welches durch die Berücksichtigung von Lernstrategien und Motivation als Indikatoren für das Studier- und Lernverhalten erweitert wurde. In die längsschnittlich angelegten Analysen flossen die Daten von 140 Physikstudierenden und 48 Lehramtsstudierenden des Fachs Physik ein, die in den ersten beiden Semestern ihres Studiums zu zwei Messzeitpunkten an der Freien Universität Berlin und der Universität Kassel befragt wurden. Für Validierungszwecke wurden auch Daten von Exmatrikulierten (N = 48) sowie Weiterstudierenden (N = 188) beider Fächer herangezogen. Der Studienerfolg wird gemäß dem o. g. Modell über die Studienzufriedenheit erfasst (Albrecht und Nordmeier 2010). In diesem Zusammenhang wird auch auf die neue DFG-geförderte Studie ALSTER („Akademisches Lernen und Studienerfolg in der Eingangsphase von naturwissenschaftlich-technischen Studiengängen“) verwiesen, die in diversen Teilprojekten Fragen zu Studienanforderungen und Lernvoraussetzungen, auch mit Blick auf Abbruchquoten, bei Studierenden verschiedener naturwissenschaftlich-technischer und erziehungswissenschaftlicher Studiengänge nachgeht.
5 Diskussion
Vergleicht man die Ergebnisse des vorliegenden Reviews mit der synoptischen Beschreibung des nationalen Forschungsstandes vor 2010 (s. Zlatkin-Troitschanskaia und Kuhn 2010), so haben sich Quantität sowie Qualität der Studien zur Erfassung von Kompetenzen in der Hochschulbildung deutlich erhöht. Hier wurden insbesondere die theoretischen Grundlagen für die Erfassung des Kompetenzerwerbs geschaffen, Instrumente zur Erfassung dieser Kompetenzen entwickelt und z. T. deutschlandweit erprobt. Aufbauend auf den bereits Ende 2009 vorliegenden Vorarbeiten ist ein weiterer wesentlicher Fortschritt, z. B. hinsichtlich der eingesetzten Verfahren und unterschiedlichen Einsatzzwecke, im Bereich der Hochschulbildung festzustellen. Neben den Vorarbeiten Anfang 2010 dürfte das seit 2011 BMBF-geförderte Forschungsprogramm KoKoHs als weiterer zentraler Impulsgeber fungieren und damit nicht nur zur Initiierung der KoKoHs-Projekte, sondern darüber hinaus auch zur Entwicklung weiterer Projekte im deutschsprachigen Raum gedient haben. Vor diesem Hintergrund erscheint es nicht verwunderlich, dass die jüngeren Entwicklungen in diesem Forschungsfeld wesentliche Parallelen zu den Arbeiten der KoKoHs-Projekte aufweisen. Insgesamt kann im Vergleich zum Stand Ende 2009 damit eine wesentliche Entwicklung der empirischen Kompetenzforschung im Hochschulbereich konstatiert werden, die sich konzeptionell und messmethodisch inzwischen auch durch eine höhere Anschlussfähigkeit an andere Bereiche der empirischen Hochschul- und Bildungsforschung sowie an die internationale Forschungslandschaft kennzeichnet (s. Zlatkin-Troitschanskaia et al. 2015a).
Kritisch anzumerken ist jedoch, dass Modellierungen und Instrumente zur Beschreibung und Messung der von Studierenden zu erwerbenden Kompetenzen nach wie vor nur für einen kleinen Ausschnitt des breiten Spektrums von Studienfächern, die im deutschsprachigen Hochschulsystem angeboten werden, in den letzten fünf Jahren entwickelt worden sind. Vor allem in den mathematisch-naturwissenschaftlichen Disziplinen sind zahlreiche Studien zur Erfassung der Kompetenzen angehender Lehrkräfte entstanden. In jüngerer Zeit nehmen auch Studien zu, die fachspezifische Kompetenzen in anderen Disziplinen (z. B. Wirtschaftswissenschaften) und fachübergreifende pädagogische Kompetenzen der angehenden Lehrkräfte in den Blick nehmen. Nachdem in der Lehrerbildung anfänglich größtenteils Paper-Pencil-Tests eingesetzt wurden, werden diese nun zunehmend durch handlungsnähere Formate ergänzt (insb. durch Videographie; z. B. Steffensky et al. 2015). Der Einbezug von Studierenden, die das jeweilige Fach außerhalb der Lehramtsausbildung studieren (s. z. B. Albrecht 2011), verspricht für die Zukunft Möglichkeiten einer vergleichenden Modellierung fachspezifischer und fachübergreifender (z. B. pädagogischer) Kompetenzen. Im Bereich der Lehrerausbildung zeigt sich weiter, dass die erprobten Instrumente zunehmend zur Erforschung komplexer Ursache- und Wirkungsgefüge des Kompetenzerwerbs unter Verwendung spezieller, auch experimenteller und längsschnittlicher, Designs eingesetzt werden (z. B. die Analyse des Effekts zweier instruktionaler Ansätze auf den Erwerb mathematischer Argumentationskompetenz mittels experimentellen Designs bei Kollar et al. 2014). Für andere Bereiche der Hochschulbildung ist eine erste systematischere Entwicklung von Instrumenten zur Kompetenzerfassung im Rahmen der KoKoHs-Initiative erkennbar, in der neben Projekten zur Lehrerbildung und zu generischen Kompetenzen auch die Studienfächer Ingenieurwissenschaften und Wirtschafts- und Sozialwissenschaften fokussiert und erste Messverfahren entwickelt und validiert werden (s. hierzu auch die Beiträge in diesem Thementeil). Einschränkend ist insgesamt anzumerken, dass bislang nur wenige Studien längsschnittlich angelegt sind, sodass kaum generalisierbare Aussagen über den Verlauf des Erwerbs der Kompetenzen von Studierenden in der Hochschulbildung getroffen werden können.
Herausforderungen für die künftige Forschung können auf Grundlage der aktuellen Forschungslage hinsichtlich der folgenden Bereiche auf unterschiedlichen Ebenen festgestellt werden. Diese Aspekte sollen auch im Rahmen der zweiten Phase des Forschungsprogramms KoKoHs „Kompetenzmodelle und Instrumente der Kompetenzerfassung im Hochschulsektor – Validierungen und methodische Innovationen“ (2015–2019) besonders fokussiert werden (Zlatkin-Troitschanskaia et al. 2016b).
Hinsichtlich des zu erfassenden Zielkonstrukts dominieren derzeit eindeutig Messinstrumente zur Erfassung kognitiver fachspezifischer Kompetenz, v. a. von fachspezifischem Wissen. Verfahren zur verhaltensbasierten Messung mit handlungsnäheren Formaten sind bislang nur vereinzelt im Einsatz (vgl. Braun 2015). Dies ist sicher auch der Tatsache geschuldet, dass bisher keine Einigkeit darüber besteht, inwieweit fachspezifische von fachübergreifenden Kompetenzen grundsätzlich zu trennen sind bzw. inwiefern auch generische Kompetenzen für ihre valide Erfassung einer fach- bzw. kontextspezifischen Indikatorisierung bedürfen, da auch sie von Besonderheiten der jeweiligen Fachdisziplin mit geprägt sind. Diese Fragen tangieren auch die Domänenspezifität bzw. den Gültigkeitsanspruch der entwickelten Kompetenzmodelle und Instrumente und sind u. a. auch aus Verwertungsperspektive für eine kompetenzorientierte Assessmentpraxis von zentraler Bedeutung. Ungeachtet dieser noch nicht schlussendlich beantworteten Fragen ist es eine Herausforderung für die zukünftige Forschung, Messverfahren zu entwickeln, die weniger auf die Erfassung kognitiver oder affektiv-motivationaler Dispositionen (unter Verwendung „klassischer“ standardisierter Testverfahren wie schriftlicher Leistungstests) und stärker auf die Erhebung performanzorientierter Daten mittels handlungsnäheren Assessmentformaten (z. B. mit Beobachtungsdaten) zielen (Dolan und Burling 2012; Blömeke et al. 2015; Braun 2015).
Aufgrund der meist jüngeren Entwicklungen im betrachteten Forschungsfeld liefern die vorgestellten Verfahren – mit Ausnahme einiger Studien im Bereich der Lehrerausbildung – bislang vorwiegend nur erste Evidenzen im Hinblick auf Validität. Ein Fokus liegt meist in der inhaltlichen, kognitiven und kriterialen Validierung. Belastbare Aussagen zu den Kompetenzen der Studierenden können derzeit daher nur bedingt getroffen werden. Mit Blick auf ein umfassendes Validierungskonzept und die potentiellen Verwertungsperspektiven der entwickelten Verfahren besteht eine Notwendigkeit für anschließende Forschungsarbeiten darin, die jeweiligen Messzwecke der Verfahren zu präzisieren und eine erweiterte und zielgerichtete Validierung hinsichtlich der intendierten Einsatzzwecke vorzunehmen. Diese Arbeiten stellen die Voraussetzung für eine umsichtige Verwertung der Instrumente durch Akteure in der Hochschulpraxis dar.
Hiermit gehen die weiteren Herausforderungen einher, welche die Untersuchung der Bedingungen betrifft, in Abhängigkeit von denen der Erwerb der Kompetenzen von Studierenden variiert. Hierzu sind Studien mit mehrebenenanalytischem und längsschnittlichem Design, (quasi-)experimentelle Forschungsarbeiten sowie wissenschaftlich begleitete Interventionsprojekte in der Hochschulpraxis erforderlich, die auch Studienverläufe und nachfolgende Berufskarrieren miteinander verbinden können. Die in der nationalen Kompetenzforschung bisher entwickelten und erprobten Instrumente liefern eine tragfähige Grundlage für derartige Analysen. Solche Studien lassen sowohl wissenschaftlich als auch hochschulpolitisch und -praktisch interessante Resultate erwarten, die zu einer evidenzbasierten Effektivierung der Bildungsangebote deutscher Hochschulen führen können.
Notes
Auf Basis der Expertenbefragungen ergaben sich folgende Schlagworte für die Recherche: Kompetenz, Wissen, Leistung, Studienleistung, Studienerfolg, Performanz, Modell, Test, Eignungstest, Messung, Messinstrument, Messverfahren, Validierung, LSA, Längsschnitt(untersuchung), Hochschule, Universität, Studium, Studierende, Absolventen (Zlatkin-Troitschanskaia et al. 2016a).
Sadler (2013) fügt kritisch an, inwieweit bei einer Zerlegung von „competence“ in „smaller and smaller skills and competencies“ (Sadler 2013, S. 16) und einer damit einhergehenden getrennten Erfassung einzelner Merkmale noch auf eine (holistische) „competence“ von Personen geschlossen werden kann, wie sie der Bewältigung komplexer Aufgaben in der Praxis dienen soll (s. auch Weinert 2001). Wenngleich der Einwand berechtigt erscheint, wird zur Überwindung des hohen Forschungsdefizits im Bereich der Kompetenzmessung ein solcher Schritt zum gegenwärtigen Zeitpunkt als unabdingbar erachtet.
Darüber hinaus ist eine hohe Anzahl von Studien zu finden, die nicht Lehramtsstudierende, sondern Referendare und/oder fertig ausgebildete Lehrkräfte in die Untersuchung einbeziehen (s. z. B. die COACTIV-Studie „Professionswissen von Lehrkräften, kognitiv aktivierender Mathematikunterricht und die Entwicklung mathematischer Kompetenz“ von Kunter et al. 2011; die Studie von Nehring et al. 2011). Hier zeigt sich ein hohes Übertragungspotential der Modelle und Instrumente auf die universitäre Phase der Lehrerbildung. Auch mit dem Ziel einer kriterialen Validierung (z. B. nach der Methode der bekannten Gruppe) werden in Zukunft voraussichtlich auch Studierende mit den entsprechenden Instrumenten untersucht werden.
Der Test wurde im Rahmen des KoKoHs-Projekts „WiwiKom: Modellierung und Messung wirtschaftswissenschaftlicher Fachkompetenz bei Studierenden bzw. Hochschulabsolventen mittels Adaptation und Weiterentwicklung vorliegender amerikanischer und spanischsprachiger Messinstrumente (EGEL/TUCE)“ entwickelt und bundesweit an 33 deutschen Hochschulstandorten validiert (s. Zlatkin-Troitschanskaia et al. 2014).
Gerade mit Blick auf die durch die KMK festgeschriebene Kompetenzorientierung (s. Kap. 1) kommt auch bei der Erfassung von Kompetenzen einem anschaulichen adressatengerechten Rückmeldesystem zur Förderung der gezielten Steuerung eigener Lernprozesse eine zentrale Bedeutung zu.
Literatur
AERA, APA, & NCME (2014) = American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing (2. Aufl.). Washington, DC: American Educational Research Association.
Albrecht, A. (2011). Längsschnittstudie zur Identifikation von Risikofaktoren für einen erfolgreichen Studieneinstieg in das Fach Physik, Freie Universität Berlin. http://www.diss.fu-berlin.de/diss/servlets/MCRFileNodeServlet/FUDISS_derivate_000000010456/Dissertation_Druckversion_Andre_Albrecht_UB.pdf. Zugegriffen: 5. Mai 2015.
Albrecht, A., & Nordmeier, V. (2010). Studienerfolg im Fach Physik. DPG-Frühjahrstagung, 2010. PhyDid B, Didaktik der Physik, Beiträge zur DPG-Frühjahrstagung.
Artmann, M., Gantefort, C., Herzmann, P., König, J., Kricke, M., Karduck, S., Rohr, D., & Roth, H.-J. (2012). Evaluation. In D. Rohr & H.-J. Roth (Hrsg.), Bildungswissenschaften: Das Kölner Modell von der Erprobung zur Implementierung (S. 101–127). Münster: Waxmann.
Aschinger, F., Epstein, H., Müller, S., Schaeper, H., Vöttinger, A., & Weiß, T. (2011). Higher education and the transition to work. In H.-P. Blossfeld, H.-G. Roßbach, & J. v. Maurice (Hrsg.), Education as a lifelong process. The German National Educational Panel Study (S. 267–282). Wiesbaden: Springer VS.
Bach, A. (2013). Kompetenzentwicklung im Schulpraktikum. Ausmaß und zeitliche Stabilität von Lerneffekten hochschulischer Praxisphasen. Münster: Waxmann.
Bachl, M., & Geise, S. (2010). Machen Medien Kluge klüger? Der Zusammenhang zwischen Expertenstatus, Studiengang und Fachwissen. In S. Trepte; M. Verbeet (Hrsg.), Allgemeinbildung in Deutschland (S. 291–314). Wiesbaden: Springer VS.
Blömeke, S., Gustafsson, J.-E., & Shavelson, R. (2015). Beyond dichotomies: Competence viewed as a continuum. Zeitschrift für Psychologie, 223, 3–13.
Blömeke, S., Kaiser, G., & Lehmann, R. (Hrsg.) (2010a). TEDS-M 2008 – Professionelle Kompetenz und Lerngelegenheiten angehender Primarstufenlehrkräfte im internationalen Vergleich. Münster: Waxmann.
Blömeke, S., Kaiser, G., & Lehmann, R. (Hrsg.) (2010b). TEDS-M 2008. Professionelle Kompetenz und Lerngelegenheiten angehender Mathematiklehrkräfte für die Sekundarstufe I im internationalen Vergleich. Münster: Waxmann.
Blömeke, S., & Zlatkin-Troitschanskaia. O. (2015). Kompetenzen von Studierenden (Zeitschrift für Pädagogik: 61. Beiheft, S. 7–11). Weinheim: Beltz.
Bonitz, V. S., Armstrong, P. I., & Larson, L. M. (2010). Geschlechterunterschiede im Allgemeinwissen – die Folge geschlechtsspezifischer Berufsinteressen? In S. Trepte & M. Verbeet (Hrsg.), Allgemeinbildung in Deutschland (S. 273–287). Wiesbaden: Springer VS.
Bosse, D., Dauber, H., Döring-Seipel, E., & Nolle, T. (2012). Professionelle Lehrerbildung im Spannungsfeld von Eignung, Ausbildung und beruflicher Kompetenz. Bad Heilbrunn: Klinkhardt.
Braun, E. (2015). Kompetenzerfassung in der Hochschule. 15. Tagung der Fachgruppe Pädagogische Psychologie in der Deutschen Gesellschaft für Psychologie, Kassel, 14.–16.9.2015. Positionsreferat.
Braun, E., Gusy, B., Leidner, B., & Hannover, B. (2008). Kompetenzorientierte Lehrevaluation. Das Berliner Evaluationsinstrument für selbst eingeschätzte, studentische Kompetenzen (BEvaKomp). Diagnostica, 1, 30–43.
Braun, E., Woodley, A., Richardson, J. T., & Leidner, B. (2012). Self-rated competences questionnaires from a design perspective. Educational Research Review, 7, 1–18.
Bremerich-Vos, A., Dämmer, J., Willenberg, H., & Schwippert, K. (2011). Professionelles Wissen von Studierenden des Lehramts Deutsch. In S. Blömeke, A. Bremerich-Vos, H. Haudeck, G. Kaiser, G. Nold, K. Schwippert, & H. Willenberg (Hrsg.), Kompetenzen von Lehramtsstudierenden in gering strukturierten Domänen. Erste Ergebnisse aus TEDS-LT (S. 47–76). Münster: Waxmann.
Brovelli, D., Kauertz, A., Rehm, M., & Wilhelm, M. (2011). Professionelle Kompetenz und Berufsidentität in integrierten und disziplinären Lehramtsstudiengängen der Naturwissenschaften. Zeitschrift für Didaktik der Naturwissenschaften, 17, 57–87.
Brückner, S., Förster, M., Zlatkin-Troitschanskaia, O., Happ, R., Walstad, W. B., Yamaoka, M., & Asano, T. (2015). Gender effects in assessment of economic knowledge and understanding: Differences among undergraduate business and economics students in Germany, Japan, and the United States. Peabody Journal of Education, 90(4), 503–518.
Chatman, S. (2007). Institutional versus academic discipline measures of student experience: A matter of relative validity. Berkeley: Center for Studies in Higher Education.
Civak, S., Stanojevic, M. M., Stummeier, C., & Vogel, R. (2012). Kompetenzentwicklung bei Germanistik- und Physikstudierenden. Trainingseffekt durch das Studium? In U. Preußer & N. Sennewald (Hrsg.), Literale Kompetenzentwicklung an der Hochschule (S. 325–346). Frankfurt a. M.: Peter Lang.
Coates, H. (2014). Higher education learning outcomes assessment: International perspectives. Frankfurt a. M.: Peter Lang.
Darge, K., Eicken, A., & König, J. (2014). Längsschnittliche Erhebung pädagogischer Kompetenzen von Lehramtsstudierenden und Referendaren (LEK-R). Poster präsentiert auf der Eröffnungsfeier des Interdisziplinären Zentrums für empirische LehrerInnen- und Unterrichtsforschung (IZeF) an der Universität zu Köln am 17.1.2014
Deimann, M., Weber, B., & Bastiaens, T. (2009). Entwicklung und Verbreitung eines Tests zur Analyse der Willensstärke in Schule und Hochschule. Unterrichtswissenschaft, 37(4), 362–379.
Diehl, K. (2010). Ausstattung von Hochschulen und Allgemeinwissen. Der institutionelle Einfluss auf die individuelle Leistung. In S. Trepte & M. Verbeet (Hrsg.), Allgemeinbildung in Deutschland (S. 133–145). Wiesbaden: SpringerVS.
Dolan, R., & Burling, K. (2012). Computer-based testing in higher education. In C. Secolsky & B. D. Denison (Hrsg.), Handbook on Measurement, Assessment, and Evaluation in Higher Education (S. 321–335). New York: Routledge.
Dübbelde, G. (2013). Diagnostische Kompetenzen angehender Biologie-Lehrkräfte im Bereich der naturwissenschaftlichen Erkenntnisgewinnung. https://kobra.bibliothek.uni-kassel.de/bitstream/urn:nbn:de:hebis:34-2013122044701/3/DissertationGabiDuebbelde.pdf. Zugegriffen: 25. Sep. 2015.
Erdel, B. (2010). Welche Determinanten beeinflussen den Studienerfolg? Eine empirische Analyse zum Studienerfolg der ersten Kohorte der Bachelorstudenten in der Assessmentphase am Fachbereich Wirtschaftswissenschaften der Friedrich-Alexander-Universität Erlangen-Nürnberg. http://www.ssoar.info/ssoar/bitstream/handle/document/22022/ssoar-2010-erdel-welche_determinanten_beeinflussen_den_studienerfolg.pdf?sequence=1. Zugegriffen: 25. Sep. 2015.
Formazin, M., Schroeders, U., Köller, O., Wilhelm, O., & Westmeyer, H. (2011). Studierendenauswahl im Fach Psychologie. Testentwicklung und Validitätsbefunde. Psychologische Rundschau, 62(4), 221–236.
Friedrich, A., Biermann, A., Kaub, K., Wach, F.-S., Reichl, C., Ruffing, S., Hochscheid-Mauel, D., Bedersdorfer, W., Spinath, F. M., Karbach, J., & Brünken, R. (2013). Lehramtsstudium auf dem Prüfstand. Magazin Forschung Universität des Saarlandes, 2, 22–28.
Gartmeier, M., Bauer, J., Fischer, M. R., Karsten, G., & Prenzel, M. (2011). Modellierung und Assessment professioneller Gesprächsführungskompetenz von Lehrpersonen im Lehrer-Elterngespräch. In O. Zlatkin-Troitschanskaia (Hrsg.), Stationen Empirischer Bildungsforschung. Traditionslinien und Perspektiven (S. 412–426). Wiesbaden: Springer VS.
Gold, B., Förster, S., & Holodynski, M. (2013). Evaluation eines videobasierten Trainingsseminars zur Förderung der professionellen Wahrnehmung von Klassenführung im Grundschulunterricht. Zeitschrift für Pädagogische Psychologie, 27, 141–155.
Gorniak, M., Petzoldt, J., Schäfer, K., Wessels, N., Rudolf, M., & Bergmann, B. (2011). E‑Learning-Modul „Planung experimenteller Untersuchungen“. Entwicklung und Wirkungskontrolle. Zeitschrift für Hochschulentwicklung, 6(1), 58–71.
Greiff, S., Wüstenberg, S., & Funke, J. (2012). Dynamic problem solving: A new assessment perspective. Applied Psychological Measurement, 36(3), 189–213.
Grüner, F. (2011). Lernstrategien und Prüfungsangst bei Studierenden der Studiengänge Humanmedizin und Lehramt. http://opus.bibliothek.uni-wuerzburg.de/frontdoor/index/index/docId/5112. Zugegriffen: 25. Sep. 2015.
Händel, M., Tupac-Yupanqui, A., & Lockl, K. (2012). Metakognitives Wissen und der Einsatz von Lernstrategien bei Studierenden (NEPS Working Paper 20). https://www.neps-data.de/Portals/0/Working %20Papers/WP_XX.pdf. Zugegriffen: 25. Sep. 2015.
Hartig, J., Frey, A., & Jude, N. (2007). Validität. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion, (S. 135–163). Berlin: Springer.
Hasenberg, S., & Schmidt-Atzert, L. (2014). Internetbasierte Selbsttests zur Studienorientierung. Beiträge zur Hochschulforschung, 36(1), 8–29.
Heinze, D. (2013). Volition als Prädiktor für den Studienerfolg in der Domäne Sozial- und Wirtschaftswissenschaften. In O. Zlatkin-Troitschanskaia, R. Nickolaus, & K. Beck (Hrsg.), Kompetenzmodellierung und Kompetenzmessung bei Studierenden der Wirtschaftswissenschaften und der Ingenieurwissenschaften (Lehrerbildung auf dem Prüfstand: Sonderheft, S. 134–149). Landau: Verlag Empirische Pädagogik.
Heller, K. A., & Perleth, C. (2000). (KFT 4-‐12+R) Kognitiver Fähigkeitstest für 4. bis 12. Klassen, Revision-Manual. Weinheim: Beltz.
Hendler, J., Mischo, C., Wahl, S., & Strohmer, J. (2011). Das sprachbezogene Wissen angehender frühpädagogischer Fachkräfte im Wissenstest und in der Selbsteinschätzung. Empirische Pädagogik, 25(4), 518–542.
Herl, H. E., O’Neil, H. F. Jr., Chung, G. K. W. K., Bianchi, C., Wang, S.-L., Mayer, R., Yeh Lee, C., Choi, A., Suen, T., & Tu, A. (1999). Final report for validation of problem-solving measures. Los Angeles: Center for the Study of Evaluation, National Center for Research on Evaluation, Standards, and Student Testing.
Hilfert-Rüppell, D., Looß, M., Klingenberg, K., Eghtessad, A., Höner, K., Müller, R., Strahl, A., & Pietzner, V. (2013). Wissenschaftliches Problemlösen von Lehramtsstudierenden der naturwissenschaftlichen Fächer beim Planen eines biologischen Experiments. Lehrerbildung auf dem Prüfstand, 6(2), 135–154.
Hornbostel, S. (2013). AHELO: Paradigmenwechsel oder mehr vom Gleichen? In E. Braun, A. Donk, & M. Bülow-Schramm (Hrsg.), AHELO goes Germany? Dokumentation des GfHf- & HIS-HF-Workshops (S. 47–54). Hamburg: HIS.
Jähnig, C. C. (2013). Assessing business knowledge of students in German higher education. In U. Faßhauer, B. Fürstenau, & E. Wuttke (Hrsg.), Jahrbuch der berufs- und wirtschaftspädagogischen Forschung 2013 (S. 47–59). Opladen: Budrich.
Jurkowski, S. (2011). Soziale Kompetenzen und Lernerfolg beim kooperativen Lernen. Soziale Kompetenzen und Lernerfolg beim kooperativen Lernen. Kassel: Kassel University Press.
Jurkowski, S., & Hänze, M. (2012). Förderung transaktiven Interaktionsverhaltens. Effekte eines Trainings transaktiver Interaktionsbeiträge auf den Lernerfolg beim kooperativen Lernen. Zeitschrift für Entwicklungspsychologie und pädagogische Psychologie, 44(4), 209–220.
Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.
Kanning, U. P., Böttcher, W., & Herrmann, C. (2012). Measuring social competencies in the teaching profession – development of a self-assessment procedure. Journal for Educational Research Online, 4(1), 140–154.
Kirschner, S. B. (2013). Modellierung und Analyse des Professionswissens von Physiklehrkräften. http://d-nb.info/1045839434/34. Zugegriffen: 25. Sep. 2015.
Kleickmann, T., Tröbst, S., Heinze, A., Anschütz, A., Rink, R., & Kunter, M. (im Druck). Teacher knowledge experiment: Conditions of the development of pedagogical content knowledge. In D. Leutner, J. Fleischer, J. Grünkorn, & E. Klieme (Hrsg.), Competence assessment in education: Research, models and instruments. New York, NY: Springer.
Kleickmann, T., Großschedl, J., Harms, U., Heinze, A., Herzog, S., Hohenstein, F., Köller, O., Kröger, J., Lindmeier, A., Loch, C., Mahler, D., Möller, J., Neumann, K., Parchmann, I., Steffensky, M., Taskin, V., & Zimmermann, F. (2014). Professionswissen angehender Lehrkräfte mit mathematisch-naturwissenschaftlichen Fächern – Testentwicklung im Rahmen des Projekts KiL. Unterrichtswissenschaft, 42(3), 280–288.
Klieme, E., & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52(6), 876–903.
KMK (2000) = Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2000). Rahmenvorgaben für die Einführung von Leistungspunktsystemen und die Modularisierung von Studiengängen. http://www.kmk.org/fileadmin/pdf/PresseUndAktuelles/2000/module.pdf. Zugegriffen: 25. Sep. 2015.
Köller, O., Knigge, M., & Tesch, B. (Hrsg.) (2010). Sprachliche Kompetenzen im Ländervergleich. Münster: Waxmann.
König, J., & Herzmann, P. (2011). Lernvoraussetzungen angehender Lehrkräfte am Anfang ihrer Ausbildung. Erste Ergebnisse aus der wissenschaftlichen Begleitung des Kölner Modellkollegs Bildungswissenschaften. Lehrerbildung auf dem Prüfstand, 4(2), 186–210.
König, J., & Seifert, A. (Hrsg.) (2012). Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung. Münster: Waxmann.
Kollar, I., Ufer, S., Reichersdorfer, E., Vogel, F., Fischer, F., & Reiss, K. (2014). Effects of collaboration scripts and heuristic worked examples on the acquisition of mathematical argumentation skills of teacher students with different levels of prior achievement. Learning and Instruction, 32, 22–36.
Koska, J., & Krüger, D. (2012). Nature of Science – Perspektiven von Studierenden. Schritte zur Entwicklung eines Testinstrument. Projektskizze. Erkenntnisweg Biologiedidaktik, 11, 115–127.
Kramer, J., Nagy, G., Trautwein, U., Lüdtke, O., Konkmann, K., Maaz, K., & Treptow, R. (2011). Die Klasse an die Universität, die Masse an die anderen Hochschulen? Wie sich Studierende unterschiedlicher Hochschultypen unterscheiden. Zeitschrift für Erziehungswissenschaften, 14(3), 465–487.
Kufner, S. (2013). Diagnose und Prognose von Handlungskompetenz im Bereich adaptiven Lehrens bei Studierenden. Eine Videostudie. http://www.opus-bayern.de/uni-passau/volltexte/2013/2713/pdf/Kufner_Sabrina.pdf. Zugegriffen: 25. Sep. 2015
Kuhn, C. (2014). Fachdidaktisches Wissen von Lehrkräften im kaufmännisch-verwaltenden Bereich. Modellbasierte Testentwicklung und Validierung. Landau: Empirische Pädagogik.
Kuhn, C., & Brückner, S. (2013). Analyse des fachdidaktischen Wissens von (angehenden) Lehrkräften in der kaufmännisch-verwaltenden Bildung mit der Methode des lauten Denkens. Berufs- und Wirtschaftspädagogik online, 21, 1–20.
Kuhn, C., Happ, R., Zlatkin-Troitschanskaia, O., Beck, K., Förster, M., & Preuße, D. (2014). Kompetenzentwicklung angehender Lehrkräfte im kaufmännisch-verwaltenden Bereich – Erfassung und Zusammenhänge von Fachwissen und fachdidaktischem Wissen. In E. Winther & M. Prenzel (Hrsg.), Perspektiven der empirischen Berufsbildungsforschung: Kompetenz und Professionalisierung (Zeitschrift für Erziehungswissenschaft: Sonderheft 22, S. 149–167). Wiesbaden: Springer VS.
Kunter, M., Baumert, J., Blum, W., Klusmann, U., Krauss, S., & Neubrand, M. (2011). Professionelle Kompetenz von Lehrkräften – Ergebnisse des Forschungsprogramms COACTIV. Münster: Waxmann.
Lauterbach, O. (2015). Erfassung wirtschaftswissenschaftlicher Fachkompetenzen von Studierenden in Startkohorte 5 des nationalen Bildungspanels. Technischer Bericht (NEPS Working Paper 51). https://www.neps-data.de/Portals/0/Working%20Papers/WP_LI.pdf. Zugegriffen 25. Sep. 2015.
Lederman, N. G., Abd-el-Khalick, F., Bell, R. L., & Schwartz, R. S. (2002). Views of nature of science questionnaire, Toward valid and meaningful assessment of learners’ conceptions of nature of science. Journal of Research in Science Teaching, 39(6), 497–521.
Leutner, D., Fleischer, J., Wirth, J., Greiff, S., & Funke, J. (2012). Analytische und dynamische Problemlösekompetenz im Lichte internationaler Schulleistungsvergleichsstudien. Untersuchungen zur Dimensionalität. Psychologische Rundschau, 63(1), 34–42.
Mallinger, R., Holzbaur, C., Dierich, M., Heidegger, M., Hänsgen, K. D., & Spicher, B. (2008). EMS Eignungstest für das Medizinstudium in Österreich Zentrum für Testentwicklung und Diagnostik am Departement für Psychologie der Universität Freiburg/Schweiz. https://www.unifr.ch/ztd/ems/doc/Bericht_EMSAT08.pdf. Zugegriffen: 25. Sep. 2015.
Metz-Göckel, S., Kamphans, D. S. M., & Scholkmann, A. (2012). Hochschuldidaktische Forschung zur Lehrqualität und Lernwirksamkeit. Zeitschrift für Erziehungswissenschaft, 15(2), 213–232.
Mildner, D., Reiß, S., & Moosbrugger, H. (2009). Prognostische und inkrementelle Validität schulischer Leistungsmerkmale und psychologischer Tests für die Hochschulauswahl. In M. Krämer, S. Preiser, K. Brusdeylins, G. Krampen, & H. Zayer (Hrsg.), Psychologiedidaktik und Evaluation 7 (S. 51–62). Aachen: Shaker.
NEPS (2011) = Nationales Bildungspanel. (2011). Startkohorte 5. Haupterhebung 2010/11 (B53) Studierende. Informationen zum Kompetenztest. Bamberg. https://www.neps-data.de/Portals/0/NEPS/Datenzentrum/Forschungsdaten/SC5/3-0-0/C_B53.pdf. Zugegriffen: 19. Juni 2015.
Nehring, A., Nowak, K.-H., Tiemann, R., & Upmeier zu Belzen, A. (2011). „VerE-Studie“ – Vernetzung der Erkenntnisgewinnung zwischen Chemie- und Biologieunterricht. In D. Höttecke (Hrsg.), Naturwissenschaftliche Bildung als Beitrag zur Gestaltung partizipativer Demokratie (S. 510–512). Berlin: LIT.
Nolle, T., & Döring-Seipel, E. (2011). BASIS: Ein Kompaktseminar zu psychosozialen Kompetenzen für den Lehrerberuf. Lehrerbildung auf dem Prüfstand, 4(1), 88–106.
Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T., & Pöhlmann, C. (Hrsg.) (2013). IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I. Münster: Waxmann.
Pascarella, E. T., & Terenzini, P. T. (2005). How college affects students: A third decade of research. San Francisco: Jossey-Bass.
Pike, G. R. (2011). Assessing the generic outcomes of college: Selections from assessment measures. San Francisco: Jossey Bass.
Piwowar, V. (2013). Multidimensionale Erfassung von Kompetenzen im Klassenmanagement: Konstruktion und Validierung eines Beobachter- und eines Schülerfragebogens für die Sekundarstufe 1. Zeitschrift für Pädagogische Psychologie, 27(4), 215–228.
Plöger, W., & Scholl, D. (2014). Analysekompetenz von Lehrpersonen. Modellierung und Messung. Zeitschrift für Erziehungswissenschaft, 17(1), 85–112.
Preußer, U., & Sennewald, N. (Hrsg.) (2012). Literale Kompetenzentwicklung an der Hochschule. Frankfurt a. M.: Peter Lang.
Quaiser-Pohl, C., & Sander, E. (2011). Einfluss von Erfahrungen und Einstellungen auf die Leistungen im Mentalen Rotationstest bei Studierenden der Computervisualistik oder nicht-technischer Fächer. Ein Testhälftenvergleich. Empirische Pädagogik, 25(2), 218–231.
Renner, W., & Maier, M. J. (2010). Deutschlands klügste Köpfe. In S. Trepte & M. Verbeet (Hrsg.), Allgemeinbildung in Deutschland. Erkenntnisse aus dem SPIEGEL-Studentenpisa-Test (S. 177–193). Wiesbaden: SpringerVS.
Riese, J., & Reinhold, P. (2012). Die professionelle Kompetenz angehender Physiklehrkräfte in verschiedenen Ausbildungsformen. Empirische Hinweise für eine Verbesserung des Lehramtsstudiums. Zeitschrift für Erziehungswissenschaften, 15(1), 111–143.
Roters, B., König, J., Tachtsoglou, S., & Nold, G. (2013). Fachdidaktisches Wissen angehender Englischlehrkräfte – Theoretischer Rahmen und empirische Ergebnisse zur Struktur eines Testinstruments. Lehrerbildung auf dem Prüfstand, 6(2), 155–177.
Roters, B., Lammerding, S., Tachtsoglou, S., Nold, G., & König, J. (2014). Professionelle Kompetenz von angehenden Englischlehrkräften (PKE). Poster präsentiert auf der Eröffnungsfeier des Interdisziplinären Zentrums für empirische LehrerInnen- und Unterrichtsforschung (IZeF) der Universität zu Köln am 17.1.2014.
Roters, B., Nold, G., Haudeck, H., Keßler, J.-U., & Stancel-Piatak, A. (2011). Professionelles Wissen von Studierenden des Lehramts Englisch. In S. Blömeke, A. Bremerich-Vos, H. Haudeck, G. Kaiser, G. Nold, K. Schwippert, & H. Willenberg (Hrsg.), Kompetenzen von Lehramtsstudierenden in gering strukturierten Domänen. Erste Ergebnisse aus TEDS-LT (S. 77–100). Münster: Waxmann.
Roth, H. (1971). Pädagogische Anthropologie (Bd. 2). Hannover: Schroedel
Sadler, R. (2013). Making competent judgment of competence. In S. Blömeke, O. Zlatkin-Troitschanskaia, C. Kuhn, & J. Fege (Hrsg.), Modeling and measuring competencies in higher education. Tasks and challenges (S. 13–26). Rotterdam: Sense Publishers.
Schmelzing, S., Wüsten, S., Sandmann, A., & Neuhaus, B. (2010). Fachdidaktisches Wissen und Reflektieren im Querschnitt der Biologielehrerbildung. Zeitschrift für Didaktik der Naturwissenschaften, 16, 189–207.
Schmidt, S., Brückner, S., Zlatkin-Troitschanskaia, O., & Förster, M. (2015). Das wirtschaftswissenschaftliche Wissen in der Hochschulbildung – eine Analyse der messinvarianten Erfassung finanzwirtschaftlichen Fachwissens bei Studierenden. Empirische Pädagogik, 29(1), 106–124.
Schreiner, M., & Mildner, D. (2011). Das Frankfurter Self-Assessment für Psychologie: Zur prognostischen Güte des Studieninteresses. In M. Krämer, S. Preiser, & K. Brusdeylins (Hrsg.), Psychologiedidaktik und Evaluation (Bd. 8, S. 327–337). Aachen: Shaker.
Seidel, T., & Stürmer, K. (2014). Modeling and measuring the structure of professional vision in preservice teachers. American Education Research Journal, 20(1), 1–32.
Seifert, A., & Schaper, N. (2010). Welche Dimensionen bzw. Modellstruktur liegt der Messung pädagogischer Kompetenz in der universitären Lehrerausbildung zugrunde? In B. Schwarz, P. Nenniger, & R. S. Jäger (Hrsg.), Erziehungswissenschaftliche Forschung – nachhaltige Bildung (S. 224–234). Landau: Empirische Pädagogik.
Shavelson, R. J. (2013). On an approach to testing and modeling competence. Educational Psychologist, 48(2), 73–86.
Speckemeier, C. (2011). Intelligenz und Wissen. Schlüsselkompetenzen im Kontext personalpolitischer Eignungsdiagnostik. Validierungsstudie des Wissenstests START-W für Berufseinsteiger. Berlin: Freie Universität Berlin (Dissertation).
Steffensky, M., Gold, B., Holodynski, M., & Möller, K. (2015). Professional vision of classroom management and learning support in science classrooms – does professional vision differ across general and content-specific classroom interactions? International Journal of Science and Mathematics Education, 13, 351–368.
Testkuratorium (2010). TBS-TK - Testbeurteilungssystem des Testkuratoriums der Föderation Deutscher Psychologenvereinigungen: Revidierte Fassung vom 9. September 2009. Psychologische Rundschau, 61(1), 52–56.
Thiel, F., Veit, S., Blüthmann, I., Lepa, S., & Ficzko, M. (2008). Ergebnisse der Befragung der Studierenden in den Bachelorstudiengängen an der Freien Universität Berlin – Sommersemester 2008. http://www.fu-berlin.de/universitaet/entwicklung/qualitaetsmanagement/bachelorbefragung/bachelorbefragung-2008.pdf?1304061426. Zugegriffen: 25. Sep. 2015.
Tiffin-Richards, S. P., & Pant, H. A. (2016) (im Druck). Arguing validity in educational assessment. In D. Leutner, J. Fleischer, J. Grünkorn, & E. Klieme (Hrsg.), Competence assessment in education: research, models and instruments. Heidelberg: Springer.
Trepte, S., & Verbeet, M. (2010). Der Studentenpisa-Test 2009. Idee, Entwicklung, Validierung. In S. Trepte & M. Verbeet (Hrsg.), Allgemeinbildung in Deutschland (S. 55–69). Wiesbaden: Springer VS.
von Kotzebue, L. (2014). Diagrammkompetenz als biologiedidaktische Aufgabe für die Lehrerbildung Konzeption, Entwicklung und empirische Validierung eines Strukturmodells zum diagrammspezifischen Professionswissen im biologischem Kontext, TUM School of Education. http://mediatum.ub.tum.de/doc/1178515/1178515.pdf. Zugegriffen: 25. Sep. 2015.
von Kotzebue, L., & Nerdel, C. (2012). Professionswissen von Biologielehrkräften zum Umgang mit Diagrammen. Zeitschrift für Didaktik der Naturwissenschaften, 18, 181–200.
Voss, T., Kunina-Habenicht, O., Hoehne, V., & Kunter, M. (2015). Stichwort Pädagogisches Wissen von Lehrkräften: Empirische Zugänge und Befunde. Zeitschrift für Erziehungswissenschaft, 18(2), 187–223.
Wagner, D. (2010). Entwicklung eines Modells zur Beschreibung mathematische Kompetenz beim Übergang Schule-Hochschule. https://eldorado.tu-dortmund.de/bitstream/2003/32043/1/216.pdf. Zugegriffen: 25. Sep. 2015.
Weber, S., & Starke, S. (2010). Lernpotenzial und Effekte eines Business Planning-Kurses. Unterrichtswissenschaft, 3(4), 292–317.
Weinert, F. E. (2001). Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessungen in Schulen (S. 17–31). Weinheim: Beltz.
Westermann, K., & Rummel, N. (2012). Delaying instruction. Evidence from a study in a university relearning setting. Instructional Science, 40(4), 673–689.
Wex, P. (2012). Das leere Versprechen der Kompetenzenprüfung. Frankfurter Allgemeine Zeitung (FAZ) vom 03.10.2012
Willenberg, H. (2012). Literaturwissenschaftliche Kenntnisse von Germanistik-Studierenden am Ende der BA-Phase. Zwischen Wissensmangel und Anwendungsbereitschaft. In U. Preußer & N. Sennewald (Hrsg.), Literale Kompetenzentwicklung an der Hochschule (S. 305–323). Frankfurt a. M.: Peter Lang.
Wirth, R., & Seibert, N. (2011). PArcours – ein eignungsdiagnostisches Verfahren für Lehramtsstudierende der Universität Passau. Lehrerbildung auf dem Prüfstand, 4(1), 47–62.
Wissenschaftsrat (2012). Prüfungsnoten an Hochschulen im Prüfungsjahr 2010 Arbeitsbericht mit einem Wissenschaftspolitischen Kommentar des Wissenschaftsrates. http://www.wissenschaftsrat.de/download/archiv/2627-12.pdf. Zugegriffen: 25. Sep. 2015.
Wolbring, T., Riordan, P., & Groß, J. (2010). Sozialer Kontext und studentischer Wissensstand. Die Bedeutung von Stadtmerkmalen für das Allgemeinwissen. In M. Verbeet & S. Trepte (Hrsg.), Allgemeinbildung in Deutschland. Erkenntnisse aus dem SPIEGEL-Studentenpisa-Test (S. 159–173). Wiesbaden: Springer VS.
Wolter, A. (2010). Higher education. In German Data Forum (Hrsg.), Building on progress. Expanding the research infrastructure for the social, economic and behavioral sciences (2. Aufl. S. 891–910). Opladen: Budrich UniPress.
Yen, J. L., & Hynes, K. (2012). Authentic assessment validation: A heuristic rubrics cube. In C. Secolsky & D. B. Denison (Hrsg.), Handbook on Measurement, Assessment, and Evaluation in Higher Education (S. 423–437). New York: Routledge.
Zlatkin-Troitschanskaia, O., & Kuhn, C. (2010). Messung akademisch vermittelter Fertigkeiten und Kenntnisse von Studierenden bzw. Hochschulabsolventen – Analyse zum Forschungsstand Johannes Gutenberg-Universität Mainz: Arbeitspapiere Wirtschaftspädagogik, 56. http://www.kompetenzen-im-hochschulsektor.de/Illustrationen/gr_Nr.56.pdf. Zugegriffen: 25. Sep. 2015
Zlatkin-Troitschanskaia, O., Happ, R., Förster, M., Preuße, D., Schmidt, S., & Kuhn, C. (2013). Analyse der Ausprägung und Entwicklung der Fachkompetenz von Studierenden der Wirtschaftswissenschaften und der Wirtschaftspädagogik. In O. Zlatkin-Troitschanskaia, R. Nickolaus, & K. Beck (Hrsg.), Kompetenzmodellierung und Kompetenzmessung bei Studierenden der Wirtschaftswissenschaften und der Ingenieurwissenschaften (S. 69–92). Landau: Empirische Pädagogik. Lehrerbildung auf dem Prüfstand (Sonderheft)
Zlatkin-Troitschanskaia, O., Förster, M., Brückner, S., & Happ, R. (2014). Insights from a German assessment of business and economics competence. In H. Coates (Hrsg.), Higher education learning outcomes assessment – International perspectives (S. 175–197). Frankfurt a. M.: Peter Lang.
Zlatkin-Troitschanskaia, O., Shavelson, R. J., & Kuhn, C. (2015a). The international state of research on measurement of competency in higher education. Studies in Higher Education, 40(3), 393–411.
Zlatkin-Troitschanskaia, O., Blömeke, S., & Pant, H. A. (2015b). Competency research in higher education: Conceptual and methodological challenges and perspectives for future interdisciplinary research. Peabody Journal of Education, 90(4), 459–464.
Zlatkin-Troitschanskaia, O., Pant, H. A., Kuhn, C., Toepper, M., & Lautenbach, C. (2016a). Messung akademisch vermittelter Kompetenzen von Studierenden und Hochschulabsolventen – Ein Überblick zum nationalen und internationalen Forschungsstand. Wiesbaden: Springer VS.
Zlatkin-Troitschanskaia, O., Pant, H. A., Kuhn, C., Toepper, M., & Lautenbach, C. (2016b). Assessment practices in higher education and results of the German research program KoKoHs. Research & Practice in Assessment (in press).
Author information
Authors and Affiliations
Corresponding author
Caption Electronic Supplementary Material
11618_2016_673_MOESM1_ESM.pdf
Tabelle: Lehrerbildung MINT, Lehrerbildung andere Fächer, Lehrerbildung fachübergreifend, Andere Fachdisziplinen, Fachübergreifende Instrumente, Studieneignung/Studierfähigkeit, Selbsteinschätzungsverfahren, Studienerfolg
Rights and permissions
About this article
Cite this article
Kuhn, C., Zlatkin-Troitschanskaia, O., Pant, H.A. et al. Valide Erfassung der Kompetenzen von Studierenden in der Hochschulbildung. Z Erziehungswiss 19, 275–298 (2016). https://doi.org/10.1007/s11618-016-0673-7
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11618-016-0673-7