Mittwoch, 1. August 2012

Wissenschaftliche Evaluation ja – CHE-Ranking nein. Methodische Probleme und politische Implikationen des CHE-Hochschulrankings - Stellungnahme der Deutschen Gesellschaft für Soziologie (DGS) Juni 2012 (Langfassung)


Seit dem Jahr 1998 werden in jedem Frühjahr die Ergebnisse des CHE-Hochschulrankings 
veröffentlicht, das aus einer Ranggruppenliste der universitären Standorte verschiedener 
akademischer Fachdisziplinen besteht. Durch die seit 2005 stattfindende Publikation in DIE 
ZEIT bzw. im ZEIT-Studienführer hat dieses Ranking eine hohe öffentliche Sichtbarkeit 
erhalten. 


Seit der ersten Durchführung des CHE-Rankings sind in der Soziologie immer wieder Zweifel 
an dessen fachlicher Qualität geäußert worden. Dennoch haben die Institute unseres Faches 
mit Blick auf die Informationsbedürfnisse derer, die sich für ein Studium der Soziologie 
interessieren, an der Datenerhebung für das Ranking teilgenommen. Dass die Soziologie 
bzw. die Sozialwissenschaften in der Vergangenheit mit einem eigenen Professions- und 
Fachvertreter im CHE-Fachbeirat repräsentiert waren und dabei ihre Einflusskanäle und 
Kontrollaufgaben möglicherweise nicht oder jedenfalls nicht effektiv genug ausgeübt und 
genutzt haben, sei an dieser Stelle nicht verschwiegen, sondern durchaus selbstkritisch 
angemerkt.


Seit Mitte des letzten Jahres haben jedoch die sich häufenden fachlichen und 
wissenschaftspolitischen Bedenken an verschiedenen universitären Standorten der 
Soziologie zu einem Umdenken geführt. Das  – vom CHE wiederholt sehr gut bewertete  –
Institut für Soziologie der Universität Jena beschloss zum damaligen Zeitpunkt, sich nicht 
weiter am Hochschulranking beteiligen zu wollen. Daraufhin hat sich der Vorstand der 
Deutschen Gesellschaft für Soziologie eingehend mit dem CHE-Ranking befasst. Nach dem 
Studium der zugänglichen Dokumentationen und einem längeren Gespräch mit den 
zuständigen Vertreterinnen des Centrums für Hochschulentwicklung gelangte der Vorstand 
diesbezüglich zu einer Einschätzung und Empfehlung, die im Folgenden dokumentiert 
werden. Das Konzil der DGS schloss sich dieser Einschätzung an und beschloss die daran 
anknüpfenden Empfehlungen auf seiner Sitzung vom 20. April 2012 einstimmig.

Fachliche und wissenschaftspolitische Beurteilung des CHE-Rankings



Das CHE-Ranking weist zum einen gravierende methodische Schwächen und empirische 
Lücken auf. Zum anderen laden die summarische Bewertungspraxis und die spezifischen 
Publikationsformate des Rankings systematisch zu Fehldeutungen ein. Auf beide Aspekte ist 
hier ausführlicher einzugehen.

Fachliche Beurteilung: Forschungsindikatoren



Die Qualität der an den einzelnen universitären Standorten geleisteten Forschung ist 
zumindest zeitweise auf der Grundlage von Publikationsdatenbanken erhoben worden, die 
nicht nur der Wissenschaftsrat, sondern mittlerweile auch das CHE selbst als nicht geeignet 
oder jedenfalls für das Fach Soziologie als nicht hinreichend aussagekräftig beurteilen. 
Ersatzweise berechnet das CHE nun zur Abbildung der Forschungsleistung die je (auf 
Haushaltsstellen) beschäftigten Wissenschaftler eingeworbenen Drittmittel. Dabei werden 
ohne weitere Differenzierung beispielsweise auch die Stellen des Hochschulpaktes  – die 
ausdrücklich nicht für die Forschung, sondern zur Bewältigung von Lehrlasten geschaffen 
wurden – zum Divisor der Drittmittelgrößen gemacht. Faktisch bedeutet dies, dass sich mit 
steigender Lehrbelastung eines Instituts (etwa in der Lehrerbildung) rein rechnerisch dessen 
Forschungsleistung pro Kopf, die das CHE zu „messen“ beansprucht, verschlechtert. Dass 
hiervon insbesondere jene Universitäten betroffen sind, die aufgrund ihrer regionalen Lage 
im Zuge des Hochschulpaktes sehr viele Studierende aufgenommen haben, liegt auf der 
Hand. Damit obliegt die „Beweislast“ der Forschungsqualität der einzelnen Institute 
praktisch vollständig dem subjektiven Kriterium ihrer diesbezüglichen Reputation bei den 
Fachkollegen und -kolleginnen an anderen  – in der Logik des Rankings: konkurrierenden  –
Standorten. Wer sich an der entsprechenden Befragung der Hochschullehrer/-innen einmal 
selbst beteiligt hat, weiß um deren methodische Schlichtheit und inhaltliche 
Undifferenziertheit. Die Aussagekraft solcher standortbezogener Pauschalurteile für 
Studieninteressierte als den erklärten Adressat/-innen des Rankings ist als durchaus 
zweifelhaft zu bezeichnen.

Fachliche Beurteilung: Lehrindikatoren



Für eben diese Adressat/-innen ist naheliegender Weise das zentrale Kriterium für eine 
mögliche Studienortentscheidung die Qualität der Lehre an unterschiedlichen soziologischen 
Instituten. Diese  wird vom CHE jedoch maßgeblich auf der Grundlage einer Studierendenbefragung erhoben, die gekennzeichnet ist durch (a) schwache Rücklaufquoten 
(in der Soziologie zuletzt 19,3%), (b) geringe Fallzahlen (an jeder dritten Universität weniger 
als 30 Studierende des Faches) und (c) eine völlig ungeklärte Selektivität der Befragung, so 
dass die Gefahr von Zufallsaussagen entsprechend groß ist. Die Ziehung einer echten 
Zufallsstichprobe mit berechenbarer Auswahlwahrscheinlichkeit wird  – was dem CHE 
durchaus bekannt ist  – keineswegs von allen Universitäten geleistet. Zudem kann eine 
schriftliche Befragung ohne systematisches Mahnwesen und Nonresponse-Studie faktisch 
keinerlei Aussagekraft für sich beanspruchen und würde spätestens nach der 
Grundausbildung in der Methodenlehre für jede/n Soziologiestudierende/n schlicht als 
absurd erkennbar. Insofern sind an den Ergebnissen der Studierendenbefragung des CHE, 
die in der Diskussion um das Ranking nicht selten als Möglichkeit studentischer Partizipation 
qua Evaluation gewertet wird, massive Zweifel anzubringen.


Hingegen werden für die Einschätzung der Studiensituation wichtige, wenn nicht gar 
entscheidende, und von den Lehrenden nicht beeinflussbare Rahmenbedingungen 
überhaupt nicht in die Analyse (und Bewertung) einbezogen  – so etwa (a) die jeweiligen 
Betreuungsrelationen (Lehrdeputat der auf Haushaltsstellen beschäftigten Dozent/-innen 
bezogen auf Kopf- bzw. Fallzahlen an Studierenden), (b) die damit verbundenen 
rechnerischen (und realen) Lehrveranstaltungsgrößen oder (c) die Leistungsfähigkeit von 
Prüfungsämtern. Auch wird auf die Erhebung qualitativer Daten verzichtet, die für die 
Lehrqualität an den einzelnen Standorten ebenso wie für die Studienwahlentscheidung 
potenzieller Studierender in höchstem Maße relevant sind bzw. wären, etwa die inhaltliche 
Schwerpunkt- und Profilbildungen in verschiedenen soziologischen Studiengängen oder die 
systematische Rückbindung der Lehre an die am jeweiligen Institut – wie drittmittelintensiv 
oder reputierlich auch immer – betriebene Forschungspraxis. Bei einer derart ungenügenden 
und äußerst selektiven, faktisch irreführenden Datenlage ist die Bildung einer 
Rangreihenfolge von Instituten mit Blick auf ihre Lehrleistung schlechterdings nicht zu 
rechtfertigen.

Wissenschaftspolitische Beurteilung: Bewertungspraxis und Publikationsformate



Dass das Centrum für Hochschulentwicklung aber eben dies bezweckt und in der Tat auch 
„leistet“, nämlich auf Grundlage einer äußerst zweifelhaften Datenbasis die universitären 
Standorte der Soziologie in  „gute“ und „schlechte“  – oder „bessere“ und „schlechtere“  –
Institute zu unterteilen und in entsprechender Scheineindeutigkeit hierarchisch zu listen, ist 
das eigentliche Problem des Hochschulrankings. Die Publikationsformate desselben laden mit ihrer pauschalen Bewertungspraxis und ihren vereinfachenden Darstellungsweisen zu 
systematischen Fehlwahrnehmungen der Sachlage im Fach Soziologie ein. 

Zwar erhebt das CHE für die Soziologie insgesamt circa 18 Indikatoren für Forschungs- und 
Lehrqualität und veröffentlicht diese auch in der Internet-Version des Rankings – wobei man 
für die Beschreibung der einzelnen Indikatoren und ihrer Herleitung freilich aufs 
Kleingedruckte verweist, was die allerwenigsten Leser/-innen nachvollziehen dürften. In der 
Print-Version in DIE ZEIT bzw. im ZEIT-Studienführer werden aber nicht etwa diese 18 
Indikatoren zu Indizes zusammengefasst, sondern vielmehr nur 5  - 6 Indikatoren selektiv 
ausgewiesen, ohne dass dies bei oberflächlicher Lektüre erkennbar wäre und die Auswahl 
überhaupt begründet würde. Dabei werden sowohl für die Forschungs- wie für die 
Lehrqualität ausschließlich die subjektiven Einschätzungen aus den  – wie gesehen  –
methodisch äußerst zweifelhaften Befragungen als Bewertungen vorgelegt. In diesem 
Zusammenhang täuscht auch und gerade das simplifizierende Ranking mithilfe der 
(mittlerweile in die Farben Grün, Gelb und Blau überführten) Ampelsymbolik über die 
bemerkenswerte Dürftigkeit der Datenbasis in die Irre; mitunter kann eine einzige binär 
codierte Antwort auf ein  Fragebogenitem zu einem „gute“ oder „schlechte“ Leistungen 
signalisierenden Ampelsymbol führen. Das CHE-Ranking suggeriert, sich hierbei ohne 
Weiteres den massenmedialen Präsentationserfordernissen beugend, eindeutige und 
verlässliche Urteile, die durch die verfügbaren Daten keineswegs gedeckt sind – und wo ganz 
offenkundig systematische Differenzierungen und dichte Beschreibungen angebracht und 
angemessen wären.

Es ist schon für sich genommen bedenklich, dass damit eine Irreführung eben derer 
betrieben wird, denen das CHE-Ranking nach Bekunden des Urhebers primär dienen soll  –
also all jener, die sich für ein Studium der Soziologie interessieren und denen genauere 
Auskünfte über einzelne Standorte bei der Wahl des Studienorts und Studiengangs in der Tat 
durchaus behilflich sein könnten. Diesbezüglich ist es womöglich Glück im Unglück, dass  –
soweit die Lehrenden der Soziologie ermitteln können – zumindest kaum eine/r derjenigen, 
die heute das Fach an deutschen Universitäten studieren, sich dabei vom CHE-Ranking 
entscheidend hat beeinflussen lassen. Es wird offenbar nur von einer kleinen Minderheit der 
Studieninteressierten überhaupt ernsthaft zur Kenntnis genommen  – und das ist auch gut 
so.

Wirklich problematisch hingegen  – und gänzlich unabhängig von seinem  mangelnden 
Informationswert – wirkt sich das CHE-Ranking wissenschaftspolitisch aus. Somit erfüllt es, 
will man den erklärten Absichten seiner Urheber Glauben schenken, de facto einen Zweck, 
für den es „eigentlich“ überhaupt nicht gedacht war. In der hochschulpolitischen Realität aber lädt das CHE-Ranking Fakultäts- und Hochschulleitungen sowie Ministerialbürokratien 
zu extrem simplifizierenden Lesarten ein, ja fordert diese geradezu heraus. Auf deren Basis 
können dann gegebenenfalls folgenschwere, jedoch sachlich im Zweifel unbegründete 
Strukturentscheidungen zur Soziologie als wissenschaftlicher Disziplin und zu ihren 
Studiengängen an einzelnen Standorten getroffen werden.

In Anbetracht der Gefahr solch politischer Verwendungsweisen des CHE-Rankings erscheint 
es umso bemerkenswerter, dass die Verantwortlichen des CHE sich nicht auf eine (wie auch 
immer unvollständig und unbefriedigend realisierte) Informationsfunktion beschränken 
wollen; auf die Konstruktion einer Rangreihenfolge der soziologischen Institute in 
Deutschland, die angemessener methodischer Grundlagen entbehrt, meinen sie nicht 
verzichten zu können. In dem Vorgespräch mit den CHE-Verantwortlichen wurde der 
Deutschen Gesellschaft für Soziologie von diesen offen mitgeteilt, dass es keine Möglichkeit 
für das Fach gebe, im Rahmen des vom CHE organisierten Verfahrens zwar seiner eigenen 
Informationsabsicht Genüge zu tun, sich der vorgegebenen Bewertungs- und Reihungspflicht 
hingegen zu entziehen. Für die DGS ist damit hinlänglich deutlich geworden, dass das CHE 
die Politisierung seines Hochschulrankings zumindest billigend in Kauf nimmt. Während die 
Urheber des Rankings behaupten, mit diesem bloß existierende Qualitätsunterschiede 
zwischen den universitären Standorten der Soziologie abzubilden, spricht nach Ansicht der 
Deutschen Gesellschaft für Soziologie viel dafür, dass das CHE-Ranking maßgeblich zur 
Konstruktion von „Differenz“ und damit zur Spaltung der Hochschullandschaft im Fach 
Soziologie beiträgt.

Im schlimmsten Fall wirkt das Ranking damit langfristig im Sinne einer „self-fulfilling 
prophecy“: Was auf vermeintlich gesicherter empirischer Basis als „guter“ oder „schlechter“ 
Standort ausgewiesen wird, entwickelt sich womöglich auf lange Sicht  – aufgrund von 
dadurch veranlassten strukturpolitischen Entscheidungen und irgendwann dann doch 
entsprechend sich verändernden Studierendenströmen  – auch real zu einem solchen. Die 
Soziologie weiß wie keine zweite wissenschaftliche Disziplin um die handlungsleitenden 
Effekte sozialer Situationsdefinitionen. Sie sieht sich daher in der wissenschaftlichen Pflicht, 
auf die weitreichenden Konsequenzen von auf falschen Situationsdefinitionen beruhenden 
Handlungen hinzuweisen  – und in der wissenschaftspolitischen Verantwortung, nicht 
weiterhin selbst zu solchen Konsequenzen beizutragen.

Empfehlungen zum Umgang mit dem CHE-Ranking


Weil das CHE-Ranking erstens gravierende methodische und empirische Mängel aufweist, 
zweitens Studieninteressierten als seiner erklärten Zielgruppe wesentliche Informationen vorenthält, dafür aber drittens wissenschaftspolitische Entscheidungsträger zu 
Fehlentscheidungen provoziert, muss sich das Fach Soziologie gegen diese Darstellung seiner 
Lehr- und Forschungsleistungen in der Medienöffentlichkeit zur Wehr setzen. Vorstand und 
Konzil der Deutschen Gesellschaft für Soziologie gelangen auf der Basis dieser Einschätzung 
und den zuvor ausgeführten Begründungen derselben zu folgenden Empfehlungen:  


1.  Nachdem unsere Analysen und die Diskussion der erheblichen methodischen Mängel mit 
den zuständigen Vertreterinnen des CHE keine Aussicht auf zukünftige wesentliche 
Verbesserungen des CHE-Rankings ergeben haben, stellen wir hiermit fest, dass diese 
Evaluation grundlegenden Qualitätsanforderungen der empirischen Sozialforschung nicht 
entspricht. Als Fachgesellschaft der Soziologie fordern wir die soziologischen Institute an 
deutschen Hochschulen dazu auf, nicht länger durch ihre Teilnahme an diesem Ranking 
den Eindruck zu erwecken, dass sie ein empirisches Vorgehen unterstützen, das die 
Soziologie aus fachlichen Gründen ablehnen muss. Konkret bedeutet dies, dass die 
soziologischen Institute diesen Beschluss und seine fachliche Begründung gegenüber 
ihren Fachbereichs- und Hochschulleitungen sowie ihren Studierenden vertreten und 
erklären und sich insbesondere nicht an der für kommendes Jahr vorgesehenen 
Datenerhebung für das nächste CHE-Ranking der Soziologie beteiligen sollen.


2.  Die DGS appelliert an wissenschaftspolitische Entscheidungsträger auf Hochschul- und 
Ministeriumsebene, sich bei ihren  Überlegungen und Interventionen zur 
Weiterentwicklung des Fachs Soziologie an seinen verschiedenen Standorten nicht länger 
auf Einschätzungen und Informationen zu stützen, die aus dem CHE-Ranking 
hervorgehen. Es gibt bereits vorliegende verlässlichere Auskünfte; und im Einzelfall 
sollten anlassbezogene Evaluationen durchgeführt werden, wofür sowohl geeignete 
Konzepte als auch unvoreingenommene Einrichtungen bereitstehen. 


3.  Als empirisch arbeitendes sozialwissenschaftliches Fach beansprucht die Soziologie eine 
besondere Kompetenz bei der Beurteilung aller Arten von empirischer Sozialforschung, 
wozu auch Evaluationen wie das CHE-Ranking gehören. Diese Kompetenz impliziert im 
vorliegenden Fall die Verantwortung, auch anderen, diesbezüglich womöglich weniger
sensiblen Fächern zu empfehlen, sich nicht länger am CHE-Ranking zu beteiligen. Denn 
die für die Soziologie festgestellten gravierenden Mängel und missbräuchlichen 
Nutzungen dieses Rankings kennzeichnen dessen Anwendung auf andere Fächer in 
gleicher Weise.  


4.  Die Soziologie ist ein in jedem Sinne evaluationskundiges Fach. Aus diesem Grund hat sie 
sich im Jahre 2006 für eine Pilotstudie des Wissenschaftsrates zum Rating (und gerade 
nicht Ranking) von Forschungsleistungen zur Verfügung gestellt. Dieses wissenschaftliche 
Rating hat in einem Verfahren von erheblicher sozialer und sachlicher Komplexität 
exemplarisch deutlich gemacht, welchen Anforderungen eine seriöse und valide 
Wissenschaftsevaluation mindestens genügen muss. Um darüber hinaus den spezifischen 
und berechtigten Wünschen derer, die an einem Studium der Soziologie interessiert sind, 
nach einer Entscheidungshilfe bei der Studienfach- und Studienortwahl nachzukommen, 
wird die DGS selbst ein öffentlich zugängliches Informationsangebot aufbauen, in dem in 
Gestalt deskriptiver Informationen vor allem auch die lokalen Fachprofile ausgewiesen 
werden.

















Mein Blog befasst sich in einem umfassenden Sinn mit dem Verhältnis von Wissen, Wissenschaft und Gesellschaft. Ein besonderes Augenmerk richte ich dabei auf die Aktivitäten des Medien- und Dienstleistungskonzern Bertelsmann und der Bertelsmann Stiftung.

Keine Kommentare:

Kommentar veröffentlichen

Sie sind herzlich zu Kommentaren aufgefordert und eingeladen!