Erhebungen und Prüfungen in grossem Rahmen

von Elham Müller und Sharon Alt

Frau Elham, sie sind schon viele Jahre im Forschungsbereich computerbasierte Large-scale Assessments tätig. Worum geht es da genau?

Bei den Large-scale Assessments geht es um grosse Erhebungen oder Prüfungen. Dabei werden über mehrere Durchläufe Daten erhoben.

Was ist das Ziel dieser Erhebungen?

Ziel ist, dass diese Daten miteinander verglichen werden können. In unseren Projekten werden Leistungsmessungen mit Schülerinnen und Schülern durchgeführt. Und wenn diese Daten nochmal erhoben werden, kann man dann die Vergleichbarkeit herstellen.

Wie hängt die Sicherstellung der Vergleichbarkeit mit der technischen Umsetzung zusammen?

Dabei geht es unter anderem auch um die technischen Rahmenbedingungen, die man schaffen muss, damit die Ergebnisse über einen längeren Zeitraum miteinander vergleichbar sind. Also zum Beispiel wie und auf welchen Geräten man diese Testungen stattfinden lässt und wie die Durchführung ablaufen wird.

In welchem Bereich sind sie da unterwegs?

Das ist eine stetige Entwicklung gewesen. Ich bin 2014 in diesen Bereich eingestiegen. Es ging darum, in der Schweiz erstmalig die Überprüfung der Grundkompetenzen (ÜGK) der Schülerinnen und Schüler computerbasiert durchzuführen. Ich begleitete die Erhebung als IT-Spezialistin und setzte «einfach» die technischen Wünsche der beteiligten Institutionen um.

Sie sagen, sie haben «einfach» die Wünsche umgesetzt …

Einfach war das nie! (lacht) Wenn man mit so einem Projekt startet, ist es häufig so, dass die Anforderungen und Wünsche nicht klar kommuniziert sind. Und es war nicht klar, wie diese Erhebungen im Detail ablaufen werden. Es gab ständige Veränderungen und Anpassungsbedarf. Im Laufe der Zeit bin ich mit den Abläufen immer vertrauter geworden. Aber es ist auch heute noch eine Herausforderung, die unterschiedlichen Bedürfnisse der Nutzer unter einen Hut zu bringen.

Welche Rolle hatten sie im Rahmen der Zusammenarbeit mit den Institutionen?

Ich habe das Projekt ÜGK technisch beraten und umgesetzt. Die Erhebung sollte nicht mit Stift- und Papier, sondern auf Computern durchgeführt werden. Die Entscheidungen, wie etwas gemacht wird, wurden damals nicht von mir getroffen. Das hat sich dann mit dem Start von Ingo Barkow am Schweizerischen Institut für Informationswissenschaft geändert. Wir entscheiden nun darüber, wie wir die technische Umsetzung durchführen und evaluieren neue Möglichkeiten für computerbasierte Assessments.

Das ist ein Steilpass für meine nächste Frage: Ihr habt ja diese Kompetenzen für Large-scale Assessments in der Schweiz an der FH Graubünden aufgebaut.

Die Kompetenzen waren in der Schweiz schon da, und zwar im Bereich der PISA-Studien. Die PISA-Erhebungen sind auch Large-scale Assessments. PISA läuft aber insofern anders, dass die OECD die Entscheidungen trifft, wie diese PISA-Studien in den Schulen durchgeführt werden – und zwar weltweit.

Was war beim ÜGK-Projekt neu?

Es war etwas ganz Neues, weil es um eine Schweizer Studie im Bereich Large-scale Assessments geht. Entsprechend wird die gesamte Testung in der Schweiz entwickelt und umgesetzt. Und da waren schon auch die Zusammensetzungen der Institutionen mit ihren (föderalen) Zuständigkeiten etwas ganz Neues und Spannendes für mich. Jeder kennt sich in seinem spezifischen Bereich sehr gut aus. Das Ganze unter ein Dach zu bringen und daraus ein tolles Projekt entstehen zu lassen, ist schon eine Herausforderung gewesen. Wir an der FH Graubünden begleiten das Projekt in technischer Hinsicht möglichst gut.

Sie sind schon sehr lange dabei. Können sie sich an lustige Episoden erinnern?

Auf jeden Fall! Da gibt es einige. Ich habe Test-Sessions in den Klassenräumen der Schulen mitbegleitet, um ein Gefühl dafür zu bekommen, wie das, was wir technisch umsetzen in der Durchführung funktioniert. Wie wird das gemacht? Wie gehen die Schülerinnen und Schüler damit um? Das war schon sehr spannend, in den Klassenräumen zu stehen und den Umgang der Zielgruppe mit dem Computer zu beobachten. Da war alles dabei: Von nichts verstehen und nicht wissen, wo sie klicken müssen bis sehr schlau und alles besserwissend wie wir. Das hat mir viel gebracht, um bei der technischen Umsetzung auch diese Verhaltensweisen mitzudenken.

Wenn so viele Institutionen beteiligt sind und komplexe Prozesse in der Software abgebildet werden müssen, da wird es bestimmt auch viele Herausforderungen geben?

In der Tat!

Können sie ein Beispiel für diese Herausforderungen geben?

Herausforderungen gibt es eine Menge. Viele Dinge werden zwar Jahr für Jahr wiederholt. Trotzdem ist jede Erhebung wieder eine neue Situation. Das fängt schon damit an, dass wir momentan die Erhebungen auf Tablets durchführen. Irgendwann sind die Geräte veraltet. Und wir müssen darauf achten, dass die Erhebungssoftware funktionsfähig bleibt, auch wenn das Betriebssystem und die ganzen Softwareversionen ändern. Grosse Herausforderungen sind auch Wechsel von Mitarbeitenden, die neu eingearbeitet werden müssen. Und es ist eine Challenge, die Kommunikation so zu führen, dass alle auf dem gleichen Stand sind.

Sie sind von der Entwicklung in die Projektleitung gewechselt. Wie haben sie diesen Wechsel erlebt?

Auch als eine sehr grosse Herausforderung. Ich bin in diesem Projekt (ÜGK) mittlerweile ein Urgestein. Mittlerweile bin ich im Gesamtprojekt die Person, die am längsten dabei ist. Deshalb ist es sehr spannend, das Ganze nicht nur als Entwicklern durchzuführen und die technischen Anforderungen umzusetzen, sondern auch tatsächlich mitgestalten und mitplanen zu können.

Gibt es da manchmal sprachliche Barrieren, wenn Institutionen aus den verschiedenen Sprachregionen zusammenarbeiten und ihre Bedürfnisse an die Software kommunizieren?

Genau. Das sind zwei verschiedene Aspekte in Sachen Sprachen. Einmal sind es die tatsächlichen Sprachen Englisch, Französisch, Italienisch und Deutsch der verschiedenen Projektbeteiligten. Und einmal sind es die verschiedenen (Fach)Sprachen der Fachdidaktiker und Informatiker, die zusammenkommen. Mir ist es wichtig, nicht in der Informatiker-Sprache zu sprechen, damit alle die Vorgänge und die Komplexität, die hinter der technischen Umsetzung steht, verstehen. Obwohl ich kein Französisch und Italienisch kann, glaube ich, dass ich das ganz gut hinkriege.

Jetzt haben wir Ende Jahr, da schaut man auch was die Zukunft bringt. Wo sehen sie Entwicklungschancen in ihrem Forschungsbereich?

Davon gibt es einige. Die Durchführungen finden jedes Jahr statt. Da wiederholen sich viele Vorgänge. Eine Aufgabe wird es in Zukunft sein, diese sich wiederholenden, manuellen Aufgaben zu automatisieren und Fehlerquellen zu minimieren. Da sind wir auch bereits an einem Projekt dran, der Entwicklung eines Moduls für das Stichprobenmanagement.