Tailored testing mit dem AID 3

Herr Professor Kubinger, was genau versteht man unter tailored testing?
Übersetzt man tailored testing mit "maßgeschneidertem" Testen, so wird das Prinzip ganz anschaulich: Ein Test wird individuell aus Aufgaben solcher Schwierigkeit zusammengesetzt, dass er wie ein Maßanzug genauestens für die betreffende Person passt. D.h., es werden weder (zu) viele demotivierende noch (zu) viele frustrierende Aufgaben pro Person gestellt. Stattdessen werden nur die Aufgaben vorgegeben, die für den Testleiter informativ sind. Eine Aufgabe ist dann informativ, wenn es nicht von vornherein sehr wahrscheinlich ist, dass die untersuchte Person sie lösen wird (da sie zu leicht ist) bzw. nicht lösen wird (da sie zu schwierig ist).

Branched testing versus tailored testing

Die "klassische" Vorgabe des AID 3 folgt ja dem Prinzip des branched testing. Welche Vorteile hat tailored testing gegenüber branched testing?
Beim branched testing greift das angesprochene Prinzip zwar auch, aber nicht in gleicher "Perfektion". Die individuelle Anpassung der Aufgabenauswahl erfolgt nicht nach jeder einzelnen administrierten Aufgabe, sondern erst nach einer Gruppe von zumeist fünf Aufgaben. Das ist der ursprünglichen Intention geschuldet, die Testadministration ohne Computer durchzuführen – beachte: die Erstauflage des AID wurde 1985 publiziert! Ohne Computer ist zwar branched testing, nicht aber tailored testing möglich. Zwischenzeitlich ist die Nutzung eines Laptops für Testleiter nicht nur zumutbar, sondern sogar erwünscht und so erfolgt die Testvorgabe mit dem AID_3_tailored computerunterstützt. Der Testleiter wird dabei über das Computerprogramm angewiesen, welche Aufgabe und welches Material jeweils vorzugeben sind.  Die Testperson selbst arbeitet aber nicht am Computer, weil sonst der mit dem AID angestrebte "diagnostische Mehrwert" einer interaktiven Einzeltestung verloren ginge.

Der praktische Vorteil des tailored testings besteht in der geringeren Aufgabenanzahl, die nötig ist, um ansprechend hohe Messgenauigkeit zu erzielen. Konkret können beim AID 3 nach dem tailored testing gegenüber dem Original mit dem branched testing von den zumeist vorgesehenen 15 Aufgaben je Untertest 3 bis 4 gespart werden, um dieselbe Messgenauigkeit und damit dieselbe Breite des Konfidenzintervalls für den wahren Testwert zu erhalten. Diese Tatsache und der Umstand der computerunterstützten Vorgabe mit dem AID_3_tailored reduziert die Testdauer um etwa 25 Minuten auf nun 50 bis 55 Minuten; wobei dann auch gleich die Auswertung vorliegt. Neben dieser Zeitersparnis für den Testleiter (und die Testperson) verringert sich für die Testperson auch der energetisch-motivationale Aufwand.

Durchführungshinweise werden direkt auf dem Bildschirm angezeigt

Wie läuft eine Testung und Auswertung mit dem AID_3_tailored genau ab?
Auch beim Einsatz des Testleiterprogramms AID_3_tailored müssen sowohl sämtliche Materialien zum AID 3 vorliegen, als auch das Manual und die Testanweisung des AID 3 genau studiert werden. Hinweise zur Durchführung der jeweiligen Aufgabe (inkl. Instruktion) werden dem Testleiter aber direkt am Bildschirm angezeigt und müssen nicht in der Testanweisung nachgeschlagen werden. Das Bestimmen mit Hilfe der kleinen Tabellen im Aufgabenkatalog der Testanweisung des AID 3, welche Aufgabengruppe als nächstes je Altersgruppe und Block-Rohwert vorzugeben ist, entfällt; erst recht das Um- oder Weiterblättern zur nächsten Aufgabengruppe. Es entfällt auch das Eintragen der einzelnen Testleistungen im Protokollbogen und schließlich die Bestimmung der T-Werte bzw. Prozentränge mit Hilfe der Eichtabellen, da die Ergebnisse direkt am PC oder Laptop eingegeben werden und die Auswertung automatisch erfolgt.

Enormer Entwicklungsaufwand führt zu höherer Messgenauigkeit

Offenbar bietet tailored testing viele Vorteile. Weshalb gibt es Ihrer Meinung nach bisher trotzdem kaum Verfahren, die diesem Testprinzip folgen?
Adaptives Testen als eine besondere "Technik" psychologischen Diagnostizierens ist in seiner Theorie seit mehr als vier Jahrzehnten bekannt und psychometrisch umfangreich erforscht. Dementsprechend häufig wird es an international bekannten Testinstitutionen (z.B. ETS, Educational Testing Service) in computerisierter Weise praktisch umgesetzt. Vereinzelt gibt es auch im deutschsprachigen Raum Produkte nach dem Prinzip des tailored testing.

Interessanterweise gibt es dagegen außer dem AID 3 noch immer keine publizierten Tests auf der Grundlage von branched testing. Diese wären jedoch grundsätzlich in Bezug auf ihre hohe Messgenauigkeit herkömmlichen Tests, sog. fixed item tests, überlegen. Der Grund für die seltene Umsetzung adaptiven Testens, egal ob branched oder tailored, ist einerseits der Entwicklungsaufwand, andererseits die mangelnde Nachfrage von Praktikern, die sich der weit höheren Qualität (Messgenauigkeit) zu wenig bewusst sind.

Tatsächlich ist der Entwicklungsaufwand enorm, müssen doch wesentlich mehr Aufgaben zusammengestellt werden, und zwar für einen sehr weitgesteckten Schwierigkeitsbereich. Anschließend müssen diese Aufgaben sehr großen Stichproben vorgegeben und auf ihre psychometrische Qualität (z.B. Geltung des Rasch-Modells) geprüft werden. Allerdings wird häufig übersehen, dass der Verzicht auf eine solche Prüfung auch bei herkömmlichen Tests stets die Gefahr birgt, dass die einzelnen Aufgaben gar nicht eindimensional messen, also der resultierende Testwert nicht eindeutig als ein bestimmter Grad der fraglichen Fähigkeit zu interpretieren ist, sondern nicht intendierte Merkmale der Testperson in das Ergebnis miteinfließen.

Usability ist wichtig

Auf welche Herausforderungen sind Sie bei der Entwicklung des AID_3_tailored gestoßen?
Die Umsetzung der Originalversion AID 3 auf das Testleiterprogramm AID_3_tailored war theoretisch ein Leichtes. Die technische Umsetzung zur Erreichung hoher Anwenderfreundlichkeit und einfacher Bedingung, der sog. Usability, bedeutete aber eine besondere und ganz neue Herausforderung. Diese hat jedoch mein Co-Autor Frank Spohn hervorragend gemeistert.HM