Die rapide Zunahme von Online-Methoden erschwert das Aufdecken von Betrugsverhalten in unbeobachteten Testsituationen. Mit PageFocus wird ein Werkzeug vorgestellt, das Rückschlüsse auf ein solches Verhalten zulässt.
Die rapide Zunahme von Online-Methoden erschwert das Aufdecken von Betrugsverhalten in unbeobachteten Testsituationen. Mit PageFocus wird ein Werkzeug vorgestellt, das Rückschlüsse auf ein solches Verhalten zulässt.
Mindestens 30 % aller eingesetzten Verfahren der Personalauswahl sind Online-Methoden. Dazu zählen unter anderem Leistungstests, Persönlichkeitsfragebögen und Assessmentcenter. Die Bewerber können diese von zu Hause aus oder in Gruppentestungen absolvieren.
Eine Zunahme von Online-Methoden scheint mit Hinblick auf die Vorteile dieser Verfahren plausibel.
Im Fokus stehen hier vor allem Kosten und Zeit.
Jensen und Thomsen (2014) berichten, dass circa 22 % der Teilnehmer einer Online-Studie mit Wissensfragen angaben, das Internet zur Hilfe benutzt zu haben. Somit ist klar erkennbar, dass es ein Problem ist, Online-Tests in einem nicht geschützten Rahmen anzubieten. Die Motivation von Teilnehmern ist extrem hoch, bei solchen Tests zu betrügen. Dies ist besonders dann der Fall, wenn viel von dem Ergebnis abhängt. Das ist aber bei Tests in der Personalauswahl immer der Fall. Deshalb stellen diese Tests eine besondere Risikogruppe für Betrugsverhalten dar.
Wie lässt sich Betrugsverhalten entdecken? Einen möglichen Hinweis auf die Zuhilfenahme unerlaubter Hilfsmittel kann PageFocus liefern.
Mit Hilfe von PageFocus ist es möglich, Ereignisse, die einen Wechsel des Fokus des Browsers auslösen, zu speichern. Dies ermöglicht es festzustellen, wenn ein Testteilnehmer die Testseite verlässt. Das kann zum Beispiel das Öffnen eines neuen Browser-Tabs oder des Taschenrechners auf dem Computer sein. Wenn ein solches Fenster geöffnet wird, verliert die Testseite ihren Fokus. In diesen und ähnlichen Fällen speichert PageFocus einen Verlust des Fokus (defocus Ereignis). Wenn der Testteilnehmer wieder zurück auf die Testseite springt, wird ein wiedererlangter Fokus (refocus) gespeichert.
So ist PageFocus in der Lage festzustellen, wann (bei welchem Item der Testdurchführung), wie oft und wie lange ein Testteilnehmer die Testseite verlässt. PageFocus ist nicht in der Lage, irgendeine Information dazu bereitzustellen, was der Proband macht, während er die Testseite verlassen hat, beziehungsweise welche Seite er statt der Testseite öffnet. So bleibt die Privatsphäre des Testteilnehmers geschützt.
Im Rahmen einer Master-Arbeit am Georg-Elias-Müller Institut für Psychologie (Göttingen) wurde das Betrugsverhalten systematisch untersucht. An dem Experiment nahmen 119 Kandidaten erfolgreich teil. Es bestand aus zwei Teilen: Einem Leistungstest zum Beginn, welcher Vorhersagen zu dem erwarteten Betrugsverhalten in den einzelnen Bedingungen zuließ. Dieser wurde gefolgt von einer Nachbefragung, in der die Teilnehmer direkt nach ihrem Betrugsverhalten gefragt wurden. Während des Leistungstests wurde PageFocus aufgezeichnet.
Die Auswertung ergab, dass in den Bedingungen, in denen mehr Betrugsverhalten erwartet wurde, auch mehr PageFocus aufgezeichnet wurde. PageFocus war sowohl signifikant höher in den Bedingungen in denen es einfach war zu betrügen als auch in denen die Wahrscheinlichkeit entdeckt zu werden geringer war. Die Kategorie einer Aufgabe hatte dabei keinen Einfluss.
Daraus folgt, dass das vermehrte Auftreten von PageFocus einen validen Indikator für Betrugsversuche darstellt. Die Schwäche dieser Methode ist, dass das Benutzen von anderen Hilfsmitteln als dem PC nicht mit PageFocus entdeckbar ist. Dementsprechend ist unter bestimmten Bedingungen PageFocus ein besserer Indikator als unter anderen. Immer dann, wenn das Testsetting eine Teilkontrolle bietet, wie bei Gruppentestungen, stellt PageFocus eine perfekte Ergänzung dar.
PageFocus kann bei Leistungstests helfen Betrugsversuche aufzudecken. Dabei zeigt PageFocus jedes abweichende Verhalten auf, dass am selben Rechner stattfindet wie die Testdurchführung.
Nur weil es das Einfachste und Schnellste ist, am selben PC etwas nachzusehen oder -zurechnen, muss das nicht heißen, dass der Testteilnehmer nicht zum Beispiel stattdessen ein Smartphone benutzt.
Nicht jedes Auftreten von PageFocus muss ein Hinweis auf einen Betrugsversuch sein. PageFocus ist auch aus Versehen oder anderen Gründen, wie dem Aufrufen eines Chat-Fensters auslösbar. Dies ist jedoch bei Leistungstests eher selten zu erwarten. Somit kann PageFocus als Indikator für Betrugsverhalten dienen. Allerdings muss der Diagnostiker im Einzelfall beurteilen.
Welche Hinweise PageFocus gibt:
Was zu beachten ist:
PageFocus ist nicht in jedem Testsetting ein sicherer Hinweis für Betrugsverhalten. So kann es immer zum Auftreten von unsystematischen Ereignissen kommen. Deshalb sollte Folgendes stets beachtet werden:
Bei Fragebogenverfahren, wie dem klassischen Persönlichkeitstest, ist PageFocus ein Indikator dafür, wie konzentriert dieser durchgeführt wurde. PageFocus zeigt an, wie oft und wie lange der Testteilnehmer den Test verlassen hat. Damit kann PageFocus ein Hinweis auf die Datenqualität sein. Mögliche Fragen, die PageFocus beantwortet, sind:
Die Ergebnisberichte im Hogrefe Testsystem 5 (HTS 5) bieten für die allermeisten Testverfahren eine Antwortstatistik. Mit dieser kann der Diagnostiker Rückschlüsse auf die Datenqualität, zum Beispiel anhand von Antwortmustern, ziehen. Diese Antwortstatistik wird durch eine Visualisierung der PageFocus-Ereignisse während der gesamten Testdarbietung ergänzt. Zur besseren Bewertung dieser Ereignisse werden diese nach Subtests unterteilt und mit genauen Zeitangaben ausgegeben.
Mit diesem Werkzeug steht dem Diagnostiker ein weiteres Merkmal zur Aufdeckung von möglichen Betrugsversuchen zur Verfügung. Es wird ab September 2016 im HTS 5 Online-Portal verfügbar sein. bf
