Site menu:

Diskrepanzvergleiche und Konfidenzintervalle bei psychometrischen Testergebnissen

Die Seite enthält verschiedene Werkzeuge zur Analyse der Ergebnisse psychometrischer Testverfahren, wie z.B. zur Berechnung von Konfidenzintervallen und Diskrepanzvergleichen.

1. Konfidenzintervalle von psychometrischen Testergebnissen
2. Test auf Unterschied von festem Wert
3. Test auf Unterschiede bei Messwiederholung (Reliable Change)
4. Diskrepanz zweier Testergebnisse einer Person
5. Profilanalyse: Test auf Gleichheit, Struktur und Profilhöhe zweier Profile
6. Geschätzter Gesamtwert der Summe mehrerer korrelierter normierter Skalen
7. Quellenangaben

1. Konfidenzintervalle von psychometrischen Testergebnissen

Die Ergebnisse psychometrischer Testverfahren sind mit einer Ungenauigkeit behaftet. Konfidenzintervalle sind eine Schätzung des Bereichs, in dem der wahre Wert mit einer bestimmten Sicherheitswahrscheinlichkeit liegt. Die folgende Berechnung ermittelt das Konfidenzintervall auf der Basis des Standardschätzfehlers. Das Ergebnis kann zusätzlich um den Effekt der Regression zur Mitte korrigiert werden. In diesem Fall wird auch der geschätzte Wert ausgegeben.

Die Berechnung erfolgt nach folgender Formel (Korrektur durch Regression zur Mitte mit Schätzwert z_predicted = z_score * rel; Standardschätzfehler siehe Krum et al., 2022, S. 149):

Im Falle von Prozenträngen werden diese zunächst in z-Werte umgewandelt und anschließend die Intervallgrenzen neu berechnet. Bitte beachten Sie, dass diese Vorgehensweise nur für Reliabilitätskoeffizienten > .5 sinnvoll ist. Liegt der Wert darunter, wird der Standardmessfehler statt des Standardschätzfehlers verwendet.

2. Test auf Unterschied von festem Wert

Wenn gegen einen festen Wert getestet werden soll, genügt es, das einseitige Konfidenzintervall zu verwenden und mit z_1-α zu testen (Krum et al., 2022, S. 151 f.). Es muss dann allerdings spezifiziert werden, in welche Richtung das Ergebnis abgesichert werden soll. Außerdem ist die genaue Formulierung der Hypothese wichtig. Aufgrund der höheren Genauigkeit der Berechnung sollte auch hier die Regressionskorrektur zur Mitte angewendet werden.

Erreicht eine Person beispielsweise einen IQ von 135, kann geprüft werden, ob das Ergebnis signifikant über einem Wert von 130 liegt, der als Schwelle für Hochbegabung gilt. In diesem Fall müsste das Ergebnis signifikant höher als 130 sein (als Richtung ist "... ist höher als ..." anzugeben). Eine andere Frage kann sein, ob Hochbegabung ausgeschlossen werden kann, z. B. bei einem Ergebnis von 122. In diesem Fall würde man nach oben absichern (Richtung "... ist kleiner als ...") und ein nicht signifikantes Ergebnis benötigen, was der Aussage entsprechen würde, dass eine Hochbegabung nicht ausgeschlossen werden kann.

Die Prüfung erfolgt einseitig auf der Basis des Standardmessfehlers nach folgender Formel (Regressionskorrektur zur Mitte erfolgt mit dem Schätzwert z_predicted = z_score * rel):

Im Falle von Prozenträngen werden diese zunächst in z-Werte umgewandelt und anschließend die Intervallgrenzen neu berechnet.

3. Test auf Unterschiede bei Messwiederholung (Reliable Change)

Wird ein Test bei einer Person wiederholt, kann der sogenannte Reliable Change Index (RCI; Jacobson & Truax, 1991; siehe auch Krum et al., 2022, S. 153) ermittelt werden. Der RCI kann als Testvariable eines z-Tests interpretiert werden. Mit ihm kann ausgedrückt werden, ob es signifikante Unterschiede zwischen zwei Testergebnissen gibt, d.h. ob z.B. eine Intervention zu einer signifikanten Veränderung von Merkmalen geführt hat.

Wie bei Rechner 1 und 2 werden die Prozentränge vor der Berechnung in z-Werte der inversen kumulativen Normalverteilung umgewandelt. Die Formel zur Berechnung des RCI nach Jacobson und Truax (1991; basierend auf Krum et al., 2022, S. 153):

4. Diskrepanz zweier Testergebnisse einer Person

Wenn eine Person mit verschiedenen Testverfahren oder Skalen eines Testverfahrens untersucht wird, kann es interessant sein, die Ergebnisse zu vergleichen. Beispielsweise kann untersucht werden, ob das logische Denkvermögen besser ausgeprägt ist als das Sprachverständnis - sofern entsprechende Intelligenztests nicht bereits Analysemöglichkeiten bieten. Oder man möchte klären, ob sich die Belastungswerte verschiedener klinischer Symptome in ihrer Höhe unterscheiden.

Wie bei den vorhergehenden Berechnungen werden die Prozentränge vor der Berechnung wieder mittels der inversen kumulativen Normalverteilung in z-Werte umgewandelt. Generell ist das Verfahren auch für Rohwerte geeignet, sofern der Populationsmittelwert bekannt ist. Dies ist bei der Verwendung von Normwerten per se gegeben. Für beide Prüfergebnisse muss zunächst ein Wert Y_i berechnet werden. Danach kann die Prüfgröße z berechnet werden. Die Formeln zur Berechnung der Prüfgröße für den Vergleich der Prüfergebnisse (Krum et al., 2022, S. 154f.):

5. Profilanalyse: Test auf Gleichheit, Struktur und Profilhöhe zweier Profile

Profile psychometrischer Ergebnisse können auf Gleichheit (= Profilidentität), Struktur (= Profilgestalt) oder Ausprägung (= Profilhöhe) überprüft werden (vgl. Huber 1973, Kap. 10). Eine solche Vorgehensweise lässt sich beispielsweise auf Intelligenzprofile oder ein klinisches Belastungsspektrum vor und nach einer Therapie anwenden. Huber (1973, S.) gibt als Beispiel das Ergebnis einer 35jährigen Person im Intelligenzstrukturtest (IST; Amthauer, 1953) mit den folgenden Ergebnissen:

Die Ergebnisse sind als Standardwerte (M = 100, SD = 10) angegeben und die Untertests haben eine einheitliche Reliabilität von r = .9. Die Ergebnisse können nun darauf geprüft werden, ob beide Profile identisch sind und falls nein, ob sie sich in der Höhe, der Struktur oder beidem unterscheiden (Formeln s.u.).

6. Geschätzter Gesamtwert der Summe mehrerer korrelierter normierter Skalen

Falls die Ergebnisse mehrerer Skalen in eine Richtung weisen, also beispielsweise alle über- oder unterdurchschnittlich ausgeprägt sind, dann ist das Gesamtergebnis extremer als der Durchschnitt der Einzelergebnisse. Das folgende Formular schätzt das Gesamtergebnis auf der Basis der Summen der Einzelskalen. Als weitere Angabe wird die (durchschnittliche) Korrelation benötigt. Bitte geben Sie die Einzelergebnisse getrennt durch Leerzeichen an, spezifizieren Sie die Art der Skala (T-, IQ- oder z-Wert oder Prozentrang) und geben Sie die (mittlere) Korrelation an. Eine Mittelung von Korrelationen kann hier durchgeführt werden. Vorsicht ist geboten, wenn die Korrelationen sehr inhomogen sind.

Anwendungsfall: Wenn bei einem Intelligenztest alle Skalen hohe oder niedrige Werte haben, dann ist der Gesamt-IQ noch extremer. Dies ist die Folge der Interkorrelationen der Skalen. Man kann sich diesen Effekt zunutze machen: Wenn verschiedene Skalen nur mäßig hoch miteinander korrelieren, wie beispielsweise die verschiedenen subjektiven Einschätzungen bei ADHS (die mittlere Korrelation von Eltern-, Lehrkrafturteil und Selbsteinschätzung liegt bei etwa r = .3), dann wird möglicherweise weder bei den Einzelskalen noch beim Durchschnitt der Skalen ein kritischer Schwellwert erreicht. Berücksichtigt man die Interkorrelation der Skalen, dann ist das Gesamtergebnis extremer und erreicht ggf. die notwendige Schwelle für eine Diagnose.

Die Varianz von Summen oder Differenzwerten korrelierter Variablen ergibt sich aus der Summe der Varianzen zzgl. der mit der Korrelation mutliplizierten Kovarianz. Im Fall standardisierter Variablen kann die Berechnung sehr leicht vereinfacht und verallgemeinert werden (für z-Werte mit SD = 1):

$${\mathrm{SD}}_{\mathrm{Total}}=\sqrt{k+k(k-1)\overline{r}}$$
Um den Gesamtwert vorherzusagen wird die Summe der Einzelergebnisse durch die Standardabweichung der Summe geteilt.

Literatur

Zur Generierung der Chi²-Verteilung für die Profilanalyse wurde auf die Bibliothek jStat zurückgegriffen.

• Amthauer, R. (1953). IST-Intelligenz-Struktur-Test. Hogrefe.
• Huber, H. (1973). Psychometrische Einzelfalldiagnostik [Psychometric diagnosis for single cases]. Beltz.
• Jacobson, N. S., & Truax, P. (1991). Clinical significance: a statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59, 12-19.
• Krum, S., Schmidt-Atzert, L., & Amelang, M. (2022). Grundlagen diagnostischer Verfahren. In L. Schmidt-Atzert, S. Krum & M. Amelang (Eds.), Psychologische Diagnostik (6th ed.) (pp. 39-209). Springer. doi:10.1007/978-3-662-61643-7

Zitierbare Quelle:
Lenhard, W. & Lenhard, A. (2023). Confidence intervals, test of discrepancy and profile analysis for psychometric results. available: https://www.psychometrica.de/discrepancy.html. Psychometrica.

Copyright © 2023 Drs. Alexandra & Wolfgang Lenhard