Site menu:

Sprache auf englisch umschalten

cNORM - Modellvalidierung


Mathematisch betrachtet stellt die Regressionsfunktion eine sogenannte Hyperfläche im dreidimensionalen Raum dar. Diese Fläche modelliert die manifesten Daten bei ausreichend hohem R2 (z. B. R2 > .99) in der Regel über weite Bereiche der Normierungsstichprobe sehr gut. Ein Taylorpolynom, wie es hier verwendet wird, besitzt jedoch normalerweise einen endlichen Konvergenzradius. Dies bedeutet anschaulich, dass es Alters- oder Leistungsbereiche gibt, für welche die Regressionsfunktion keine plausiblen Werte mehr liefert. Bei hoher Varianzaufklärung erreicht man diese Grenzen der Modellgültigkeit erst an den äußeren Rändern des Alters- oder Leistungsbereiches der Normierungsstichprobe oder sogar erst darüber hinaus. Beachten Sie bitte, dass solche Modellgrenzen nicht nur deshalb auftreten, weil die Methode keine Omnipotenz sitzt, sondern auch, weil die zugrundegelegten Testverfahren nur einen eingeschränkten Gültigkeitsbereich besitzen, innerhalb dessen sie eine latente Fähigkeit zuverlässig als aussagekräftigen numerischen Testwert abbilden können. Anders ausgedrückt zeigen sich die Grenzen der Modellierbarkeit oft an denjenigen Stellen, an denen der Test zu starke Boden- oder Deckeneffekte besitzt oder an denen die Normierungsstichprobe zu stark ausgedünnt ist.

Normtabellen und Normwerte sollten natürlich generell nur innerhalb der Gültigkeitsbereiche des Tests und des Normierungsverfahrens ausgegeben werden. Es ist deshalb bei der Anwendung von cNORM (und übrigens auch bei jedem anderen Verfahren zur Normmodellierung) unerlässlich, die Grenzen der Modellgültigkeit zu bestimmen. cNORM stellt hierfür hauptsächlich grafische Verfahren zur Verfügung, die wir Ihnen auf dieser Seite vorstellen. Wir wollen die mathematisch versierten Anwender an dieser Stelle aber darauf hinweisen, dass grundsätzlich auch die Möglichkeit besteht, sich dem Thema auf analytischem Wege zu nähern. Da es sich bei der Regressionsgleichung ja um ein in mathematischer Hinsicht sehr leicht zu handhabendes Polynom n-ten Grades handelt, kann dieses nämlich einer herkömmlichen Kurvendiskussion unterzogen werden. Damit lässt sich beispielsweise sehr leicht feststellen, an welchen Stellen Extrema, Wendepunkte, Sattelpunkte usw. vorkommen oder an welchen Stellen die Steigung unplausible Werte annimmt.

Im Folgenden finden Sie drei Funktionen, mit denen die Modellpassung grafisch geprüft werden kann und die Grenzen des Modells sichtbar gemacht werden:

plotPercentiles

Wie gut das Modell im Allgemeinen auf die manifesten Daten passt, kann mit der folgenden Abbildung überprüft werden:

# Stellt die modellierten und manifesten Perzentile dar

plot(model, "percentiles")

Der Rohwertebereich wird von cNORM automatisch basierend auf den Werten aus dem ursprünglichen Datensatz ermittelt. Er kann aber auch explizit angegeben werden, im konkreten Fall beispielsweise mit 'minRaw = 0' und 'maxRaw = 28'. Auf diese Weise wird der Wertebereich auf den tatsächlichen Wertebereich des Testverfahrens begrenzt. Wie aus der Abbildung ersichtlich wird, verlaufen die vorhergesagten Perzentile über alle Stufen der explanatorischen Variable hinweg glatt und stimmen gut mit den ursprünglichen Daten überein. Kleine Schwankungen zwischen den einzelnen Gruppen werden eliminiert. Wichtig ist, dass sich die Perzentillinien nicht schneiden, da dies bedeuten würde, dass einem bestimmten Rohwert verschiedene Ausprägungen der latenten Personenvariable zugeordnet sind. Die Abbildung von latenten Personenvariablen auf Rohwerte wäre an dieser Stelle also nicht mehr eineindeutig (=bijektiv) und es wäre demzufolge auch nicht möglich, anhand des Testwertes zwischen diesen Ausprägungen der latenten Variable zu unterscheiden. Sich kreuzende Perzentile treten, wie bereits oben beschrieben, vor allem dann auf, wenn das Regressionsmodell auf Alters- oder Leistungsbereiche ausgedehnt wird, die in der Normierungsstichprobe nicht oder selten vorkamen, oder wenn der Test starke Boden- oder Deckeneffekte aufweist.

Wenn Sie nun unsicher sind, wie viele Prädiktoren in das Modell aufgenommen werden sollten, dann können Sie auch eine Serie an Diagrammen erstellen, die eine aufsteigende Anzahl an Prädiktoren enthalten:

# Stellt eine Serie an modellierten und manifesten Perzentile dar

plot(model, "series")

Plot der Rohwerte

In der nächsten Abbildungen werden die modellierten und die manifesten Daten einander für jede (Alters-)gruppe getrennt gegenübergestellt. Wird die Angabe zu 'group' leer gelassen, dann werden die Werte über den ganzen Bereich ohne Gruppenunterscheidung geplottet.

plot(model, "raw", group="group")

Die Anpassung ist dann besonders gut, wenn alle Punkte möglichst nah an der Winkelhalbierenden liegen. Hierbei muss allerdings beachtet werden, dass Abweichungen im extremen oberen, vor allem aber im extremen unteren Leistungsbereich oft auch deshalb zustande kommen, weil die manifesten Daten in diesen Bereichen ebenfalls mit großen Messunsicherheiten verknüpft sind.

Plot der Normwerte

Die Funktion entspricht der Funktion plot("raw"), nur dass hier die manifesten und projizierten Normwerte gegeneinander geplottet werden. Bitte geben Sie zudem die Grenzen des Normwertbereichs an, im konkreten Beispiel sind dies T-Werte von 25 bis 75. Die Werte decken also den Bereich von -2.5 bis +2.5 Standardabweichungen um den Mittelwert ab.

plot(model, "norm", group="group", minNorm = 25, maxNorm = 75)

Dichtefunktionen

Die Funktion stellt die vom Modell geschätzte Wahrscheinlichkeitsdichte für die Rohwerte dar. Wie auch die Funktion 'plot("derivative")' kann diese Methode genutzt werden, um unplausible Ergebnisse zu identifizieren oder die Abweichung der Testergebnisse von der Normalverteilung besser sichtbar zu machen.

plot(model, "density", group = c (2, 3, 4))

Plot abgeleiteter Regressionsfunktionen

Um zu überprüfen, ob die Zuordnung zwischen latenten Personenvariablen und Testwerten eineindeutig ist, kann die Regressionsfunktion mit Hilfe der Funktion 'checkConsistency' innerhalb jeder Gruppe numerisch auf Verletzungen der Bijektivität abgesucht werden. Darüber hinaus ist es aber auch möglich, die erste partielle Ableitung der Regressionsfunktion nach l aufzuplotten und nach negativen Werten abzusuchen. Dies kann auf folgende Weise gemacht werden:

plot(model, "derivative", minAge=1, maxAge=6, minNorm=20, maxNorm=80)

Wir haben in dieser Grafik sowohl den Alters- als auch den Leistungsbereich über die Grenzen der Normierungsstichprobe hinweg ausgedehnt, um die Grenzen der Modellgültigkeit besser darstellen und überprüfen zu können. (Es sei daran erinnert, dass die Altersvariable in dieser Normierungsstichprobe die Werte 2 bis 5 umfasst und dass pro Altersgruppe 200 Kinder untersucht wurden.) Wie man sieht, wird die erste partielle Ableitung der Regressionsfunktion nach l nur im oberen Alters- und Leistungsbereich negativ. Anschaulich bedeutet dies hier nicht, dass die Modellierung versagt hat, sondern dass die Testskala in diesem Messbereich ihre Differenzierungsfähigkeit verliert.

Wenn zum Schluss der Modellierung Normtabellen ausgegeben werden, müssen die ermittelten Grenzen der Modellvalidität dabei unbedingt beachtet werden. Oder anders formuliert: Normwerte sollten nur für die validen Modellbereiche ausgegeben werden.



Modellierung
Normtabellen