Average and conditional treatment effects on count outcomes : a moment-based approach

Kiefer, Christoph; Mayer, Axel; Steyer, Rolf

doi:HT020591888

Average and conditional treatment effects on count outcomes : a moment-based approach = Durchschnittliche und bedingte Treatmenteffekte auf Zählvariablen: Ein moment-basierter Ansatz

Kiefer, Christoph^RWTH*

2020

Verantwortlichkeitsangabevorgelegt von Christoph Kiefer

ImpressumAachen 2020

Umfang1 Online-Ressource (iii, 148 Seiten) : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2020

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak07

Hauptberichter/Gutachter
Mayer, Axel (Thesis advisor)^RWTH* ; Steyer, Rolf (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2020-09-28

Online
DOI: 10.18154/RWTH-2020-08541
URL: https://publications.rwth-aachen.de/record/795766/files/795766.pdf

Einrichtungen

Juniorprofessur für Psychologische Methodenlehre (721630)

Thematische Einordnung (Klassifikation)
DDC: 150

Kurzfassung
In dieser Arbeit wird ein statistisches Modell zur Analyse durchschnittlicher und bedingter Treatment- oder Interventionseffekte auf eine abhängige Zählvariable entwickelt. Die Anwendungsmöglichkeiten eines solches Modells lassen sich in unterschiedlichen Forschungsbereichen finden: In der Prävention von Drogen- und Substanzmissbrauch lässt sich die Wirkung einer Intervention auf die tägliche oder wöchentliche Anzahl konsumierter alkoholischer Getränke oder Zigaretten untersuchen. In der klinischen Psychologie können Behandlungseffekte auf Zählvariablen wie die Häufigkeit von Heißhungerattacken im Rahmen einer Binge-Eating-Störung oder die Anzahl von Unterrichtsstörungen bei Kindern mit ADHS von Interesse sein. Weitere Beispiele sind die Anzahl richtiger Antworten in einem kognitiven Test, Abwesenheitstage oder auch Häufigkeit der Verletzung von Verkehrsregeln. Das Kernstück unseres moment-basierten Ansatzes stellen dabei Regressionen mit logarithmischer Linkfunktion da. Frühere Ansätze zur Schätzung von Treatmenteffekten auf Zählvariablen weisen drei Schwächen auf, die der moment-basierte Ansatz wie folgt angeht: Erstens, die Definition eines Treatmenteffekts basiert auf der stochastischen Theorie kausaler Effekte (Steyer, Mayer & Fiege, 2014). Diese Theorie bietet eine eindeutige Definition atomarer bzw. individueller kausaler Effekte als Differenz zwischen bedingten Erwartungswerten der Zählvariablen in einer Behandlungsgruppe und in einer Kontrollgruppe. Zudem werden Kausalitätsbedingungen formuliert, unter welchen durchschnittliche und bedingte Behandlungseffekte als Aggreggation atomarer bzw. individueller kausaler Effekte interpretiert werden können. In Regressionsmodellen mit logarithmischer Linkfunktion ist es hingegen üblich die Behandlungseffekte als Verhältnis der bedingten Erwartungen in der Behandlungsgruppe und der Kontrollgruppe zu betrachten. Wir weisen darauf hin, dass diese Verhältniseffekte eine andere kausale Bedeutung haben als die Differenzeffekte. Beispielsweise ist im randomisierten Experiment das Verhältnis der Gruppenmittelwerte kein Durchschnitt über individuelle Verhältniseffekte. Die Differenz der Gruppenmittelwerte hingegen ist auch der Mittelwert der individuellen Differenzeffekte. Zweitens, traditionelle Ansätze zur Bestimmung von Treatmenteffekten auf Zählvariablen behandeln die Größe der untersuchten Behandlungsgruppen sowie die Werte der beobachteten Kovariaten als fixiert, d.h. es wird angenommen, dass diese Größen vom Versuchsleiter festgelegt wurden. Falls Gruppengrößen und Kovariaten aber zufällig erhoben werden -- was in psychologischen und sozialwissenschaftlichen Studien zumeist der Fall ist --, kann diese Annahme zur Unterschätzung der Standardfehler führen. Eine erhöhte alpha-Fehlerrate und niedrigere Teststärke für durchschnittliche und bedingte Behandlungseffekte sind die Folge. Der moment-basierte Ansatz bietet hier eine Alternative, indem er sowohl Gruppengrößen als auch die Kovariaten als Zufallsvariablen bzw. stochastisch betrachtet und dadurch die statistische Inferenz verbessert. Drittens, der moment-basierte Ansatz berücksichtigt Messfehler in den Kovariaten. Während bisherige Ansätze auf einem Generalisierten Linearen Modell mit logarithmischer Linkfunktion (z.B. Poisson-Regressionsmodell) basierten, nutzen wir Strukturgleichungsmodelle. In einem Negativ-Binomial-Mehrgruppen-Strukturgleichungsmodell ist es möglich gleichzeitig ein Messmodell für latente Variablen (d.h., Zerlegung messfehlerbehafteter Indikatoren in wahre Werte und Messfehler) und ein Negativ-Binomial-Regres-sionsmodell mit diesen latenten Variablen als Regressoren zu schätzen. Während die Nichtbeachtung von Messfehlern im Generalisierten Linearen Modell zur verzerrten Schätzung der Regressionskoeffizienten und der darauf aufbauenden Effekte führen kann, werden diese Probleme im moment-basierten Ansatz vermieden. In dieser Arbeit entwickeln und erweitern wir den moment-basierten Ansatz Schritt für Schritt. Zunächst motivieren wir die Notwendigkeit eines neuen Ansatzes, indem wir die drei zuvor genannten Schwächen der bisherigen Ansätze (d.h. Interpretation exponenzierter Regressionskoeffizienten, marginale Effekte) genauer vorstellen und diskutieren. Danach werden wir die Kernidee des moment-basierten Ansatzes in einem einfachen Fall mit nur einer, aber stochastischen Kovariaten im Generalisierten Linearen Modell einführen. In einer Monte-Carlo-Simulationsstudie vergleichen wir die Güte eines traditionallen Ansatzes (d.h., marginale Effekte) mit dem moment-basierten Ansatz. Drittens übertragen wir den moment-basierten Ansatz auf ein Negativ-Binomial-Multigruppen-Strukturgleichungsmodell und betrachten mehrere, potentiell latente Kovariaten sowie stochastische Gruppengrößen für die Effektschätzung. Viertens lockern wir die Annahme multivariat normalverteilter Kovariaten aus den vorherigen Schritten und entwickeln einen generalisierten moment-basierten Ansatz, der für eine Vielzahl normal- und nicht-normal-verteilter Kovariaten eingesetzt werden kann. Damit erreichen wir ein flexibles Modell, das für einen breiten Bereich angewandter Datenanalysen verwendbar ist. Abschließend diskutieren wir Handlungsempfehlungen, wie und wann der moment-basierte Ansatz angewendet werden kann und bieten einen Ausblick auf mögliche Weiterentwicklungen.

In this thesis, we develop a statistical framework to investigate average and conditional effects of a treatment or intervention on a count outcome. For example, in the field of drug and substance use prevention, the effects of interventions on the outcome variable daily/weekly count of alcoholic drinks or cigarettes consumed can been examined. In clinical psychology, treatment effects on count outcomes such as instances of binge eating among patients with eating disorders or counts of classroom violations in children with ADHD can been examined. Further examples are treatment effects on counts of correctly answered items in a cognitive test, days of absenteeism, or counts of traffic violations. The framework is termed moment-based approach and is based on regression models with a logarithmic link function. The moment-based approach overcomes three major shortcomings of earlier approaches estimating treatment effects on count outcomes: First, effect definitions are based on the stochastic theory of causal effects (Steyer, Mayer, Fiege, 2014). This theory provides unambiguous definitions of atomic or individual causal effects as differences between conditional expectations under treatment and under control (i.e., a reference group). Further, causality conditions under which estimated average and conditional treatment effects may be interpreted as aggregates of atomic or individual causal effects are explicated. In contrast, in regression models with a logarithmic link function it is common to inspect treatment effects defined as ratios of conditional expectations under treatment and under control. We caution that these ratio effects have a different causal interpretation than difference effects. For example, the simple ratio of group averages in a randomized experiment does not represent an average of individual ratio effects -- unlike the simple difference of group averages, which is also an average of individual difference effects. Second, traditional approaches examining treatment effects on count outcomes, treat the size of treatment groups and values of observed covariates as fixed-by-design, that is, predetermined by the experimenter. If in fact group sizes and covariates are not predetermined -- as is the case in most psychological and social science studies --, this assumption can lead to underestimated standard errors and, thus, inflated Type 1 error rates and decreased power for average and conditional treatment effect estimates. The moment-based approach offers an alternative by treating both group sizes and covariates as random or stochastic variables, which can substantially improve statistical inferences. Third, the moment-based approach allows to account for measurement error in covariates. While earlier approaches were based on generalized linear models with a logarithmic link function (e.g., Poisson regression models), we use a structural equation modeling framework. In a negative binomial multigroup structural equation model, it is possible to simultaneously estimate measurement models for latent variables (i.e., decomposing true scores and measurement error in fallible indicators) and a negative binomial regression model with these latent variables as regressors. While ignoring measurement error in the generalized linear models might lead to biased estimation of both the regression coefficients and the corresponding effect estimates, these issues are circumvented in the moment-based approach. In this thesis, the moment-based approach is developed and extended in a step-by-step manner. First, we motivate the need for a new approach by presenting and discussing the three aforementioned shortcomings of earlier approaches (i.e., interpretation of exponentiated regression coefficients and marginal effects) in detail. Second, we introduce the key idea of the moment-based approach in a simple case considering only a single, but stochastic covariate using a generalized linear model. In a Monte Carlo simulation study, we compare the performance of a traditional (marginal effects) approach with the performance of the moment-based approach. Third, we extend the statistical framework to the negative binomial multigroup structural equation model and include multiple, possibly latent covariates as well as stochastic group sizes in our effect computations. Fourth, we relax the assumption of multivariate normally distributed covariates from previous steps and derive a generalized moment-based approach accounting for various kinds of normally and non-normally distributed covariates. As a result, we achieve a suitable approach for a broader range of applied data analyses. Finally, we discuss guidelines how and when the moment-based approach should be applied and have an outlook on possible further developments.

OpenAccess:
PDF
(zusätzliche Dateien)