Exploring mobile market research : the impact of SMS and e-mail invitations on outcome rates of stationary and mobile web surveys

Dziewięcki, Daniel Grzegorz; Wentzel, Daniel; Steffenhagen, Hartwig

doi:HT018602523

Exploring mobile market research : the impact of SMS and e-mail invitations on outcome rates of stationary and mobile web surveys = Mobile Marktforschung : der Einfluss von SMS- und E-Mail-Einladungen auf die Erfolgsraten stationärer und mobiler Webbefragungen

Dziewięcki, Daniel Grzegorz

2015

Verantwortlichkeitsangabevorgelegt von Daniel Grzegorz Dziewięcki

ImpressumAachen : Publikationsserver der RWTH Aachen University 2015

UmfangXVIII, 19 - 458 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2015

Genehmigende Fakultät
Fak08

Hauptberichter/Gutachter
Steffenhagen, Hartwig (Thesis advisor) ; Wentzel, Daniel (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2015-03-05

Online
URN: urn:nbn:de:hbz:82-rwth-2015-015748
URL: http://publications.rwth-aachen.de/record/464838/files/464838.pdf
URL: http://publications.rwth-aachen.de/record/464838/files/464838.pdf?subformat=pdfa

Einrichtungen

Lehrstuhl für Marketing (812310)

Inhaltliche Beschreibung (Schlagwörter)
Wirtschaft (frei) ; mobile market research (frei) ; market research (frei) ; smartphone (frei) ; tablet (frei) ; PC (frei) ; laptop (frei) ; mobile (frei) ; online (frei) ; SMS (frei) ; E-Mail (frei) ; mixed mode (frei) ; Web (frei) ; World Wide Web (frei) ; mobile web (frei) ; WWW (frei) ; mobile research (frei) ; online research (frei) ; survey (frei) ; web survey (frei) ; response (frei) ; participation (frei) ; ease of access (frei) ; ease of accessing (frei) ; data quality (frei) ; response quality (frei) ; response speed (frei) ; response time (frei) ; survey research (frei) ; survey experiment (frei) ; survey response behavior (frei) ; consumer behavior (frei) ; web survey research (frei) ; logistic regression analysis (frei)

Thematische Einordnung (Klassifikation)
DDC: 330

Kurzfassung
Das primäre Ziel des im Rahmen dieser Arbeit durchgeführten Experiments war es den gemeinsamen Einfluss der experimentellen Faktoren Einladungsform und Erhebungsweg auf die Erfolgsraten (Teilnahmeraten) von, und somit die Teilnahme an, Webbefragungen zu erforschen. Nach ausführlichen Literaturrecherchen zur Mobilen Marktforschung und dem Teilnahme- und Antwortverhalten bei Webbefragungen wurden in einem ersten Schritt verschiedene Variablen, die diese Form von individuellem Verhalten beeinflussen, in einer webbasierten Profilerhebung bei speziell zu diesem Zweck rekrutierten Panelmitgliedern gemessen. Einige Wochen später wurden in einem zweiten Schritt 8.569 dieser Panellisten – die laut eigenen Angaben allesamt Nutzer des stationären und mobilen Internets waren – per SMS oder mittels einer kurzen E-Mail, die sowohl einen personifizierten Link als auch ein Passwort enthielten, zur Teilnahme an einer weiteren Webbefragung eingeladen. Diese konnte entweder im stationären Internet auf einem PC bzw. Laptop oder aber im mobilen Internet auf einem Mobiltelefon erfolgen. Das entspricht einem faktoriellen 2x2 Design. Hierbei wurde gemessen, ob die Probanden in den vier experimentellen Gruppen an der Studie teilnahmen oder nicht. Anschließend wurden die Daten aus der ersten und zweiten Studienphase miteinander kombiniert, eine geeignete Samplegröße von 5.124 Probanden ermittelt und aus dem Panel, zwecks Evaluation mittels Multipler Binärer Logistischer Regression, gezogen. Die restlichen Probanden dienten als sogenanntes „Holdout Sample“ zur Validierung der zuvor ermittelten Ergebnisse. Die Ergebnisse der Profilerhebung aus der ersten Studienphase brachten die Erwartungen der befragten Panellisten zum Ausdruck: Diese suggerierten, dass Links zu stationären Befragungen am PC oder Laptop, die in Einladungen mittels E-Mail verschickt werden, einfacher im Browser aufzurufen sind als solche, die per SMS zugestellt werden. Im Gegensatz dazu glauben die Panellisten aber, dass der Zugriff auf Links zu einer Befragung, die auf Mobiltelefonen erfolgen soll, einfacher ist, wenn die Einladungen per SMS statt per E-Mail verschickt werden. Doch welche Kombination von Einladungsform und Erhebungsweg verursacht die höchste (bzw. niedrigste) Erfolgsrate? Falls sie an einer Befragung teilnehmen wollen, werden Panellisten in einigen Einladungsform-Erhebungsweg-Kombinationen dazu „genötigt“ von dem Gerät, auf dem sie ihre Einladung erhalten haben, zu einem anderen Gerät, auf dem sie auf die Befragung zugreifen sollen, zu wechseln. Bei anderen Kombinationen hingegen ist das nicht (immer) der Fall, da E-Mails von allen Probanden sowohl auf mobilen Geräten, wie z.B. Smartphones, als auch auf stationären empfangen werden können. Wird beispielsweise eine E-Mail mit einem Link zu einer Webbefragung, die auf einem stationären Gerät beantwortet werden soll, auf einem Smartphone empfangen, so muss ein Wechsel des Geräts vollzogen werden. Dieser erschwert den Zugriff auf die Webbefragung, da nicht davon ausgegangen werden kann, dass sich die Probanden zum Zeitpunkt des E-Mail-Abrufs auf dem mobilen Gerät in der Nähe ihres stationären Geräts aufhalten. Es wird vielmehr notwendig, dass sie Mühen auf sich nehmen und ihren Verweilort ändern, um auf die Befragung zuzugreifen. Basierend auf der (sozialen) Austauschtheorie und praktischen Überlegungen zu den Panellistenprofildaten wird daher hypothetisiert, dass die erwartete Einfachheit mit der auf eine Webbefragung zugegriffen werden kann, einen moderierenden Einfluss auf die Wirkung der Einladungsform-Erhebungsweg-Kombinationen, also der experimentellen Gruppen, auf die Erfolgsraten einer Webbefragung hat.In diesem Zusammenhang wurden sechs Hypothesen formuliert, die jeweils paarweise eine von insgesamt vier unterschiedlichen Einladungsform-Erhebungsweg-Kombinationen, die als experimentelle Gruppen fungierten, mit einer der anderen verglichen. Dabei sagte eine Hypothese jeweils die experimentelle Gruppe voraus, die die höhere (niedrigere) Erfolgsrate aufweist. Alle Hypothesen wurden mittels des multivariaten Verfahrens der Multiplen Binären Logistischen Regressionsanalyse getestet. Hierbei konnten fünf der sechs Hypothesen, mit denen die experimentellen Gruppen verglichen wurden, nicht verworfen werden. Dieses Ergebnis legt nahe, dass Forscher ihre Panellisten immer per E-Mail zu einer stationären Webbefragung einladen sollten, wenn die Möglichkeit zur freien Wahl zwischen den zuvor genannten Einladungsformen und Erhebungswegen vorhanden ist. Folglich sollten Panellisten stets per E-Mail eingeladen werden, wenn – aus welchen Gründen auch immer – nur eine stationäre Webbefragung durchgeführt werden kann. Andersherum ist es allzeit ratsam eine stationäre Webbefragung durchzuführen, wenn per E-Mail eingeladen werden muss. Im Gegensatz dazu, verlangt die Situation, in der Panellisten per SMS eingeladen werden müssen, immer nach der Durchführung einer mobilen Webbefragung, wenn die Erfolgsraten möglichst hoch sein sollen. Gleichermaßen ist es vorteilhaft Panellisten per SMS einzuladen, wenn nur eine mobile Webbefragung möglich ist. Zusätzliche Ergebnisse bezüglich der in der Analyse enthaltenen Kovariate deuten darauf hin, dass die Wahrscheinlichkeit der Teilnahme an der Webbefragung für Männer größer war als für Frauen, allerdings nur in kleinem Ausmaß. Darüber hinaus hatte die Absicht an stationären Webbefragungen teilzunehmen einen kleinen, und die Absicht an mobilen Webbefragungen teilzunehmen einen sehr kleinen positiven Einfluss auf die tatsächliche spätere Teilnahme. Daneben stiegen die Erfolgsraten mit dem Involvement der Panellisten im Hinblick auf das Thema der Befragung – jedoch nur in sehr geringen Grad. Merkwürdigerweise hatte die Unmittelbarkeit der Wahrnehmung einer E-Mail-Einladung einen sehr kleinen positiven Einfluss auf die Teilnahme, während im Gegensatz dazu der Einfluss der Unmittelbarkeit der Wahrnehmung einer SMS-Nachricht einen sehr kleinen negativen Einfluss aufzeigte. Keine weiteren Kovariate wiesen einen durchweg positiven oder negativen Einfluss auf die Erfolgsraten in dieser Studie auf. Zu guter Letzt wurden, als sekundäres Ziel dieser Studie, die vier experimentellen Gruppen mittels univariater Auswertungsverfahren im Hinblick auf andere relevante Variablen verglichen. Hierbei wurden die Daten hinsichtlich der Datenqualität, Antwortzeit, Antwortgeschwindigkeit, dem Weiterempfehlungsverhalten, der erneuten Teilnahmebereitschaft, sowie allen metrischen Variablen, Konstrukten und Faktoren, die in der Hauptstudie gemessen wurden, verglichen.

It is the primary focus of the experiment conducted in this study to research the combined impact of survey and invitation mode as experimental factors, on outcome rates of, and hence, participation in web surveys. For this purpose, in a first step, different variables affecting Survey Response Behavior were measured in a profile survey which has been conducted with panelists previously recruited solely for this purpose. A few weeks later, in a second step, all 8,569 panelists were invited by either an invitational SMS or a short e-mail containing a hyperlink to participate in a second survey. The latter has been conducted either on the stationary web, on a PC or laptop, or the mobile web, on a mobile phone. This corresponds to a 2x2 factorial design. Data from the first and second study phase were then combined. Subsequently, an appropriate sample size of 5,124 panelists was drawn for the purpose of evaluation by means of Multiple Binary Logistic Regression Analysis. The results of the profile survey prompt that panelists perceive invitations delivered by e-mail much easier to access than those delivered by SMS, in case they have been previously invited to a stationary web survey. However, in case they were invited to a mobile web survey, they perceive invitations delivered by SMS easier to access than those delivered by e-mail. But which combination of invitation and survey mode will provide researchers with the highest (or lowest) outcome rates? In some combinations of invitation and survey mode panelists are forced to switch between the device they received the invitation on and the one they accessed the survey with, while in other combinations they are not (always) forced to do so. This switch makes web surveys conducted in a particular mode harder to access. Therefore, based on Social Exchange Theory and practical deliberation on panelists’ profile data, it is hypothesized that the anticipated ease of accessing a web survey will have an impact on the outcome rates of web surveys. In this context six hypotheses have been formulated all of which compared one pair of four distinct survey and invitation mode combinations, which served as experimental groups, at a time. Each hypothesis predicted the experimental group which will induce the higher (lower) participation. All hypotheses were tested by means of a Multiple Binary Logistic Regression Analysis. At this, five of six hypotheses regarding the experimental group comparison were not rejected. These results suggested that researchers should always invite panelists to stationary web surveys by e-mail, given that a free choice between above mentioned survey and invitation modes is available to the researcher. Moreover, panelists should be invited by e-mail in case it is expected (for whatever reason) to conduct a stationary web survey. Vice versa it is wise to survey in the stationary web in case invitations by e-mail were taken for granted. In contrast, if the situation requires inviting panelists by SMS it is suggested to conduct a mobile web survey. Likewise, in case a mobile web survey has to be conducted it is advantageousness to invite panelists by SMS. Additional results obtained regarding the covariates included in the analysis indicated that men were to a small extent more likely to participate in this web survey than women. Moreover, the intention to participate in stationary web surveys had a small, and intention to participate in mobile web surveys a very small positive impact on participation. Further, outcome rates also increased with the topic involvement of panelists, but only to a very small extent. Oddly, immediacy of perception had a very small positive impact on participation in regard to e-mails while, in contrast, for SMS it had a very small negative impact. No other covariates showed significant positive or negative impact on outcome rates in this study. Finally, as a secondary focus of research, the four experimental groups have also been compared by means of univariate evaluation regarding other variables of interest. At this, diverse comparisons on data quality, response time, response speed, recommendation behavior, willingness to participate again, as well as all metric variables, constructs and factors measured in the main study have been conducted.

OpenAccess:
PDF PDF (PDFA)
(additional files)