Copyright © 2012 by Jeremy Keith

In unserer Branche wird häufig die Befragungsdauer als ein Kernparameter für die Kostenkalkulation verwendet. Die geschätzte Dauer kann jedoch oft deutlich von der tatsächlichen Dauer abweichen – was zu Verstimmungen und Konflikten führen kann, wie ich es selbst auch immer wieder erleben musste. Die Ursache dieses Problems liegt in den fehlenden Standards für zuverlässige Schätzungen der Befragungsdauer. Die in der Marktforschungsbranche am häufigsten verwendete Methode geht davon aus, dass wir 2,5 Fragen pro Minute beantworten – und das ist eine furchtbar mangelhafte Grundannahme. Unterschiedliche Fragen können nämlich eine sehr unterschiedliche Beantwortungsdauer erfordern: eine Befragung mit 10 Fragen mit jeweils 50 Antwortoptionen kann beispielsweise 50-mal länger dauern als eine Umfrage mit 10 einfachen Ja/Nein-Fragen. Ich versuche deshalb seit einiger Zeit, etwas präzisere Kalkulationsmethoden zu entwickeln und konnte mittlerweile anhand von detaillierten Untersuchungen der tatsächlichen Beantwortungsdauer im Rahmen zahlreicher Befragungen 3 neue Möglichkeiten identifizieren. Ich hoffe, dass diese sich auch für Sie als hilfreich erweisen werden.

Methode 1: Befragungsdauer = (W/5 + Q*5 + (D-Q)*2 + T*15)/60

Dies ist die präziseste Option (obwohl sie tatsächlich etwas aufwendig ist). Mit dieser Formel können Sie die Dauer einer englischsprachigen Befragung in Minuten ermitteln. W = Wörteranzahl (‚Words’): Ermitteln Sie die Gesamtanzahl der Wörter des Fragebogens (Fragen, Anweisungen und Antwortoptionen). Dies können Sie ganz einfach tun, indem Sie die Texte in MS-Word kopieren und die Wörteranzahl anschließend mit der entsprechenden Funktion anzeigen lassen. Vergessen Sie dabei jedoch nicht, zuvor jegliche eventuellen Programmierercodes herauszulöschen. In den westlichen Ländern lesen die Teilnehmer bei englischen Texten durchschnittlich 5 Wörter pro Sekunde. Q = Anzahl von Fragen (‚Questions’): Zählen Sie nach, wie viele Fragen jeder Teilnehmer durchschnittlich beantworten soll. Gehen Sie von 4 Sekunden pro Frage als 'allgemeine Nachdenkzeit' sowie 1 weiteren Sekunde für die Navigation (* bei 1 Frage pro Seite) aus. *dieser Wert kann bei einigen Plattformen höher sein. Falls für das Laden der einzelnen Seiten mehr als 1 Sekunde erforderlich ist, so passen Sie diesen Wert entsprechend an. D = Gesamtanzahl von Entscheidungen, die der Teilnehmer treffen muss (‚Decisions’): Zählen Sie anhand der folgenden Formeln nach, wie viele Entscheidungen jeder Teilnehmer durchschnittlich treffen muss und kalkulieren Sie dann 2 Sekunden pro Entscheidung ein: Frage mit einer Antwortoption = 1 Entscheidung Frage mit mehreren Antwortoptionen = 0,5 Entscheidungen pro Option Matrix = 1 Entscheidung pro Zeile T = Offene Fragen (‘Text Questions’): Zählen Sie nach, wie viele offene Fragen jeder Teilnehmer durchschnittlich beantworten muss und gehen Sie von 15 Sekunden pro Frage aus (dieser Wert kann je nach Inhalt der Fragen – teilweise auch sehr stark – variieren, jedoch widmen die Teilnehmer der Beantwortung einer offenen Frage durchschnittlich 15 Sekunden).

Methode 2: Befragungsdauer = (W/5 + R*1.8)/60

Diese Formel stellt eine etwas einfachere Methode dar. Sie ist zwar nicht so präzise und zuverlässig wie die erste Option, wird Ihnen jedoch brauchbare Richtwerte liefern. W = Wörteranzahl R = Gesamtanzahl der Zeilenoptionen (‘Row Options’): Bitte beachten Sie, dass es sich dabei nur um die Zeilen (und nicht die Spalten) der Matrix handelt. Die Gesamtanzahl können Sie ziemlich einfach ermitteln, indem Sie den Fragebogen in eine Excel-Tabelle kopieren und alle Zeilen in der Randspalte markieren und sie anschließend sortieren.

Methode 3: W/150

Dies ist eine weitere schnelle Kalkulationsmethode, die Sie anwenden können wenn Sie mal keine Zeit haben, alle Fragen und Zeilenoptionen zusammenzuzählen. Sie ist jedoch wirklich ziemlich ‘grob’ (nach meiner Erfahrung ist sie nur wenig präziser als die Annahme von 2,5 Fragen pro Minute) und liefert weitaus ungenauere Ergebnisse als die beiden zuvor vorgestellten Formeln. Einen ungefähren Richtwert werden Sie damit dennoch ermitteln können. Seien Sie zugleich aber sehr vorsichtig bei besonders textreichen Fragebögen. Als zusätzliche Vorsichtsmaßnahme empfehle ich hierbei, den ermittelten Wert mit jenem der ‘2,5 Fragen pro Minute’-Formel zu vergleichen. Falls die Zahlen nicht allzu stark voneinander abweichen, dürften sie brauchbar sein – bei starken Abweichungen empfehle ich jedoch, zur genaueren Kalkulation die erste Methode anzuwenden.

Wann sollten diese Formeln nicht verwendet werden?

1. Wenn nicht alle Fragen allen Teilnehmern gestellt werden:
Bei teilnehmerspezifischen Filterungen im Fragebogen werden den einzelnen Teilnehmern nicht alle Fragen gestellt. Dadurch wird es schwierig, die durchschnittliche Anzahl der tatsächlich zu beantwortenden Fragen zu ermitteln. Die meisten Schätzungen der Befragungsdauer scheitern an genau diesem Punkt. Die manuelle Berechnung der voraussichtlichen Fragenanzahl ist dann oft die einzige sinnvolle Vorgehensweise.
2. Wenn Frageschleifen nicht berücksichtigt werden:
Dies führt ebenfalls häufig zu Fehlkalkulationen. Wenn beispielsweise eine Frageschleife auf mehrere Markennamen angewandt wird, vergisst man oft, sie entsprechend mehrfach zu zählen und die dadurch erforderliche zusätzliche Beantwortungszeit zu berücksichtigen.
3. Wenn die Befragungsdauer anhand eines fremdsprachigen Fragebogens berechnet wird:
Die obigen Formeln gelten für Fragebögen in englischer Sprache. Bei anderen Sprachen führen weitere Faktoren – z.B. die längere Lesedauer, die Verständlichkeit, die Nachdenkzeit und die Seitenladedauer – zu abweichenden Werten. Zur entsprechenden Umrechnung der Befragungsdauer können die folgenden sprach- und länderspezifischen Koeffizienten angewandt werden (bitte haben Sie Verständnis dafür, dass ich hier nur die Werte für eine kleinere Auswahl der Sprachen/Länder anführen kann):

4. Wenn der Fragebogen viele Bilder enthält,
sollten Sie zusätzliche Seitenladedauer einkalkulieren. Rechnen Sie mit 2-10 Sekunden pro Megabyte.
5. Wenn der Fragebogen zahlreiche ungewöhnliche Frageformate enthält,
beispielsweise Anordnungsfragen oder Fragen mit Dropdown-Menüs, deren Beantwortung mehr Zeit erfordert.
6. Wenn Sie die Teilnehmer mit einem langen Fragebogen mit zahlreichen Wiederholungen anöden und entnerven!
Gelangweilte und entnervte Teilnehmer beantworten die Fragen immer schneller und flüchtiger – wodurch die durchschnittliche Entscheidungsdauer sinkt.

Haben Sie weitere Vorschläge?

Sollten Sie weitere Vorschläge zu diesem Thema haben oder andere hilfreiche Methoden kennen – nur her damit! Ich möchte wirklich sehr gerne einen einheitlichen Standard für unsere Branche entwickeln, der eine effiziente Berechnung der voraussichtlichen Befragungsdauer und die entsprechenden Kostenkalkulationen ermöglicht und jegliche Hinweise und Anmerkungen von Ihnen sind somit sehr willkommen. Übersetzt aus dem Englischen von:

Über den Autor

Jon Puleston ist VP of Innovation bei GMI und leitet GMI Interactive, ein Team von Spezialisten für die Entwicklung von interaktiven Befragungen und Technologien für die Online-Marktforschung. Zuvor war er Gründungsdirektor von Media Intelligence, einem Anbieter von technischen Lösungen, der die erste interaktive Autorensoftware für die Marktforschungsbranche entwickelt hat und ein Vorreiter bei zahlreichen innovativen Online-Forschungsmethoden, wie beispielsweise Virtual Shopping, Dial Testing und Click Testing war. In den vergangenen 5 Jahren erforscht er intensiv die Möglichkeiten zur effizienteren Einbindung von Teilnehmern an Online-Befragungen. Mit seinen aktuellen Arbeiten über die Gamification für die Marktforschung hat er den MRS Award 2011 für die innovativen Marktforschungsmethoden sowie den ESOMAR Congress Award 2011 für den besten Fachartikel über die Forschungsmethodologie gewonnen. Er hält regelmäßig Fachvorträge, schreibt für mehrere Blogs und leitet branchenrelevante Seminare über die Entwicklung von effizienten Befragungsdesigns. Zuletzt erhielt er den WPP Atticus Award für die Forschungspraxis. Weitere Informationen finden Sie in seinem Blog, unter: http://question-science.blogspot.com/ Quellenverweis: http://question-science.blogspot.de/2012/07/how-to-calculate-length-of-survey.html