Teil 2: Entwicklung spielerischer Fragen

Jon Puleston, GMI

Copyright © 2012 by David Kinney

Spielerische Befragungskonzepte entwickeln

Nun soll dargestellt und beschrieben werden, wie Fragen spielerischer gestaltet werden können.

1. Mehr Bilder

Die meisten Computerspiele sind extrem visuelle Erlebnisse. Zur Gamification einer Befragung sind Bilder daher unerlässlich. Alle unsere Forschungsergebnisse aus den vergangenen 4 Jahren haben bestätigt, dass die Teilnehmer die Beantwortung von visuell dargestellten Fragen sehr stark bevorzugen. Der Unterhaltungsfaktor derartiger Fragen wird mit 8 von 10 Punkten bewertet – gegenüber 3 Punkten bei den traditionellen Fragebögen. Bei einem anderen Experiment (welches möglichst nicht nachgemacht werden sollte, da ich Befragungen von mehr als 15 Minuten Länge für alles andere als angenehm und empfehlenswert halte) haben wir eine 40-minütige Befragung durchgeführt und dafür zwei identische Fragebögen erstellt – einen mit Bildern und einen ohne Bilder. Wir haben sowohl die Abbruchraten als auch die Bereitschaft zur Teilnahme an einer Folgebefragung miteinander verglichen und uns die erhobenen Daten sehr genau angeschaut. Bei den bebilderten Fragebögen haben 30% mehr Teilnehmer die Teilnahme vollständig abgeschlossen. Und die Aktivitätswerte waren bei den eigentlich identischen Fragen deutlich höher – manchmal um bis zu 50%. Zudem haben 25% mehr Teilnehmer freiwillig an einer Folgebefragung teilgenommen. Kumulativ wurde somit die Menge der erhaltenen Antworten bei einzelnen Fragen verdoppelt. Hier ist ein einfaches Beispiel für eine Reihe von Fragen, die wir über Trinkwasser gestellt und die entsprechenden Antwortoptionen durch Bilder visuell unterstützt haben. Bei der zweiten Frage wurden 35% mehr Trinkvorgänge in den einzelnen Tagesstunden erfasst.

2. Neues Layout und Design

Die meisten Fragebogendesigns basieren auf den traditionellen Pen-and-Paper-Konzepten, mit starren Diagrammen und Matrixtabellen sowie sehr wenigen Bildern oder sehr spärlichen graphischen Lösungen. Eine der besten Möglichkeiten zur spielerischen Gestaltung von Fragebögen besteht in der Abkehr von dieser traditionellen Layout-Struktur. So könnten visuell kreativere und attraktivere Layouts aussehen…

Wir haben in mehreren Aufsätzen über die dadurch erzielten Verbesserungen der Datenqualität und der Teilnehmererfahrungen berichtet, z.B. in: Puleston & Sleep, ESOMAR 2008:

• Weniger Linearität: bis zu 80% niedrigere Werte in einzelnen Experimenten
• Reduzierte Anzahl von neutralen Bewertungen: durchschnittliche Reduzierung um 25%
• Niedrigere Abbruchraten (bei optimierten Fragendesign): Reduzierung von 5% auf 1%

Hier ist ein Beispiel für die unterschiedlichen Reaktionen der Konsumenten bei einem stärker gamifizierten Format. Es entstammt dem zuvor beschriebenen Experiment mit der Werbeanzeige, bei dem wir das Design mit separaten Seiten für jede einzelne Antwortoption mit einer traditionellen Matrix-Tabelle verglichen haben.

Bei diesem Experiment haben die Teilnehmer den Antworten 23% mehr Zeit gewidmet. Die Prozentsätze der nicht genannten Medien sanken zugleich von 23% auf 14%. Und hier ist die Reaktion der Konsumenten auf diese Frage…

Zugleich ein Beispiel bei dem wir visuell angenehme Sternemuster verwendet haben. Wenn eine bestimmte Option ausgewählt wurde, wurde das entsprechende Sternchen in das Bild eingefügt.

Dadurch hat sich die Anzahl der ausgewählten Optionen um 50% erhöht.

3. Feedback als Belohnung

Die meisten Befragungen verfügen über keine wirksamen Feedback-Mechanismen. Im Rahmen unserer Bemühungen um eine spielerischere Gestaltung von Fragebögen haben wir eine Reihe von derartigen Mechanismen entwickelt und getestet. Sie sollten den Teilnehmern mitteilen, ob ihre Antworten richtig sind und ihre Bewertungen erfassen und verbessern.

Wir konnten feststellen, dass diese Feedback-Mechanismen sich grundlegend auf die Bewertung des Teilnahmeerlebnisses auswirken können. In einem Experiment, welches wir mit Mintel Research (als einem der Vorreiter im Einsatz dieser Methoden) durchgeführt haben und bei dem derartige Feedback-Mechanismen integriert wurden, schnellte der Prozentsatz von Teilnehmern die ihre "Teilnahme wirklich genossen haben“ von 26% auf 87% empor – das war eine der besten Bewertungen des Teilnahmeerlebnisses, die wir jemals erhalten haben!

4. Stärkerer Einsatz spielerischer Befragungstechniken

Wir haben noch zahlreiche andere Experimente mit noch spielerischeren Befragungstechniken durchgeführt, bei denen wir uns vom traditionellen Befragungsdesign praktisch komplett verabschiedet haben. So gab es beispielsweise einen Fragebogen im Stil des beliebten Computerspiels Space Invaders, bei dem der Spieler durch das Weltall fliegt und auf Antwortoptionen schießt sowie ein Slalom-Spiel. Die Ergebnisse waren eher gemischt: wie in unserem ESOMAR-Artikel “The game experiments” berichtet, waren diese komplexeren Ansätze nur teilweise attraktiv und haben zu teilweise falschen Daten geführt. Die Teilnehmer haben nämlich nur allzu gern die eigentliche Aufgabe vergessen und sich zu stark auf das Spiel konzentriert.

Die häufigsten Fragen… Zwei Fragen werden mir über die spielerischen Befragungsmethoden immer gestellt: "Wer macht bei den spielerischen Befragungen mit?" und "Welche Auswirkungen hat das auf die Daten?". Wer macht bei den spielerischen Befragungen mit? Die Antwort auf die erste Frage lautet: fast JEDER! Naja… wenn man es richtig macht. Bei einfachen Buchstabenspielen betrug die aktive Teilnahme 95%. Von den über 100 Spielexperimenten, die wir im vergangenen Jahr durchgeführt haben, gab es nur einige wenige, die nicht zu einer aktiveren Beteiligung als die traditionell konzipierten Fragebögen geführt haben. In letzter Zeit führen wir einige umfangreiche Experimente in mehreren asiatischen Ländern durch, um zu erforschen, inwieweit sich die Attraktivität der spielerischen Befragungen je nach Kultur eventuell unterscheidet. Die bisherigen Ergebnisse sind für alle Länder sehr ähnlich: In China, Indien, Japan, Korea sowie allen anderen Ländern die wir getestet haben, scheinen die Teilnehmer positiv auf die spielerischen Befragungsmethoden zu reagieren und begegnen ihnen mit praktisch identischer Begeisterung. Welche Auswirkungen hat das auf die Daten? Diese Frage ist sehr wichtig – und die Antwort darauf sehr relevant. Die Ergebnisse können nämlich oft eindeutig verschieden sein. Dafür sind mehrere Faktoren verantwortlich. Einerseits erhält man durch eine aktivere Teilnahme umfangreichere Antworten – was ja sehr gut und zugleich wohl auch der primäre Vorteil der spielerischen Methoden ist. Andererseits können diese auch zu stark verfälschten Antworten führen, insbesondere wenn im Rahmen des Spiels Punkte gesammelt werden können und der Ehrgeiz des Teilnehmers ihn dabei von der ehrlichen Beantwortung der Fragen ablenkt. Zudem kann eine veränderte Einstellung der Teilnehmer die Ergebnisse verändern, beispielsweise kann die erzeugte Spielbegeisterung zu höheren Bewertungen einer Marke führen.

Fazit

Die in den vergangenen 4 Jahren durchgeführten Erforschungen haben gezeigt, dass die Gamification die wirksamste bisher identifizierte Methode zur Steigerung der aktiven Teilnahme bei Online-Befragungen ist. Es handelt sich dabei jedoch ganz klar um eine kreative Lösung, bei der es keine ‚Patentrezepte’ gibt (außer vielleicht der punktebasierten Bewertung). Die meisten Gamification-Techniken erfordern sowohl ein ausgeprägtes Sprachgefühl und Konzipierungstalent als auch profundes technisches Fachwissen zur Implementierung des Spieldesigns in die Fragebögen. Gamification ist somit vergleichbar mit der Werbung: Gute Werbung kann die Verkaufszahlen erhöhen, schlechte Werbung hingegen nicht. Genauso kann ein gut konzipiertes Befragungsspiel bessere Ergebnisse erzeugen, während eine schlechte Umsetzung zu verfälschten Daten führen kann. Das Entwerfen von Befragungsspielen ist also eine kreative Kunst und erfordert ähnliche Fähigkeiten wie die Entwicklung guter Werbekampagnen. Nicht jeder kann das. Zugleich ist es manchmal schwierig, die Ziele einer Marktforschungsstudie und die Ziele eines Spiels unter einen Hut zu bringen. Wir haben oft versucht, einzelne Ideen praktisch umzusetzen und mussten dann feststellen, dass bestimmte Ansätze zu unterschiedlichen Ergebnissen führen können. Die Methoden erfordern also eine wohlüberlegte und pragmatische Herangehensweise. Für die Gamification gibt es zwei Herangehensweisen: bei der ersten wird zunächst einmal ein Spiel entwickelt und dann versucht, eine passende Studie zu finden, für die das Spiel gut geeignet sein könnte. Bei der zweiten wird versucht, eine konkrete Aufgabe zu einem Spiel umzuformen, ohne dabei die Daten allzu stark zu kompromittieren. Beide Herangehensweise erfordern gewaltigen Experimentieraufwand. Ich persönlich bevorzuge den ersten Ansatz und sehe in der Gamification eine Möglichkeit zur Entwicklung von vollständig neuen und neuartigen Befragungsmethoden. Zugleich ist mir bewusst, dass die meisten Forscher in ihrer Arbeit die praktischen Einschränkungen und Probleme berücksichtigen müssen. Wir haben im Rahmen unserer Forschungen festgestellt, dass alle Gamification-Ansätze sehr viel Experimentieren erfordern. Einige von ihnen können nämlich (aus verschiedenen Gründen) zu deutlich veränderten Ergebnissen führen. Deshalb kann ich Ihnen nur empfehlen, einige dieser Methoden selbst auszuprobieren. Ich hoffe sehr, dass dieser Artikel Ihnen dabei einige neue und nützliche Wege für die (Neu)Gestaltung von Online-Befragungen aufzeigen konnte.

Anmerkungen zur Methodologie

Fast alle in diesem Artikel zitierten Studien und Experimente wurden mit einer Test- und einer Kontrollgruppe mit jeweils 100 bis 200 Teilnehmern durchgeführt, meist im Rahmen der Forschungsarbeiten von GMI und Engage Research. Die Ergebnisse sollten daher lediglich als erste Erfahrungswerte erachtet werden, die aus eher allgemeinen Erforschungen dieses Themas gewonnen wurden. Als Vorreiter in diesem Bereich erforschen wir zugleich die wichtigsten Gamification-Methoden weiterhin immer intensiver – und werden die entsprechenden neuen/weiteren Ergebnisse auf der ESOMAR Asia Conference im April 2011 präsentieren können. Übersetzt aus dem Englischen von: Quellenverweis: Artikel erstmalig erschienen auf www.quirks.com.

Über den Autor

Jon Puleston ist VP of Innovation bei GMI und leitet GMI Interactive, ein Team von Spezialisten für die Entwicklung von interaktiven Befragungen und Technologien für die Online-Marktforschung. Zuvor war er Gründungsdirektor von Media Intelligence, einem Anbieter von technischen Lösungen, der die erste interaktive Autorensoftware für die Marktforschungsbranche entwickelt hat und ein Vorreiter bei zahlreichen innovativen Online-Forschungsmethoden, wie beispielsweise Virtual Shopping, Dial Testing und Click Testing war. In den vergangenen 5 Jahren erforscht er intensiv die Möglichkeiten zur effizienteren Einbindung von Teilnehmern an Online-Befragungen. Mit seinen aktuellen Arbeiten über die Gamification für die Marktforschung hat er den MRS Award 2011 für die innovativen Marktforschungsmethoden sowie den ESOMAR Congress Award 2011 für den besten Fachartikel über die Forschungsmethodologie gewonnen. Er hält regelmäßig Fachvorträge, schreibt für mehrere Blogs und leitet branchenrelevante Seminare über die Entwicklung von effizienten Befragungsdesigns. Zuletzt erhielt er den WPP Atticus Award für die Forschungspraxis. Weitere Informationen finden Sie in seinem Blog, unter:http://question-science.blogspot.com/