Bitte helfen Sie uns, Ihnen zu helfen und füllen Sie folgende Felder aus:
Ihre LimeSurvey-Version: 3.23.1+200825
Ich nutze einer LimeSurvey-Installation meiner Universität (Justus-Liebig-Universität Giessen, die hierfür keinen Support anbietet).
Genutzte Designvorlage:JLU_SLE
==================
Liebe Community,

mein erstes Mal mit LimeSurvey. Die erstellte Umfrage ist jetzt aktiv, wurde an die Zielgruppen versendet und läuft noch etwa eine Woche. Alle Verteiler zusammengerechnet etwa 1.000 Personen, die den Link zur Umfrage erhalten haben. Wenn ich mich jetzt in die Statistik der laufenden Umfrage reinklicke, sehe ich insgesamt etwa 100 Antworten, wovon allerdings 50% unvollständig sind. Ein Export als Excel-Datei zeigt mir, dass

- die Umfrageteilnehmenden an variabler Stelle die Umfrage abgebrochen haben (oder technische Probleme hatten)
- in manchen Zeilen nicht "ja" oder "nein" als Antwort hinterlegt wurde sondern "N/A"

Die Umfrage dauert recht lange, 15-20 Minuten, daher kann ich mir zwar vorstellen, dass viele nicht teilnehmen oder abbrechen - dazu fehlt mir aber Erfahrung mit Umfragen.

1. Frage: Ich kann mir nicht erklären, woran die hohe Abbruchquote technisch liegen könnte. Server-Timeout liegt - soweit ich in anderen Foren lesen konnte - bei 24 Minuten Inaktivität. Andere Ideen?

2. Frage: Wie habe ich dieses "N/A" zu interpretieren?


 

Hallo,
ich habe einmal unsere letzte Umfrage angeschaut.
Von 1009 Antworten waren 479 unvollständig.

Und bei einer Umfrage mit gedacht "am Untersuchungsgegenstand interessierten" Personen, nämlich die Mitarbeiter einer Firma, die damit arbeiteten
von 371 Antworten 172 unvollständig.

Dein Ergebnis ist also zunächst ziemlich normal.


Die Frage ist natürlich immer:
Ist die Umfrage so aufgebaut, dass es "Spaß macht" zu antworten, dass die Umfrage motiviert weiterzumachen?
Oder ist es eine simple Aneinanderreihung von Fragen, Itembatterien, die dann auch noch alle auf einer Seite angezeigt werden?
Immer gut zu lesen, jetzt aber zu spät für Dich
 

Daher müsstest Du zunächst analysieren, wo es gehäuft Abbrüche gibt; dies ist natürlich schwierig, wenn mehrere Fragen auf einer Seite angezeigt werden (das macht man ja auch nicht).
An eine Überschreitung des Timeouts (dessen Grenze übrigens bei Euch zu suchen ist, der Installation der JLU) glaube ich weniger.
Es sei denn, dass zwischendurch das Baby gestillt werden muss, die Milch überkocht, der Postmann zweimal klingelt, usw.
Oder eben, dass viele Fragen auf einer Seite sind, und man bis zum nächsten "Weiter"-Klick durch langes Nachdenken in der Tat viel Zeit verbrät.

Zum N/A kann ich im Moment nichts sagen, da ich

• das Design der Umfrage nicht kenne
• diese J/N Frage nicht benutze (ich bevorzuge die Anzeige mittels bootstrap-buttons)
• also zunächst einmal so ein Szenario zurechtbauen muss

Was bleibt?
Du solltest irgendwie versuchen, uns etwas zu zeigen

Bis dann
Joffm


 

Eigentlich wie Joffm.

Bei 1000 eingeladenen Personen haben 100 die Umfrage gestartet. Das hört sich erstmal "normal" an, aus der Praxis.

Teilnahmebereitschaft hängt natürlich immer von vielen Faktoren ab. Wie "warm" sind die Kontakte? Sprich, ist es einfach ein unpersönlicher Verteiler, oder stecken hinter den 1000 Kontakten Personen, mit denen man (inklusive der versendenten Organisation) regelmässig im Kontakt / Austausch ist? Oder sind es irgendwelche anonym Kontakte. Dann sind 10% vielleicht sogar schon relativ gut.

50% unvollständig finde ich jetzt auch nicht allzu ungewöhnlich. Von denen die überhaupt den Link auf eine Umfrage klicken sind viele erstmal neugierig und schauen um was es sich handelt. Wenn du die dann erstmal mit einem ellenlangen, schlechtformatierten und langweilig geschriebenen Willkommens-Text "verschreckst", sind die genaus schnell wieder weg wie sie gekommen sind.

15-20min ist jetzt zwar nicht extrem lang, aber je nach Zielgruppe kann das schon zu lange sein, vor allem wenn die Umfrage vom Thema her für die Eingeladenen nicht wirklich relevant oder interessant ist. Tendenziell geht die Aufmerksamkeitsspanne ja immer weiter zurück.

Manche Fragetypen führen tendenziell zu höheren Abbrüchen (aus meiner Erfahrung sind das meist lange Matrix-Fragen aber teilweise auch offene Fragen - sprich Text-Fragen). Aber wie gesagt, es kommt immer darauf an, welche Zielgruppe du hast.

"Alle Verteiler zusammen" deutet für mich daraufhin, dass diese Einladungs-Email an eine anonyme Masse geschickt wurde. In dem Fall finde ich es gar nicht so schlecht, dass 10% überhaupt den Link geklickt und die Umfrage gestartet haben.

In der Marktforschung gehen wir z.B. bei CATI-Befragungen von einer Ratio von 1:10 Oversampling aus. Sprich wir brauchen 10 Kontakte für ein abgeschlossenes Interview. Entsprechend müssen wir eben auch das Sample einkaufen (für eine Umfrage mit n=1000 abgeschlossenen Interviews, müssen wir im Normalfall mindestens n=10.000 Kontaktdaten einkaufen). In manchen Fällen sind es weniger Kontakte, manchmal brauchen wir aber auch mehr.

50% unvollständige finde ich erstmal auch gar nicht sooo schlecht. Zusammen mit der Clickthrough-rate von 10% kommste dann aber auf eine Abschlussquote von 5%. Die ist zwar nicht gut, aber auch nicht wirklich schlecht.

Was kann man tun? Im Normalfall schickt man nach ein paar Tagen (2-3 Tage nach der ersten Einladung antwortet sowieso meist keiner mehr) eine Erinnerungsmail an die, die noch nicht teilgenommen haben und eine andere Email an die, die zwar angefangen aber nicht abgeschlossen haben. Das geht aber natürlich nur bei einer geschlossenen Umfrage. Ich vermute mal, dass es bei euch aber eine offene Umfrage war. Also weiss man nicht, wer von den Eingeladenen teilgenommen hat, wer nicht. Also könnte man eigentlich nur eine sehr generische Erinnerungssemail rausschicken. Die wird aber nicht viel mehr Erfolg haben, als die erste Einladung.

Punkte die die Teilnahmebereitschaft erhöhen können:
- richtige Zielgruppe ansprechen (Extrembeispiel: Wie viele "werdende Mütter" wirst du in generischen Verteilern wohl erreichen? Von 1000 sind vermutlich weniger als 10 werdende Mütter, wenn du Pech hast sogar 0. Denn von den 1000 kannste ja schon mal cal 50% komplett ausschliessen, weil sie Männer sind. Dann haste noch viele dabei die entweder zu jung oder zu alt sind. Und dann musst du bei denen die im richtige Profil sind noch unheimlich glück haben, dass sie gerade in einem Zeitfenster von weniger als 9 Monaten sind). Da hast du vermutlich mehr Erfolg den Link in einem Forum für werdende Mütter zu posten, selbst wenn dort keine 1000 User unterwegs sind. Deine Ausbeute dürfte wesentlich höher sein.

- Richte Einladungsemail: Sollte seriös wirken, aber zur gleichen Zeit motivieren. Darf auf keinen Fall den Eindruck erwecken, dass es Spam ist und muss zeigen, dass die Umfrage auch für den Teilnehmer interessant sein kann.

- Incentive: Was kriegt der Teilnehmer zurück für seine 15-20min? Das muss nicht immer monetär oder in Form von Preisen sein. Aber die meisten Menschen brauchen irgendeine Motivation um ihre Zeit zu spenden. Das können Incentives in Form von Gutscheinen, Geld oder Gewinnspielen sein, aber auch das gute Gefühl, jemanden geholfen zu haben oder bei einer guten Sache mitgemacht zu haben. Kommt immer auf's Thema an und wie man die Umfrage "verkauft".

- Thema der Umfrage: Es ist wesentlich einfacher Menschen für eine Umfrage zu motivieren, die über ein interessantes Thema ist, oder bei einem Thema das für sie wichtig ist. Wenn es bei uns z.B. um Autos geht, dann kriegen wir auch mal einen Millionär dazu, ein bisschen Zeit zu opfern. Wenn ich den jetzt aber 1h lang über Versicherungen befragen will, dann zeigt er mir vermutlich den Vogel.

- Mobile ready? Sprich, wurde die Umfrage auch so designed und entsprechend getestet, dass sie auch auf einem Smartphone beantwortet werden kann? Heute wird ein grossteil von Umfragen auf dem Smartphone ausgefüllt, während man irgendwo wartet, um die Zeit tot zu schlagen, auf dem Sofa, etc. Wir sehen immer mehr Menschen die gar keinen PC mehr haben (egal ob Desktop oder Notebook), weil das Smartphone eben für die meisten privaten Sachen reicht. Oder man hat einen Rechner rumstehen, der wird aber kaum genutzt und muss dann oft erst Updates fahren, etc. Wenn deine Umfrage jetzt eben nicht "mobile ready" ist, dann schliesst du schon mal einen Grossteil Deines Samples aus. vor allem Matrix-Fragen, lange Listen, etc. sind auf dem Handy einfach nicht so schön und einfach zu beantworten. Wenn die Umfrage aus irgendwelchen Gründen nur auf einem grossen Bildschirm vernünftig beantwortet werden kann (dafür kann es gute methodologische Gründe geben), dann muss man das den Teilnehmern so vorher klar machen.

Du siehst, das ist alles nicht so Schwarz-Weiss, sondern es gibt viele Faktoren die das alles beeinflussen.

Aber wenn man 1000 Einladungen an irgendwelche Leute rausschickt, dann sind 50 abgeschlossene Interviews sicherlich nicht aussergewöhlich, vermutlich eher im höheren Bereich. Was ist denn die Zielstichprobemgrösse?

Off Topic:

3.23.1+200825

Das ist natürlich ein Witz, dass die Uni immer noch mit einer Version arbeitet, die zuletzt am 25/08/2020 ein Update erhalten hat. Das sind jetzt 3 Jahre ohne jegliches Update, keine Bug-fixes, keine Security-Patches. In Zeiten von DSVGO/GDPR eigentlich ein Unding.

Aber ich sehe gerade, dass ich der Uni Giessen vor ein Paar Wochen eine Email zum Thema geschrieben habe. Der Antwort nach (die ich schon fast als "frech" bezeichnen würde) wird sich da wohl nicht viel tun. Kann aber nicht schaden denen Mal zu schreiben. Ich persönlich werde das nicht mehr tun, denn zum einen bin ich kein Student oder Angestellter der Uni (und somit kein echter Stakeholder) und werde natürlich einen weiten Bogen um alle Umfragen von der Plattform der Uni Giessen machen, solange die Version so alt ist. Die meisten Teilnehmer wissen das natürlich nicht, dürfte also im Normalfall keine Auswirkung auf die allgemeine Teilnahmebereitschaft haben.

@holch,
Ein Gutes hat Gießen aber doch:
Die Standardfrage an jeden Studenten aus Gießen, den man irgendwo auf der Welt trifft, ist nämlich "Gibt es das Scarabée noch?"
Und ja, es gibt das Scarabée noch immer. Es war, ist und wird es ewig bleiben: DIE Studentenkneipe schlechthin.
Obwohl natürlich jetzt kommt, was kommen muss "Zu meiner Zeit dort war es natürlich viel besser."

Und jetzt kommt der Bogen zurück zum Thema: "Wahrscheinlich war zu meiner Zeit auch die Unterstützung seitens des Rechenzentrums besser".
Als wir ja noch auf dem Großrechner mit unseren Daten auf Hollerith-Lochkarten und Fortran-Programmen die Auswertungen machen mussten/konnten/durften.

Joffm

Das sollte auch kein Bashing der Uni Giessen an sich sein. Die kenne ich einfach nicht genug. Aber der IT-Support hat bei mir keine guten Eindruck hinterlassen. Bin mir sicher, dass es bei meiner Alma Mater nicht viel besser aussieht.