Hi Joffm,

die Umfrage soll anonymisiert für einen geschlossenen Teilnehmerkreis stattfinden. Den Teilnehmenden möchte ich in meinem Fall allerdings nicht das Zugeständnis machen die Umfrage unterbrechen zu können, da das Experiment nur Sinn macht, wenn es in einem Durchgang ohne Pause absolviert wird.

Einstellungen sind: anonymisiert, geschlossener Modus, Antwortpersistenz: An, mehrere Antworten mit einem einzigen Zugangscode erlauben: Aus..

wie gesagt, jetzt kann Person X (mit individuellem Zugangscode) 10 mal das Experiment anfangen (die Daten davon werden gespeichert, da es anonymisiert ist weiß ich ja auch nicht, dass es Person X 10 mal war, dh. ich hätte ja laut Daten 10 Dropouts)...so soll es nicht sein, jede Person soll quasi nur einmal das Experiment durchlaufen können..

achso und Zwischenspeichern ist auf AUS eingestellt, bedeutet das aber vllt., dass es auf An sein muss um kontrollieren zu können, dass eine Person nur einen Durchgang durchläuft? D.h. ich würde, wenn eine Person zwischenspeichert, diese eben nicht in die statistische Analyse hinterher miteinbeziehen, wenn ich sehe, dass sie zwischengespeichert hat? In der Hoffnung, dass die Person X dann nicht mehrmals von vorne anfängt, sondern hoffentlich zwischenspeichert, damit nicht so viele "Drop outs" generiert werden? Eine Variante, dass der Zugangscode lediglich einmal verwendet werden kann ist also gar nicht möglich oder?

also das Zwischenspeichern zuzulassen ist auch keine Option...habe es getestet und es wird mir , nachdem die Person die Umfrage fertig hat, nicht angezeigt, dass sie zwischendurch zwischengespeichert hat, auch durch die "Timing Statistiken" ist es nicht ersichtlich...

d.h. im Endeffekt habe ich keine Kontrollmöglichkeit darüber, ob eine Person das Experiment mehrmals durchgeht bzw. so oft wie sie mag nochmal neu anfängt...also bleibt mir nichts anderes übrig als am Ende der Umfrage eine Frage zu stellen: "Haben Sie die Umfrage einmal an einem Stück ohne Unterbrechung durchlaufen?" Und darauf vertrauen, dass die Person es auch so gemacht hat...nur wenn ich z.B. 80 Teilnehmende habe und 90 Datensätze am Ende habe, weiß ich ja, dass es nicht sein kann, obwohl vllt. alle 80 angeben es an einem Stück durchlaufen zu haben, das wäre ja für die Datenanalyse super schlecht ):

Du hast doch auf jeden Fall diese zwei Möglichkeiten.
Zunächst: Mache die Studie nicht anonym!
Dazu haben @holch und ich schon sehr viel geschrieben, nämlich dass wir als institutionelle Markt- und Meinungsforscher dies grundsätzlich nie tun.
Uns aber natürlich unseren Standesregeln unterwerfen, als das sind, der ESOMAR-Kodex (European Society of Opinion and Market Research) , und hier in Deutschland zusätzlich die Erklärung des ADM (Arbeitskreis Deutscher Marktforschungsinstitute) dazu.
Denn die Daten der Teilnehmer dürfen durchaus benutzt werden; zum Beispiel für Folgebefragungen. Sie dürfen nur nicht mit den Umfragedaten verknüpft werden.
Insofern ist auch eine schriftliche Befragung mit Name und Adresse des Teilnehmers auf dem Deckblatt anonym, WENN eben - wie es vorgeschrieben ist - dieses Deckblatt an der Tür des Institutes vom übrigen Interview getrennt wird.
Dann kann man die Teilnehmer ein Jahr später erneut befragen, oder man kann die säumigen Teilnehmer erinnern (wessen Deckblatt noch nicht da ist, hat noch nicht geantwortet)

Das heißt also, das durchführende Institut oder eben hier Du garantieren diese Anonymität, indem Du eben die Daten der Teilnehmertabelle nicht in der Auswertung verwendest.

Jetzt endlich zu den Möglichkeiten.
a. Schalte tokenbasierte Persistenz aus und natürlich dass der Teilnehmer speichern und später fortfahren kann, ebenfalls AUS
Dann startet die Umfrage immer wieder neu und es wird ein neuer Datensatz erzeugt. Wenn also mehr als ein Datensatz eines Teilnehmers vorhanden ist, schmeiß ihn raus.
Du hast ja am Anfang darauf hingwwiesen, dass die Befragung "in einem Rutsch" durchgeführt werden soll/muss.

b. Schalte tokenbasierte Persistenz ein und schau Dir die verbrauchte Zeit an.
Dazu musst Du dann auch "Datumsstempel" auf AN setzen.
Du wirst ja abschätzen können, wie lange man benötigt (es werden ja wohl keine Schachprobleme gezeigt werden, über die der Teilnehmer stundenlang brüten könnte )
Wenn dann jemand überdurchschnittlich lange braucht, ist er zumindest verdächtig.
Einfach Differenz von "startdate" und "datestamp" berechnen. Die Timing-Statistik liefert hier kein gültiges Resultat.
Wobei auch hier der Fall aufgetreten sein könnte, dass die Milch überkochte, der Postmann zweimal klingelte, und dadurch die Bearbeitung länger dauerte.
Aber um ganz sicher zu gehen, schmeiß ihn ebenfalls raus.

Also, das geht schon irgendwie alles.

Joffm




 

danke für die ausführliche Antwort!

habe schon befürchtet, dass es in der anonymen Variante wohl einfach nicht möglich sein wird, denke daher, dass Lösung b) die beste für meine Studie sein wird.

Was die Anonymität angeht, das verstehe ich noch nicht so ganz, da werde ich mich mal reinlesen, in das, was du erwähnt hast. Habe bisher nicht in Erwägung gezogen, die Umfrage nicht anonym (nach Limesurveydefinition) zu machen, um bei der Rekrutierung des Teilnehmerkreises immer hinweisen zu können, dass alles anonym ist und dass die Antworten sich nicht auf die Person zurückverfolgen lassen (laut Lime). Das schöne Argument würde dann ja entfallen, wenn ich es doch nicht auf anonym stellen würde, dann würde man (ich) ja definitiv wissen, wer was geschrieben/geantwortet hat...das bedeutet Lösung b) impliziert, dass ich eine Datenschutzerklärung mache, in der ich darauf hinweise, dass lediglich die Forscherin (ich) die Antworten der Personen sehen wird, die Auswertung aber anschließend anonymisiert erfolgen wird oder?

(Ein bisschen schade ist das schon, weil ich denke, dass man mehr Leute meiner Zielgruppe überzeugen könnte an einer Studie teilzunehmen, wenn sie wissen dass es komplett anonymisiert ist und keiner Ihr Antwortverhalten zuordnen kann, wirklich schade, dass es nicht die Funktion in Lime gibt, dass ein Zugangscode wirklich nur einmal benutzt werden kann...)

noch ein Nachtrag: Wieso liefert die Timing-Statistik kein gültiges Resultat? Bei mir hat es geklappt, dass sowohl im anonymen als auch im offenen Modus die Timings (gesamt) sowie Frage für Frage erfasst und dort angezeigt werden. Wäre auch sinnvoll, weil ich u.a. den Einflussfaktor Zeit mituntersuchen möchte (also gibt es z.B. einen signifikanten Unterschied in den Zielvariablen, je länger man Fragen von Gruppe 3 bearbeitetet hat? (also dort zeitlich verbracht hat)...außerdem ist es super relevant, dass ich das Timing zwischen zwei spezifischen Fragen berücksichtige, denn wenn der Teilnehmer diese nicht unmittelbar hintereinander bearbeitet hat (sind ganz kurze Textanzeigen) dann muss ich ihn aus der Analyse rausschmeißen..

dass alles anonym ist und dass die Antworten sich nicht auf die Person zurückverfolgen lassen (laut Lime)

Und hier liegt das nächste Problem: Auch wenn dir Limesurvey suggeriert, dass es TECHNISCH NICHT möglich ist die personenbezogenen Daten mit den Ergebnisdaten zu verknüpfen, wenn man die Umfrage auf "anonym" setzt, ist das in Wirklichkeit gar nicht 100% gegeben. Musste ich auch vor kurzen erstaunt erfahren und im Bug Report wurde das als kein Problem angesehen.

Joff und ich sind da zwar anderer Meinung, aber die Entwickler sehen es nicht als Problem an, dass man bei der "Anonymen Umfrage" trotzdem Attribute aus der TeilnehmerTabelle in die Umfrage übernehmen kann. Sprich, deine Teilnehmer sind auch auf deine "Ehrlichkeit" angewiesen, wenn die Umfrage auf anonym gesetzt wurde, da es auch da technisch gar nicht so komplizierte Möglichkeiten gibt, Daten aus der Teilnehmertabelle in die Antworttabelle zu übertragen, die zum Identifizieren der Teilnehmer herangezogen werden können (Token, Email, Name, etc.).

Als Marktforscher garantieren wir den Teilnehmern, dass wir die persönlichen Daten nicht zusammen mit den Antworten auf die Umfrage auswerten, selbst wenn wir das technisch könnten. Die Teilnehmer müssen uns da dann eben vertrauen. Wenn sie uns nicht vertrauen, dann ist es sowieso besser, gar nicht teilzunehmen. In manchen Fällen geht es auch gar nicht anders, ohne irgendeinen Zusammenhang zwischen den persönlichen Daten und den Antwortdaten (Bezahlung von Incentives, Einladung zu einer zweiten Welle, Verknüpfung von den Antworten aus verschiedenen Umfragen über die Zeit, Erinnerungsmails falls noch nicht teilgenommen, etc.).

holch wrote:

Joff und ich sind da zwar anderer Meinung, aber die Entwickler sehen es nicht als Problem an, dass man bei der "Anonymen Umfrage" trotzdem Attribute aus der TeilnehmerTabelle in die Umfrage übernehmen kann.
 

Wer sich selbst ein Bild von der Diskussion machen will, der findet das Ticket hier:
bugs.limesurvey.org/view.php?id=18253
 

Danke jelo für das Teilen

dennoch nochmal zu meinem ursprünglichen Anliegen für diesen Forumsbeitrag, nämlich:

Wie kann man es schaffen im anonymsierten Modus (einmal ausgeblendet, dass dies wohl nicht so anonym ist, wie man es sich wünschen würde), dass ein Teilnehmer die Umfrage (tokenbasiert) lediglich einmal starten kann (unabhängig davon, ob derjenige die Umfrage auch beendet, die Daten bis zum Abbruch sollen aber als Datensätze gespeichert werden) und danach verliert sein Zugangscode unmittelbar an Gültigkeit?

Soll heißen Teilnehmer X nimmt im anonymen Modus einmal an der Umfrage teil =klickt sie an und startet, bricht dann aber ab und schließt das Browserfenster. Er denkt sich eine Stunde/einen Tag später, dass er nun Zeit hat und möchte die Umfrage nochmal machen (zwischenspeichern ist allerdings nicht möglich gewesen, weil es bewusst so eingestellt war). Nun startet er also von neuem. Jetzt soll dies eben genau nicht möglich sein, d.h. dadurch dass er den Zugangscode schonmal benutzt hat, soll dieser an Gültigkeit verloren haben.

Falls es jemanden gibt, der weiß, ob man das erreichen kann, würde ich mich freuen, wenn derjenige hier teilen könnte, wie er es hinbekommen hat

Liebe Grüße von Nala

Wie kann man es schaffen im anonymsierten Modus (einmal ausgeblendet, dass dies wohl nicht so anonym ist, wie man es sich wünschen würde), dass ein Teilnehmer die Umfrage (tokenbasiert) lediglich einmal starten kann (unabhängig davon, ob derjenige die Umfrage auch beendet, die Daten bis zum Abbruch sollen aber als Datensätze gespeichert werden) und danach verliert sein Zugangscode unmittelbar an Gültigkeit?

Soll heißen Teilnehmer X nimmt im anonymen Modus einmal an der Umfrage teil =klickt sie an und startet, bricht dann aber ab und schließt das Browserfenster. Er denkt sich eine Stunde/einen Tag später, dass er nun Zeit hat und möchte die Umfrage nochmal machen (zwischenspeichern ist allerdings nicht möglich gewesen, weil es bewusst so eingestellt war). Nun startet er also von neuem. Jetzt soll dies eben genau nicht möglich sein, d.h. dadurch dass er den Zugangscode schonmal benutzt hat, soll dieser an Gültigkeit verloren haben.

Sehe da "Out of the Box" eigentlich kaum eine Möglichkeit.

Mit "Schlüsselwortbasierte Persistenz : AN" --> Teilnehmer klickt wieder auf den Link und führt die Umfrage dort fort, wo er sie aufgehört hat.

Mit "Schlüsselwortbasierte Persistenz : AUS" --> Teilnehmer klickt wieder auf den Link und ein neuer Datensatz wird für diesen Schlüssel/Token erstellt, d.h. es kann mehrere "unfertige" Datensätze für den gleichen Teilnehmer geben.

Die Frage ist ja auch immer, ab wann gilt ein Fragebogen als "abgebrochen"? Wie soll das System das feststellen? Wo soll der Schnitt gemacht werden?

Soweit ich weiss, lässt sich das was du da machen willst, so out of the box aktuell nicht in Limesurvey umsetzen. Keine Ahnung ob das in anderen Tools funktioniert.

Im Prinzip müsste man halt dann wann du den Schnitt machen willst in der Token-Tabelle "uses left" von 1 auf 0 setzen, damit der Token nicht mehr verwendet werden kann. Du müsstest also genau definieren, wie du einen "Abbruch" definierst und dann eine Methode finden, die herausfindet ob jemand laut dieser Definition abgebrochen hat und dann uses left heruntersetzen.

Um bei Joffms Beispielen zu bleiben: Ist es schon ein Abbruch, wenn die Person einen Kaffee holt, an die Tür geht, einen Telefonanruf annimmt? Oder nur wenn sie am nächsten Tag erst weiter machen, etc. Ist es nur ein Abbruch, wenn man das Browserfenster schliesst? (das kann man ja für alle Zeiten offenlassen, in einem Tab im Hintergrund, etc.).

d.h. dadurch dass er den Zugangscode schonmal benutzt hat

Für Limesurvey gilt ein Zugangscode erst benutzt, wenn der Teilnehmer irgendwo ans Ende des Fragebogens gekommen ist. Also entweder weil er alles ausgefüllt hat, oder weil er in eine Quote gelaufen ist. Wenn eine Umfrage zwar mit dem Code gestartet wurde, aber mittendrin einfach kurz oder auch länger aufgehört wurde, dann gilt dieser Zugangscode bei Limesurvey noch nicht als "genutzt", jedenfalls nicht vollständig.

Du könntest dann natürlich regelmäßig in die Antwort Tabelle schauen und für jeden Fall entscheiden ob das ein Abbruch ist oder nicht. Das ist natürlich gefährlich, weil der Teilnehmer gerade mitten drin sein kann.

Du könntest eine maximale Dauer definieren und wenn diese Dauer vom Start der Umfrage bis zum aktuellen Zeitpunkt überschritten ist, dann setzt du "uses left" von 1 auf 0. Da müsste man dann aber auch mal ausprobieren, was passiert wenn die Umfrage noch in einem Fenster offen war und die Session noch aktiv ist. Ich vermute ja mal, dass dann "uses left" von Limesurvey gar nicht konsultiert wird und der Teilnehmer trotzdem noch bis zum Ende durchkommt. Das müsste man halt mal testen.

Ich persönlich sehe da irgendwie keine saubere Lösung. Das fängt schon mit der Definition was ein Abbruch ist an.

Sorry, ich habe da keine Lösung für dich. Vielleicht hat ja ein anderer eine gute Idee.

Eine Idee hätte ich vielleicht doch, keine Ahnung ob das so umsetzbar ist, ich spinn jetzt einfach mal ein bisschen rum:

Wenn die Umfrage gestartet wird, speicherst du die Zeit in eine versteckte Frage. So machst du das dann für jede "Seite" (Fragengruppen), des Fragebogens. Dann definierst du einen Zeitraum den der Teilnehmer maximal für diese "Seite" brauchen darf. Dann checkst du bei jedem Seitenwechsel ob diese Zeit überschritten wurde und falls ja triggerst du irgendie einen Screenout (über eine Zero Quota). Dürfte aber ziemlich aufwendig sein, weil du ja einmal für jede Seite:
1. Die Zeit erfassen musst
2. Checken musst ob die erlaubte Zeit überschritten wurde
3. Eine Quote für jede Seite erstellen musst, die dann getriggert wird.

Hallo holch,

erstmal herzlichen Dank für die ausführliche Antwort! Durch diese kann ich mich der "besten" Lösung immer mehr annähern, wissend, dass es die "perfekte" Lösung nicht geben wird, da ich nun durch dich weiß, dass es die Funktion, die ich mir gewünscht hätte, bei Lime so nicht gibt ("Für Limesurvey gilt ein Zugangscode erst benutzt, wenn der Teilnehmer irgendwo ans Ende des Fragebogens gekommen ist.") . Genau das habe ich auch durch meine Testdurchläufe festgestellt. Am Anfang meiner Umfrage mache ich quasi "Techniktests" und lasse den Teilnehmer durch ein Testvideo die Lautstärke an seinem device richtig einstellen, weil er es nicht in den Videos machen kann (@joffm falls du das lesen solltest, kann dir nicht genug danken, ohne deine Tutorials würde einfach gar nichts funktionieren ), d.h. wenn jemand dann angibt, dass es nicht klappt mit der Technik, dann wird er ausquotiert (a=kann nicht nochmal teilnehmen, Zugangscode ist erloschen, coole Sache, denn das wird mir angezeigt, d.h. ich kann der Person per Mail und wenn das Technikproblem gelöst ist einfach eine Mail mit einem neuen Code schicken) oder aber er macht die Umfrage zu Ende, also beantwortet die letzte Frage (b=Zugangscode erloschen) A und B sehe ich dann wie gesagt in der "anonymen" Variante bei dem entsprechenden Teilnehmer "Berta B hat die Umfrage abgeschlossen"

Ich habe gedacht, dass es vllt. einfach iwo einzustellen wäre, dass der Code auch erlischt, sobald jemand die Umfrage abbricht (Definition von Abbruch = er schließt das Browserfenster ohne die Umfrage bis zum Schluss durchlaufen zu haben, Zeitpunkt: am besten nach den Techniktest, da ja da das Experiment noch nicht begonnen hat). Das scheint, wenn ich alles richtig verstanden habe, so einfach nicht möglich zu sein. (Wahrsch. ja auch, weil dann bei dem Teilnehmer angezeigt werden würde "hat abgebrochen", wodurch die "Anonymität" vllt. gefährdet wäre, weil ich dann den abgebrochenen Datensatz dem Teilnehmer, der abgebrochen hat zuordnen könnte, (bitte an der Stelle kein Hinweis mehr, dass die "anonyme" Variante vllt. nicht so anonym ist, wie sie sein sollte.))

Meiner Meinung nach macht es keinen Sinn, darüber nachzudenken, ob es als ein Abbruch gilt, ob jemand einen Kaffee trinken geht, das sind Faktoren, die ich niemals kontrollieren kann. In meiner Verantwortung liegt es nur die saubersten und bestmöglichsten Voraussetzungen für die Studie zu schaffen, ob dann ein Teilnehmer Kaffee trinkt oder lange über ne Aufgabe nachdenkt oder irgendeinen Quatsch ankreuzt liegt nicht in meiner Hand...also was kann ich beeinflussen? -->

1)Ein realistisches Zeitfenster festlegen, in der der Teilnehmer die Umfrage durchläuft, falls er die Grenze überschreitet, wird er nicht in die Datenanalyse HINTERHER miteinbezogen. (Das sehe ich ja leicht in den Timing-Statistiken, die ja auch in der anonymen Variante laufen (hier wird, so wie ich es bisher verstehe die Zeit im gesamten sowie für jede Frage automatisch erfasst, wenn man "Timings erfassen" vorher einstellt).

2) Dafür sorgen, dass der Teilnehmer die Umfrage (unabhängig der Beendigung derer) nur einmal durchläuft (scheint grundlegend also nicht möglich zu sein, d.h. es bleibt nur die Teilnehmer zu bitten, es nur einmal zu beginnen. Wenn dann jemand mehrmals anfängt und mehrere Datensätze erzeugt ist das doof, zumal ich nicht weiß, wer von den fertigen die Umfrage mehrmals gemacht hat, aber ist halt so. Wenn sich alle daran halten es nur einmal zu machen, sodass nicht mehrere Datensätze erzeugt werden, dann wär sowieso alles gut. Ok, damit ist meine Forumsfrage beantwortet.


-Eine Einschlusskriterium (= Teilnehmer wird hinterher mit in die Analyse einbezogen) hätte ich aber noch und da steh ich noch auf dem Schlauch, vllt. hat noch jemand dazu einen Tipp: Es ist wichtig, dass ein Teilnehmer zwischen bestimmten Fragen (die in unterschiedlichen Gruppen sind) nicht unterbricht (auch hier wieder, das einzige was ich kontrollieren kann ist dabei ein Zeitfenster festzulegen). Soll heißen, wenn ich später sehe Person X hat z.B. zwischen Frage A und B länger als 1 Minute (=mein definierter Zeitraum) gebraucht um auf weiter zu klicken, dann will ich ihn nicht mit in die Analyse einbeziehen. Kann ich das denn irgendwo sehen???
Die Timing Statistiken erfassen ja nur die Zeit für jede Frage, d.h. die Zeit zwischen den Fragen weiß ich nicht, oder kann ich das irgendwie nachvollziehen? (Hab ich hier grade einen mega Denkfehler? )