Hallo,
ich habe vor ein paar Monaten eine Umfrage durchgeführt mit einer randomisierten Gruppenzuteilung. Nun stellt sich heraus, dass die Gruppen falsch vom System kodiert wurden und die Zahlen, die die Gruppen zugeordnet wurden nicht mit der Bedingung übereinstimmen. Gibt es eine Möglichkeit auch jetzt noch herauszufinden, welche Bedingung zu welcher Antwort gehört?

Ich würde mich wirklich sehr über Hilfe freuen!

Tja, Anica,
was soll man dazu sagen?
"Vom System falsch kodiert" würde ich einmal ausschließen; da ist sicher irgendwo ein kleiner Fehler eingebaut worden.
Evtl. wurde die Zufallsvariable nur mit "rand(x,y)" erzeugt, und diese steckte mit anderen Fragen in einer Gruppe?
Da arbeitet das System so, wie es - dummerweise - vorgesehen ist (die Zufallszahl wird laufend geändert und der letztendlich ausgegebene Wert stimmt nicht mit dem Wert, der für die Aufteilung benutzt wurde, überein). Dies macht EXCEL übrigens genau so.
Es nützt Dir in diesen Zusammenhang wenig, wenn wir ja immer predigen, eine Zufallszahl mit {if(is_empty(zufall),rand(x,y),zufall)} zu erzeugen, um dieses Verhalten zu unterbinden.

Falls dies nicht der Fall ist, könntest Du einmal probieren, ob eine systematische Änderung stattgefunden hat.
Also: Die Frage, in der die Zufallszahl erzeugt wird, nicht verstecken, auch in einer der zufälligen Fragen anzeigen lassen, Studie aktivieren und definierte Daten eingeben.
Dann siehst Du, welche Zufallszahl anfänglich erzeugt, welche für die Gruppenverteilung genutzt wurde, und in der Antworttabelle siehst Du, welche gespeichert wurde.
Vielleicht fällt Dir etwas auf, wie 'Die "1" wird immer zur "4", die "2" zur "3"', oder irgendsoetwas.

Mehr kann man blind nicht sagen, es sei, Du würdest den lss Export der Studie schicken.

Joffm

Leider habe ich die Gruppen tatsächlich mit "rand(x,y)" erzeugt, da ich mich auf die Hilfestellung der Uni Göttingen verlassen habe.
Gibt es in diesem Fall noch eine Möglichkeit meine Daten zu retten?

Ich habe die lss Datei mal mit angehängt.

Hallo, Anica,
Du hast es ja selbst gesehen.
Was ich vermutete, "rand(x,y)" zusammen mit anderen Fragen.
Ich habe mir nur einmal in der Frage "Kontrolle" die Zufallszahl mit {randomgv} anziegen lassen.
Und?
Nach einer 3 wurde "randomff" gezeigt, und dann wurde die Zufallszahl zu 1.
Nach einer 1 wurde "randommm" gezeigt, und dann wurde die Zufallszahl zu 2.
Nach einer 1 wurde "randomfm" gezeigt, und dann wurde die Zufallszahl zu 4.
Nach einer 5 wurde "randommm" gezeigt, und dann wurde die Zufallszahl zu 1.

Es geht also völlig zufällig durch die Gegend.

Du hast den Fragebogen also nicht vollständig getestet.
Denn dazu gehört auch eine Dateneingabe mit wohldefinierten Werten (damit ich es nachverfolgen kann), der Export, und dann das Anschauen in Deinem Auswertetool.

Jetzt kannst Du höchstens noch versuchen, aus den Nennungen zu erschließen, welchen Text/Bild die Teilnehmer gesehen haben, und vielleicht über "James", "Julia", "Gründerteam"; bei Kontrolle_SQ002 wäre es verwunderlich, wenn jemand "James" eintragen würde, der dies gar nicht gelesen hat.
Da ich die Bilder nicht kenne, wird es bei diesen evtl. noch spezifisches geben.

Und Datensätze, die Du gar nicht zuordnen kannst fliegen dann raus, und diese holst Du noch nach.


Und jetzt kommt noch etwas Anderes zum Schluss.
Hat auch mit dem fehlenden Test zu tun.
Du hast alle Skalen mit den default "A1", "A2", ... kodiert.
Dann viel Spaß beim Berechnen von statistischen Werten. Der Mittelwert von "A1" und "A4" ist wirklich nicht "A2,5".
Da sollte man besser numerische Werte nehmen.
Also entweder im Statistik-Tool umkodieren (schnell in EXCEL mit "Suchen & Ersetzen" das "A" entfernen; in SPSS könnte es umständlicher sein, da auch das Format geändert werden muss), oder - da die Antwortoptionstexte ja wohl numerisch sind -, die Texte exportieren. Das macht dann aber den Export der Einfachnennungen wie "Geschlecht" und "Tätigkeit" ungünstig.
Und ganz nebenbei:
Warum wird die Skala nicht direkt benannt, sondern im Fragetext?




Joffm

Ok, vielen Dank für die Hinweise.

Die Skalen und Werte hatte es in der Excel-Datei ohne "A" übernommen.

Die Skalen hatte ich nicht direkt benannt, da sie in der mobilen Version leider, sonst nicht ordentlich angezeigt wurden. Und da ich stark davon ausgegangen bin, dass auch viele Personen die Umfrage mit dem Handy etc. ausfüllen, habe ich das als die bessere Lösung angesehen.

Die Skalen und Werte hatte es in der Excel-Datei ohne "A" übernommen.

Dann hast Du wohl die default-Einstellung belassen und die Texte exportiert.

Jetzt noch etwas zwar für Dich völlig Belangloses, aber trotzdem:

Okay, die Studie ist gelaufen. Du wirst vielleicht nie wieder eine anlegen.
Zum Glück sind die gesamten Itembatterien nicht randomisiert.
D.h. Du kannst gut auf "Speeder", "Justifier", und auch "Happy Clicker" testen.
Denn spätestens nach der dritten Batterie fängt man damit an.
Wenn Du die Zeiten gespeichert hast, kannst Du ja auch die herausfiltern, die durchgeklickt haben und dann bei der Demographie-Gruppe eine halbe Stunde einen Kaffee getrunken haben, um dann zu beenden - also nicht als Speeder aufzufallen.
Es ist wirklich nicht gut, eine Batterie nach der anderen auf die Teilnehmer abzuschießen, ohne Punkt und Komma. Besonders nicht ohne zwischenzeitliches Feedback, ohne kleine Verschnaufpausen und ein bisschen "Gamification".
Und stelle Dir diese 135 Items einmal auf dem smartphone vor. Wischen, wischen, wischen.
Nee, da könnten mich weder 50 cent noch eine Versuchspersonenstunde zu einer ernsthaften Beantwortung bringen.
Lies einmal dieses (wenigstens die ersten 20+ Seiten und die letzten 10)


Da ich dies gerade auch las; hat es eigentlich im Vorfeld einen Pretest und eine Itemanalyse gegeben?
Da die Items nicht näher erklärt werden, erscheinen mir - als deutschem Durchschnittsbürger - die Items in diesen Gruppen schwer unterscheidbar (kleiner Auszug)
a.
Beziehungen zu Arbeitskolleginnen und Arbeitskollegen aufzubauen
Arbeitskolleginnen und Arbeitskollegen ziemlich gut kennenzulernen
Enge Beziehungen zu Arbeitskolleginnen und Arbeitskollegen zu entwickeln

Beziehungen aufbauen vs. Enge Beziehungen entwickeln. Unterschied? Das "enge"?
Oder ist es die "Lügenskala". Wer dreimal total verschiedenes anklickt, fliegt raus.

b.
Das Gehaltsniveau
Die gesamte Vergütung
Die Höhe der Bezahlung
Hier ist mir auch nicht so klar, wie diese Begriffe definiert sind.
Wenn die Leute sie nicht unterscheiden können, kann ich auch jeweils zwei davon weglassen.

Ist alles nicht so wichtig. Die Studie ist durch.
Als lang-, langjährigem Inhaber eines Marktforschungsinstitutes fällt es mir halt immer auf.
Meine Philosophie ist "Wenn ich den Teilnehmern (auch den Interviewern bei Telefon-Interviews) nicht zeige, dass ich mir Mühe bei der Entwicklung des Fragebogens und beim Layout gemacht habe, werden sie sich auch keine Mühe bei der Durchführung geben."

Aber Du hast ja das viel größere Problem, Deine Leute richtig zuzuordnen,

Joffm

Meine Philosophie ist "Wenn ich den Teilnehmern (auch den Interviewern bei Telefon-Interviews) nicht zeige, dass ich mir Mühe bei der Entwicklung des Fragebogens und beim Layout gemacht habe, werden sie sich auch keine Mühe bei der Durchführung geben."

So sieht es aus Joffm! Leider kriege ich hier immer wieder Studien auf den Tisch, wo ich mir denke: In welcher Welt leben die? Nicht auf dem Planeten Erde jedenfalls. Und ich würde ja jedem empfehlen der mit sowas arbeitet, mal selbst Interviews im Feld zu machen. Oder selbst mal eine Umfrage ausfüllen. Dann wären viele Studien vermutlich wesentlich besser.