Hallo,

ich habe, wie schon so viele vor mir, eine Frage zur Randomisierung von Gruppen.
Ich möchte eine offene Umfrage durchführen, in der die Teilnehmenden auf 7 Treatmentgruppen möglichst gleichmäßig verteilt werden sollen. Ich rechne mit einer relativ kleinen Stichprobengröße (ca. 200), weshalb ich die Zuteilung nicht über eine einfache Zufallszahl durchführen möchte. Die Lösung einer manuellen Anpassung ziehe ich in Betracht, aber vielleicht findet sich auch noch eine andere Lösung . Eine zyklische Zuordnung würde ich auch tendenziell eher ablehnen, da die Umfragedauer in einem Pre Test bei 15 min lag.
Daher meine Frage: Gibt es weitere Lösungsansätze für die Randomisierung? Und/oder könnt ihr mir auf Basis eurer Erfahrungen eine Methode empfehlen?

Meine LimeSurvey Version ist eine LimeSurvey Community Edition Version 5.3.23+220705 und läuft über die Uni.

Viele Grüße
Max

Hallo, Max,

Eine zyklische Zuordnung würde ich auch tendenziell eher ablehnen, da die Umfragedauer in einem Pre Test bei 15 min lag.

Was hat das mit der Länge zu tun? Jeder neue Starter erhält doch sofort eine neue "SAVEDID".
Allerdings ist klar, dass dies nicht besser und nicht schlechter sein wird als eine Zufallszahl, da ja einige Leute auch abbrechen.
Habe ich vor längerer Zeit schon einmal lang und breit beschrieben.

StatCount (falls die Uni dies aktiviert hat) als "least filled"-Funktion einzusetzen, kann bei der Länge schwierig werden, wobei ja nicht klar ist, mit welcher Frequenz Deine Leute antworten.
Machen die das alles innerhalb von 3 Stunden?
Oder erwartest Du, dass es so über 2 Wochen verteilt reinschlabbert. Dann würde es ja gut gehen.

Also bleibt nur der Zufall.
Aber bei Deiner Stichprobengröße und einem Erwartungswert von 28 ist nun einmal das 95%-Vertrauensintervall 19 - 39.

Dann musst Du halt beobachten und händisch anpassen.
Entweder, indem Du eine Zahl von 1-7 generierst und die Relevanzgleichungen anpasst, z.B.
Wenn Gruppe 1 voll ist, Gtruppe 4 aber noch schwach, dann für Gruppe 1: zufall==0 und für Gruppe 4: zufall==1 OR zufall==4
Nachteil: Du musst Dir später erneut eine Trennvariable schaffen für die Auswertung.

Oder Du generierst zweistufig. In etwa so
Zunächst eine Zufallszahl (z1) von 1-70 (irgendetwas, das durch 7 teilbar ist)
Dann als Startverteilung
{if(z1<11,1,if(z1<21,2,if(z1<31,3,if(z1<41,4,if(z1<51,5,if(z1<61,6,7))))))}
Wenn jetzt die Gruppe 1 voll ist, Gruppe 4 aber schwach besetzt, kannst Du einfach die Ranges ändern
{if(z1<0,1,if(z1<11,2,if(z1<21,3,if(z1<41,4,if(z1<51,5,if(z1<61,6,7))))))}
Jetzt hast Du eine konstante Trennvariable. Und durch einfaches Anpassen der Größen der Ranges kannst Du sehr gut feintunen.

Joffm



​​​​​​

Hi Joffm,

vielen Dank für deine Rückmeldung.

Was hat das mit der Länge zu tun? Jeder neue Starter erhält doch sofort eine neue "SAVEDID".

Okay, dann hatte ich das Falsch verstanden. Ich bin davon ausgegangen, dass die "SAVEDID" erst nach Absenden des Fragebogens generiert wird.

StatFunctions hat meine Uni aktiviert. Und ich konnte auch Dank deines Tutorials die "least filled"-Funktion nachstellen.

wobei ja nicht klar ist, mit welcher Frequenz Deine Leute antworten.

Das stimmt und ich kann das auch noch nicht wirklich einschätzen. Grundsätzlich wird die Umfrage für 10 Werktage offen sein, sprich ein reinschlabbern wird möglich sein und das würde ich bei der Zielgruppe auch nicht ausschließen. Wissen tue ich es jedoch nicht.

Verstehe ich es also richtig, dass die manuelle Anpassung zwar aufwendiger ist, ich in meinem Fall damit aber quasi auf der sicheren Seite bin? Sofern ich die Anpassung natürlich richtig anstelle und am Ende die Trennvariablen noch richtig definiere.

Ich habe bislang leider noch keine Erfahrung mit Umfragen sammeln können, weshalb ich mich über das Teilen von Erfahrungswerten bzw. über Tipps freue.

Viele Grüße
Max

Okay, dann hatte ich das Falsch verstanden. Ich bin davon ausgegangen, dass die "SAVEDID" erst nach Absenden des Fragebogens generiert wird.

Wenn dem so wäre, wie sollte man dann auf Basis der SAVEDID irgendwas im Fragebogen randomisieren?

Wäre irgendwie ein Ding der Unmöglichkeit.

Und genau weil eine SAVEDID immer dann angelegt wird, wenn jemand den Fragebogen startet kann man auch nicht damit rechnen, dass die Verteilung wesentlich besser ist.

Klar, theoretisch wird ja immer nur hochgezählt und jede Zahl sollte eigentlich immer gleichmässig dran kommen. Aber je nach Zielgruppe klicken zwar viele Leute auf den Link, weil sie neugierig sind, brechen dann aber entweder sofort oder nach ein paar Fragen ab. Der nächste der in den Fragebogen einsteigt bekommt aber schon wieder die nächste Nummer.

Also kann es da genauso sein, dass die Gruppen am Ende relativ ungleich verteilt sind.

Und wenn z.B. die Umfrage für eine Gruppe länger ist (z.b. weil mehr Fragen da sind) oder wenn irgendwas "bescheuerter" ist (z.B. es ist ein blödes Konzept dabei, das manche Leute nervt), kann es auch passieren, dass du in einer Gruppe mehr abbrecher hast. Alles nicht so einfach.

Am besten hin und wieder nach der Verteilung schauen und dem Zufall unter die Arme greifen oder halt wesentlich mehr Leute rekrutieren, bis halt alle Gruppen so voll sind, wie man es will.

@holch, Du hast es - wie meistens - noch einmal auf den Punkt gebracht.

Ich hatte ja nur so lapidar geschrieben

Allerdings ist klar, dass dies nicht besser und nicht schlechter sein wird als eine Zufallszahl, da ja einige Leute auch abbrechen.
Habe ich vor längerer Zeit schon einmal lang und breit beschrieben.

hatte aber diesen Thread nicht verlinkt.

Joffm

Das Thema werden wir nicht mehr los
Ist gefühlt das Topthema hier im Forum, welches keinen Featurerquest hat, oder?

In anderen Tools gibt ja oftmals eine Funktion, um Fragen und Antworten gleichmäßig zufällig anzuzeigen. Z.B. Qualtrics www.qualtrics.com/support/de/survey-plat...venlyPresentElements

Bei LimeSurvey fehlt es an der Antwortrelevanz, um das erst manuell und dann über eine neue Funktion automatisch umzusetzen.

Sofern Überrekrutierung möglich, würde man eher diesen Weg gehen.

Das Thema werden wir nicht mehr los

Ist ja auch ein spannendes Thema. Und auch mit viel Fehlinformationen und Missverständnissen belegt.

Wäre natürlich schön so ein Feature zu haben wie bei Qualtrics, aber ich glaube, dass das nicht so schnell in Limesurvey implementiert wird.

Aber die Nachfrage ist dem Gefühl nach schon gestiegen in letzter Zeit, hier im Forum.