Hallo Zusammen,


ich bin als studentische Hilfskraft tätig und helfe bei der Konstruktion eines Fragebogens mit. Da ich auch in diesem Zusammenhang erst den Zugang zu LimeSurvey bekam, bin ich noch nicht allzu vertraut mit dieser Plattform und kann Eure Hilfe gut gebrauchen.

Ich versuche, Euch das Problem so gut wie möglich zu schildern:
Da der Einfluss eines manipulierten Feedbacks auf die Selbsteinschätzung in einer zweiten Testhälfte gemessen werden soll, werden Teilnehmende zunächst randomisiert. Die erste Gruppe soll ein positives Feedback bekommen, die zweite ein negatives und die dritte Gruppe bekommt ein reelles Feedback. Das Feedback der manipulierten Gruppen soll adaptiv sein (positiv: richtige Antworten + 2; negativ: richtige Antworten - 2). Nun zu meiner ersten Frage: Welcher Feedback-Code wird dafür verwendet bzw. ist diese Manipulation überhaupt möglich? Und kann hierfür die Auswahl des Frageformates behilflich sein (Matrixfragen oder Mehrfachauswahl)? Die Fragen sollen schließlich mit Punkten bewertet werden können, sodass die Adaption auf die korrekt gelösten Aufgaben möglich ist (bei 3 korrekt gelösten Aufgaben werden Proband*innen 5 korrekte Antworten angezeigt, wenn sie bereits 5 von 6 Fragen richtig beantwortet haben, wird nur bis zur maximalen Grenze (hier also +1) hochskaliert).

Um den Einfluss eines manipulierten Feedbacks zu messen, soll nach der ersten Testhälfte (bestehend aus 6 Fragegruppen) das adaptierte oder korrekte Feedback (wenn der/ die Proband*in sich in der randomisierten Gruppe des reellen Feedbacks befindet) angezeigt werden, um die Leistung der Proband*innen in der zweiten Testhälfte (auch aus 6 Fragegruppen bestehend) zu erfassen. Momentan funktioniert es jedoch noch nicht, dass das Feedback nach der ersten Gruppe von Fragegruppen angezeigt werden kann. Gibt es Tricks, um das zu ermöglichen?

Und nun zu meiner letzten Frage: Im Anschluss an die bearbeiteten Fragen werden Proband*innen aufgrund der Manipulation angezeigt, in welcher Randomisierungsgruppe sie sich befanden und ihnen wird ihre Testbedingung offengelegt. Wie genau kann dies kodiert bzw. auf der Plattform eingestellt werden? Wir möchten den Testpersonen außerdem die Option geben, die richtigen Ergebnisse einzusehen, wenn sie dies wünschen. Wenn sie die Ergebnisse einsehen wollen, sollen sie zu einer neuen Fragegruppe weitergeleitet werden, wenn nicht, dann sollen sie direkt zum Teilnehmendenfeedback weitergeleitet werden. Wie kann ich das einstellen?


Ich nutze Windows 10 und habe von LimeSurvey folgende Version: Version 3.23.0+200813.


Vielen lieben Dank bereits im Voraus für die Hilfe!

Hallo,
prinzipiell wirst Du wohl mithilfe einer Zufallszahl Deine drei Gruppen festlegen.
Dann werden jeweils die Feedback-Werte berechnet mit Expression Manager.
Angezeigt wird es einfach in einer Textdisplay-Frage.
Und zum Schluss machst Du genau dasselbe.
Wenn die Teilnehmer die Ergebnisse wissen wollen, zeigst Du sie eben wieder in einer Textanzeige.

Was soll genau in der ersten, zweiten, dritten Gruppe der Proband*außen passieren?

(bei 3 korrekt gelösten Aufgaben werden 5 korrekte Antworten angezeigt, wenn sie bereits 5 von 6 Fragen richtig beantwortet haben, wird nur bis zur maximalen Grenze (hier also +1) hochskaliert).

Ich denke zwar, dass das "+1" hier 6 heißen soll, aber wie willst Du dies denn überhaupt zeigen?
Soll bei jeder Frage derf bisherige Score angezeigt werden, soll nach 5 richtigen Antworten der Score auf 6 gesetzt werden und die 6. Frage nicht mehr gestellt werden?
Das ist erklärungsbedürftig.

Für Genaueres jetzt machst Du das Ganze einmal in Kurzform mit einem lss Exports eines Prototypen der Studie!
Dann hat man die Fragetypen und kann Dir zeigen, wie Du den / die Scor/e:*innen am besten berechnest.

Joffm

P.S. Sorry, manchmal kann ich es mir einfach nicht verkneifen.

Vielen Dank für die schnelle Rückmeldung!

Ich werde hier noch veranschaulichendes Material einfügen, weiß aber aktuell noch nicht wie man diesen Prototypen als lss Export erstellt.

Vorab jedoch: den Proband*innen werden alle Fragen jeder Testhälfte gestellt, d.h. jede Frage muss beantwortet werden. Je nachdem, in welcher Testbedingung sich der/ die Proband*in befindet, wird das Testergebnis jedoch manipuliert. Eine Fragegruppe enthält vier Antwortmöglichkeiten im Multiple-Choice-Format, von denen entweder zwei oder nur eine Antwortmöglichkeit zutreffen. Die erste Testhälfte enthält 6 Fragegruppen. Pro Fragegruppe soll dann nach der ersten Testhälfte Feedback darüber gegeben werden, wie viele Antworten korrekt gelöst wurden. Das Feedback soll Rückmeldung geben, ob eine Fragegruppe richtig beantwortet wurde, d.h. wie viele von den 6 Fragegruppe +/- 2 richtig gelöst wurden. Eine Probandin konnte bspw. 5 Antworten richtig lösen. Durch die Randomisierung wird jedoch noch eine Manipulation an ihrem Testergebnis vorgenommen (+2 wären dann 7, was bei 6 Fragegruppen nicht realistisch ist). Ich würde daher auch gerne noch ein Minimum und Maximum festlegen innerhalb der adaptiven Gestaltung der tatsächlich erlangten Testergebnisse.

Ich hoffe, das war besser beschrieben und freue mich über jede Hilfe!

Hallo,
soweit ist es ja klar.
Aber:

Die erste Testhälfte enthält 6 Fragegruppen

und

d.h. wie viele von den 6 Fragegruppe +/- 2 richtig gelöst wurden

Wie wird berechnet, ob eine Fragegruppe richtig gelöst wurde?
In der Gruppe gibt es sicherlich Fragen, die richtig und Fragen, die falsch beantwortet wurden.
Oder sprichst Du hier von Fragen?

(positiv: richtige Antworten + 2; negativ: richtige Antworten - 2)

Das würde bedeuten, die eine Gruppe bekommt immer einen negativen Score? Oder willst Du richtige Antworten mit falschen aufrechnen?
Bei mehreren möglichen richtigen Antworten könnten ja auch eine richtige und zwei falsche angeklickt werden.
Oder ist es doch eine Einfachnennungsfrage? D.h. es kann nur eine Antwort gewählt werden, aber es gibt zwei mögliche richtige Antworten.
Wie hier: Wieviel ist 3 + 4?
Antwortauswahl:
5
<6
9
>6
7
Hier ist also 7 und auch >6 richtig.

Das liegt auch immer an der missverständlichen Bezeichnung "multiple choice". Das sagt nichts aus über die mögliche Zahl der Antworten.

Die Struktur sieht ja so aus; ich nehme an, dass die Fragen selbst für die drei Gruppen identisch sind:
G1 1. Runde Fragen
G2 : Zufälligen Zuweisung der Teilnehmer zu den Gruppen, Berechnung des Scores (mit Expression Manager); Anzeige des Scores
G3: 2. Runde Fragen
G4: Frage, ob Ergebniss gezeigt werden sollen; wenn ja: Display einer schön gestalteten Seite mit den richtigen Ergebnissen, oder auch mit beidem (Lösungen des Teilnehmers und richtige Lösungen)

Mehr ist es ja nicht.
Jetzt liegt es an Dir, den Algorhythmus zu definieren für die Scores. Das ist das einzig Interessante.
Im Grunde ist es ja nur eine Aufsummierung, wie z.B.
(die Antworten 2 und 5 der Frage Q1 (Mehrfachnennung) seien richtig.)
{sum(if(Q1_1=="Y",-2,0),if(Q1_2=="Y",2,0),if(Q1_3=="Y",-2,0),if(Q1_4=="Y",-2,0),if(Q1_5=="Y",2,0))}
Wäre Q1 eine Einfachnennung wäre es kürzer:
{if(Q1==2 or Q1==5,2,0)}
Dann kommen später die Randbedingungen hinzu: Wenn 3 dann 5, wenn 5 dann 6, oder so.

Daher noch einmal: Schicke uns einen lss Export.
Den macht man, indem man hier klickt.





Joffm

Hallo,
ich glaube, jetzt endlich habe ich den Algorithmus (jetzt richtig geschrieben) verstanden.

Du zählst einfach die richtigen Antworten, dann werden bei der einen Gruppe 2 Punkte addiert, bei der anderen 2 Punkte subtrahiert, und bei der dritten bleibt es gleich.

Das ist ja echt simpel.
Nehmen wir wieder dieses Beispiel:
(die Antworten 2 und 5 der Frage Q1 (Mehrfachnennung) seien richtig, und bei Q2 seien 1 und 2 richtig)
{sum(if(Q1_2=="Y",1,0),if(Q1_5=="Y",1,0),if(Q2_1=="Y",1,0),if(Q2_2=="Y",1,0))}
Es werden also die richtigen Nennungen über alle Fragen aussummiert. Nennen wir diese Gleichung "rScore" für "r=roh"

Nun die 3 Gruppen, die mit der Zufallszahl "randnum" bestimmt sind.
1. negativ :Wir berechnen: max(rScore-2,0) Die Funktion "max" lässt den Wert nicht kleiner als 0 werden
2. positKeine Änderung

Die Gleichung "finScore" sähe dann so aus:
{if(randnum==1,max(rScore-2,0),if(randnum==2,min(rScore+2,6),rScore))}

Hier ein kleines Beispiel.
Die Gleichungsfragen werden natürlich nach dem Testen versteckt.


Joffm

Ich habe noch ein bisschen weiter gespielt.

Hier ein vollständiges Beispiel.


Joffm

Lieber Joffm,

vielen herzlichen Dank für deine Hilfe! Das hat mich ein ganzes Stück weitergebracht. Im Anhang ist die lss-Datei, wenn du hier noch einen Blick drauf werfen könntest, wäre ich sehr dankbar!

Liebe Grüße
cvolck

Was soll ich sagen?
Es enthält ja noch nicht diese Berechnung.

Aber ein paar Sachen.
smartphone.
Du sagst: Bitte nicht auf smartphones.
Schön und gut, sie machen es trotzdem.
Daher, teste es.
Allerdings ist mir nicht klar, warum es auf einem smartphone nicht gehen soll. Ich habe es gerade getestet. Klar, die Itembatterien sind noch ekliger als im Normalfall, aber es geht.
Und die enthaltenen Bilder werden wohl auch nichts kaputt machen; ich kann sie ja nicht sehen.
Wie gesagt, gehe nicht davon aus, dass die Teilnehmer sich an Anweisungen halten.
Im allerschlimmsten Fall (falss eine Frage wirklich nicht smartphone-geeignet ist), mache eine Weiche; eine Darstellung für Desktop, eine andere für smartphones.


{rand(1,3)} ist nicht ganz sicher. Wie z.B. auch in EXCEL ändert sich diese Zufallszahl bei jedem Aufruf der Seite.
Ist bei Dir wohl nicht zu befürchten, aber zur Sicherheit.
Daher benutzen wir das Konstrukt {if(is_empty(Randomisierung,rand(1,3),Randomisierung)}
D.h. Nur wenn der Wert von "Randomisierung" noch leer ist, wird eine Zufallszahl erzeugt, sonst bleibt der Wert wie er ist.

Sonst gibt es natürlich noch viel Arbeit am Layout.

Etwas herausgegriffen:
Zahleingabe des Alters, warum als "kurzer Text" implementiert, und besser so


5-Punkte-Skala.
Eigentlich dient dieser Fragetyp dazu Star-Ratings, Emojis, Smileys darzubieten, damit die Skala nicht extra erklärt werden muss wie bei Dir.

Und da Du ja die Teilnehmer mit Itembatterien quälst, kann auch noch eine hinzu


Noch eine Idee zu Einfachnennungsfragen (bootstrap buttons)


Drop-down der Bundesländer
Zu umständlich. Man muss zweimal klicken und scrollen, wegen fitzeliger 16 Items.
Das geht auch so


Und da sind wir schon bei "Keine Angabe"
Meiner Meinung nach besser: Pflichtfrage mit eigener Antwortmöglichkeit "keine Angabe".

Kennen eines Wortes
Zunächst ist klar: Entweder kenne ich ein Wort oder ich kenne es nicht. Bei dieser siebenstufigen Skala ist mir ziemlich unklar, was die Zwischenstufen bedeuten sollen. Du solltest hier vielleicht auf 4 Stufen heruntergehen mit verbalen Antwortoptionen


Und jetzt kommt es:
Die letzte Frage lautet "Bevor es weitergeht,..."

Ist es denn immer noch nicht zu Ende?
Ehrlich gesagt, auch wenn ich die ersten drei Itembatterien noch einigermaßen ernsthaft ausgefüllt habe, nachdem dann nach den beiden Pythagoras-Wissen-Fragen wieder eine Itembatterie kam, und dann noch eine, ging ich zum "Happy Clicking" über.
Happy Clicking: "Tralali und Tralala, mal klick ich hier, mal klick ich da."

Nee, nee, auch für 8 Euro nicht.

Lies Dir dies einmal durch. Stammt von Dennis, der auch hier im Forum ziemlich aktiv war.

Vielen lieben Dank für dein ausführliches und ehrliches Feedback!
Die PDF Datei von Dennis ist sehr hilfreich.

Die Formatierung ist tatsächlich noch nicht vollständig fertig, daher sind deine Tipps super einzubinden.

Liebe Grüße
cvolck