Hallo,
mir sind so einige Sachen nicht ganz klar.
Wozu dienen die ersten Gleichungen?
Soll hier die Website at random bestimmt werden?
Aber wie ist es mit dem Panel? 
Wie wäre denn der Aufruf dieser Umfrage?

Wieso benutzt Du dazu eine Frage vom Typ Gleichung für den Panel-Anbieter, in welcher auch noch Text steht? Ist das nur beispielhaft? 

Ich habe einmal beispielhaft eine Frage vom Typ "Mehrfache kurze Texte" genommen, und den WebsiteNamen aus der URL Die anderen Werte einfach als Vorgabeantworten eingesetzt.
 

Dann ergibt sich dies
 

Joffm

P.S.
Wieso ist es eine geschlossene Umfrage, wenn Du ein Panel benutzen willst?
 

Noch etwas zu den Gleichungs-Fragen:
Wenn Du diese benutzt, muss auch eine Gleichung darin stehen, damit etwas gespeichert wird; also geschweifte Klammern benutzen.
Und da Texte in Textanzeige-Fragen gar nicht gespeichert werden, klappt dies auch nicht.

Das bedeutet, dass Du Dich selbst hereingelegt hast, indem Du keinen keinen echten arbeitenden Prototypen entwickelt hast.
Also zum Testen: Z.B. alle Fragen als Gleichungen (mit geschweiften Klammern), oder als mehrfache kurze Texte (mit Texten als Vorgabeantworten)

Joffm

Hmm, ich glaube, wir reden an einigen Punkten aneinander vorbei, was vor allem meinem Unwissen geschuldet sein dürfte.
vorweg: Die Antwort von @jelo klingt so einfach, dass ich sie vielleicht sogar alleine umsetzen kann. Probier ich wie gesagt Mittwoch.

Ich hole trotzdem mal aus:
Als Umfragebasis dient ein standardisierter Fragebogen, der seit Jahren dazu genutzt wird, mit dem immer wieder gleichen Frageset verschiedene Websites zu bewerten, also eine Umfrage pro Website. Der "sprechende" Name der zu bewertenden Website (WebsiteName, normalerweise sowas wie "delphi-ist-super.de") und die jeweils für die Umfrage zuständige Ansprechperson wird in verschiedenen Fragen/Antworten aufgerufen, dafür gibt es jeweils Gleichungen (okay, könnten wohl auch vom Typ Textanzeige sein).
Jetzt wollen wir ein neues Set an Bewertungsfragen validieren. Dafür sollen 30 Websites über ein Panel bewertet werden. Jede Person aus dem Panel soll mehr oder weniger at random (s.u.) eine der 30 Websites gezeigt kriegen, sich dort so lange aufhalten wie sie will, und dann die (immer gleichen) Bewertungsfragen beantworten. Vom Panelanbieter kriegen wir einen URL-Parameter als Identifier für die jeweilige Person, und wir melden dem Panelanbieter zurück, welche der Personen/URL-Parameter die Umfrage komplett && sinnvoll ausgefüllt haben.
Ich persönlich nutze LimeSurvey nur in diesem Kontext und nutze sonst auch schon lange keine andere Umfragesoftware mehr (früher EFS Survey).

• Warum Gleichungen bei statischem Text [insb. beim Panelanbieter]?
  -> Weil ich das mal so zugeliefert bekommen und nicht hinterfragt habe. Der Panelanbieter hat auch eine Gleichung, weil der genaue Anbieter noch nicht feststeht, ich die Texte der Umfrage aber jetzt schon mache und hinterher den Anbieternamen schnell einfügen will.
• Website at random bestimmen?
  -> fully at random dürfte nur die zweite Wahl sein, weil wir dann keine annähernde Gleichverteilung auf die Websites erwarten können (jedenfalls ist das bei meinen Excel-Simulationen so ). Erste Wahl wäre somit entweder eine händische Zuordnung zum URL-Parameter oder ein Zähler 1-30 in Schleife, damit alle Websites gleich oft bewertet werden.
• Wie wäre denn der Aufruf dieser Umfrage?
  -> Falls LimeSurvey zwei URL-Parameter akzeptiert und falls der Panelanbieter in der Lage ist, das umzusetzen, dann wahrscheinlich so? -> ls.meinumfrageserver.de/319653?lang=de&TNCode=A1b2C3e4&Website=01
  ...absichtlich ohne newtest=y, weil wir 1. nicht wollen, dass Teilnehmende nochmal von vorne beginnen, wenn sie merken, dass wir gemerkt haben, dass sie die Fragen nicht gelesen und sinnvoll beantwortet haben. Und 2., damit sie vom Smarpthone auf ein Gerät mit größerem Display wechseln können, wenn sie nach ein paar Minuten merken, dass das Ausfüllen dort doch komfortabler ist.

DANKE nochmal an euch beide!

Nochmal zu den Gleichungsfragen: sehe ich ein - aber warum klappt es dann in meiner Umfrage in Tb01InfoEinwilligung, und warum hat es bislang auch sonst so immer geklappt?

So, ich komme jetzt einmal zu Deiner Auswahl von 1 aus 30 Webseiten.

Erste Möglichkeit: Wie bereits hier weiter oben beschrieben.

Die nächsten Möglichkeiten sind aber für diese kleine Anzahl besser.
Zweite Möglichkeit:
Zufallszahl von 1-30
Mit zwei verschachtelten IFs die URL bzw. den Titel der gewählten Seite bestimmen, also

Analog für den Titel

Dritte Möglichkeit:
Frage vom Typ "mehrfache kurze Texte" (nennen wir sie V1 mit zwei Teilfragen ("URL" (WU) und "Titel" (WT)).
Folgendes javascript würfelt eine Matrix der Seiten durcheinander und wählt dann den ersten Eintrag aus.
Vierte Möglichkeit:
Statt des "Shuffle" benutzt man die SAVEDID modulo 30
Dann zeigen wir an mit:Test-Anzeige TestURL: {V1_WU}
Test-Anzeige WebsiteName: {V1_WT}Füllen ein IFrame mit:
und Verlinken mit:
Wenn Du eine Variable bildest, um den Namen des Panelanbieters einzufügen, gehe ich davon aus, dass Du mit mehreren zusammenarbeiten willst.
Jeder Panel-Provider hat aber seine eigene Art, Parameter zu übergeben.
Daher musst Du entweder direkt oder mit der Panel-Integration diese Parameter in der Umfrage abfangen.
Um nun den Namen des Panel-Prividers anzeigen zu können, kannst Du dann in der "Einwilligungsfrage" ein verschachteltes IF benutzen.
Gucken ob der entsprechende Parameter nicht leer ist (dann ist es eben dieser Panel-Provider) und den Namen einblenden, z.B.
prüfen wir die Qualität Ihrer Antworten (z.B., ob Sie die Fragen sinnvoll beantwortet haben) und melden an {if(!is_empty(Para1),"Mein Panelanbieter Nummer 1",if(!is_empty(Para2),"Mein zweiter Panelanbieter",""))} mithilfe eines für uns
Wie die Parameter dann heißen, teilt der Panel-Provider ja mit.

Und als Letztes:

1. Bei nicht erteilter Einwilligung würde ich nicht den gesamten Rest mit einer Relevanzgleichung ausblenden, sondern diese Teilnehmer (oder Nicht-Teilnehmer) mittels einer Quote rausschmeißen.
Du müsstest diese ja sowieso getrennt an den Panel-Provider über einen anderen Redirect melden.

2. Ich finde den Timer ein wenig unschön. Vielleicht besser: Die Navigationsbuttons mittels javascript für 30 Sekunden ausblenden (oder disablen)

Aber das ist Deine Sache.

Gut, jetzt leg mal los

Joffm

-> Falls LimeSurvey zwei URL-Parameter akzeptiert und falls der Panelanbieter in der Lage ist, das umzusetzen, dann wahrscheinlich so? -> ls.meinumfrageserver.de/319653?lang=de&TNCode=A1b2C3e4&Website=01
...absichtlich ohne newtest=y, weil wir 1. nicht wollen, dass Teilnehmende nochmal von vorne beginnen, wenn sie merken, dass wir gemerkt haben, dass sie die Fragen nicht gelesen und sinnvoll beantwortet haben.

Eine erneute Teilnahme die von vorne startet kannst du sinnvoll eigentlich nur mit einer geschlossenen Umfrage die auf Tokens basiert realisieren. Dazu müsstest du dem Panel dann aber individuelle Links für jeden Teilnehmer zukommen lassen. Kann mir das gerade nicht wirklich anders vorstellen. Vielleicht sitze ich aber auch auf der Leitung.

Und 2., damit sie vom Smarpthone auf ein Gerät mit größerem Display wechseln können, wenn sie nach ein paar Minuten merken, dass das Ausfüllen dort doch komfortabler ist.

Um nicht ganz von neu starten zu müssen brauchst du dann aber eine geschlossene Umfrage mit "Token based response persistance" auf "On", sonst klappt das nicht wirklich und die Teilnehmer fangen wieder von vorne an.

Insgesamt wird das mit der gleichmässigen Verteilung natürlich schwierig. Selbst wenn du in deiner Teilnehmertabelle die Website vorher hinterlegst, oder wenn diese über die URL kommt, weisst du ja nie wer die Umfrage wirklich beendet. Sprich du hast zwar jeweils 1/30 der Einladungen mit einer bestimmten Website verschickt, aber wenn du Pech hast, sind halt gerade in dieser Teilstichprobe viele die nicht antworten oder mitten drin abspringen. Also ganz ähnlich wie bei einer echten Zufallszahl. Ich sehe da nicht viele Vorteile. Das gleiche wenn man es auf die SavedID bezieht, denn die gibt es ja immer wenn eine Umfrage gestartet wird, egal ob der Teilnehmer die Umfrage beendet oder nicht.

Was du bräuchtest wäre ein System das eben automatisch erkennt, welcher "Eimer" am wenigsten gefüllt ist und dann diese Website anzeigt. Das dürfte bei 30 aber auch ein ziemlicher Aufwand sein, da ein entsprechendes System zu entwickeln.

Ich würde ja vermutlich einfach mit der Zufallszahl arbeiten und halt regelmässig nachschauen und wenn eine Quote gefüllt ist, dann würde ich einfach die Relevanzgleichungen anpassen.

Sagen wir die Zufallszahl 5 hat die Quote "ihrer Website" schon komplett gefüllt, es gibt aber andere Websites die hinterher hinken. Dann würde ich halt einfach dafür sorgen, dass die 5, falls gezogen, dann eben eine der Websites anzeigt, die bisher am wenigsten angezeigt wurde. Das benötigt halt ein gewisses manuelles eingreifen und kann natürlich nicht wirklich praktikabel sein, wenn du eine extrem aktive Umfrage erwartest.

Ich bin grad am überlegen, ob das stochastisch überhaupt Sinn macht, aber ich kann mir vorstellen wenn du einfach 300 Zufallszahlen ziehst und jeder Website 10 Zufallszahlen zuweist, dann dürfte der Fehler vermutlich kleiner werden. Muss ich mal genauer überlegen, ob das sinnvoll ist oder ob ich gerade absoluten schmarrn erzähle.

Der Vorteil jedenfalls ist, dass man zumindest etwas "filigraner" eingreifen kann, wenn man sieht dass sich eine Quote auf Basis der Zufallszahlen etwas schneller füllt als andere. Man muss nicht 100% auf andere Websites "umleiten" sondern kann das mit nur 1-2 der Zufallszahlen machen. Oder man kann, wenn eine der Quoten geschlossen ist, die Zufallszahlen auf mehrere andere Websites verteilen. Sprich 2 auf Website 5, 2 auf Website 10, 2 auf Website 13, etc. weil diese alle etwas hinten dran sind.

Ach, ich hatte diesen Teil gar nicht gesehen.

Und über die Realisierung der zufälligen Seiten rede ich nicht mehr. Das ist prinzipiell klar.
Aber das Erreichen einer Gleichverteilung ist überhaupt nicht klar.

Falls LimeSurvey zwei URL-Parameter akzeptiert und falls der Panelanbieter in der Lage ist, das umzusetzen, dann wahrscheinlich so? -> ls.meinumfrageserver.de/319653?lang=de&TNCode=A1b2C3e4&Website=01

Die ganzen Zuordnungen sind im Grunde "für die Katz", d.h. alle haben ihre Schwächen.

Reine Zufallszahl: Klar, dass die Verteilung bei kleinen Basen schief sein wird. Da kann man aber händisch gegensteuern, wie @holch schon sagte.

In diesem von Dir beschriebenen Fall werden die Webseiten ja einem Teilnehmer zugeordnet; man weiß aber nicht, ob dieser überhaupt dann wirklich teilnimmt, und wenn ja, auch beendet.

{SAVEDID}: Im Grunde ähnlich. Man erhält zwar eine wunderbare Uhrengruppe (1,2,3,...28,29,30,1,2,..,29,30,1,2...) - in der Theorie.
In der Praxis weißt Du aber nicht, ob diese die Umfrage auch beenden.

Gut, dann berechnen wir nur die Completes, am besten mit dem eingebauten plugin "statFunctions"
Dann fallen aber alle Teilnhemer zunächst in die Gruppe 1, bis der erste die Umfrage beendet hat. Und danach alle in Gruppe 2, bis der nächste beendet hat, usw.

LeastFilled: Dies ist mit dem plugin "getStatInSurvey" realisierbar.
Aber auch hier wird der Wert erst nach dem Absenden der Umfrage hochgezählt.
Wenn sich dann sofort nach der Einladung die Panelisten auf die Umfrage stürzen, gehen diese beiden letzten Verfahren ziemlich "in die Hose".

Conclusio:
Hast Du schon einmal (in Excel) probiert, wieviele Teilnehmer du benötigst, um mit hinreichender Genauigkeit - sagen wir - 20 Teilnehmer pro Seite zu erhalten (also so 18-22)
bzw. wieviele, um mindestens 20 pro Seite zu erhalten?
Denn es scheint ja klar zu sein, dass Du eine Overquota haben musst, da ja die unbrauchbaren Antworten aussortiert werden sollen.

Lösungen, um ein Feintuning der Zufallszahl zu erreichen, wurden schon genannt.
Nach zunächst der "direkten" Relation :
Zufall==1 -> Seite 1,
Zufall==2 -> Seite 2
Zufall= -> Seite 3
Zufall==4 -> Seite 4
Zufall==5 -> Seite 5
...
kann es dann heißen
Zufall==1 -> Seite 2
Zufall==2 -> Seite 2
Zufall= -> Seite 5
Zufall==4 -> Seite 4
Zufall==5 -> Seite 5
...

Bei dem bereits gezeigten Verfahren mit dem durcheinandergewürfelten Array könnte man dann das Array auf diese Artt erzeugen - ist auch besser.
Dann genügt es, bereits ausreichend gefüllte Seiten (hier Seite 5) einfach zu löschen.

Wie gesagt, Gleichverteilung per se ist eine schöne Mär.

Joffm

Nur ein Update, weil ich gesagt hatte, ich würde das heute angehen: Ich bin einigermaßen überwältigt von deinen Antworten, Joffm - im positiven wie im negativen Sinne Sagen wir: Ich habe angefangen zu versuchen nachzuzuvollziehen, was du geschrieben hast, aber dafür werd ich noch eine Weile brauchen (und in den kommenden Tagen muss ich an anderen Dingen arbeiten).

Drei konkrete Sachen:

• Joffm: Es wird nur ein Panelanbieter den Zuschlag bekommen, aber welcher es ist, steht noch nicht fest.
• holch: Spricht denn aus deiner Sicht etwas gegen eine geschlossene Umfrage, die auf Tokens basiert?
• Zufallsverteilung: tld;dr: Unser N sollte groß genug sein.
  WOT: Die Krux an der Gleichverteilung ist insbesondere, dass wir noch nicht genau wissen, wie groß die Streuung in den Antworten je Website(kategorie) sein wird und wir deswegen auch nicht genau abschätzen können, wie groß das jeweilige n sein sollte. Sowohl an die verschiedenen Kategorien von Websites als auch an die eigentlich zu testenden Fragen gehen wir mit Analysen heran, die recht große n brauchen - n=20 reicht sicher nicht, im ungünstigen Fall reichen lt. meinem Methodenkollegen hoffentlich n=50. Im Endeffekt sollte das Gesamt-N von 2000-2500 ausreichen, um lt. meinen Simulationen auch bei komplettem Zufall mind. ungefähr diese 50 je Website zu kriegen. Manuelles Nachsteuern bringt wiederum kleinere Probleme mit sich (Leute, die morgens oder mittags antworten sind im Mittel systematisch verschieden von Leuten, die abends antworten), und das wäre gefundenes Fressen für böswillige Gutachter/innen bei Ergebnispublikation.

holch: Spricht denn aus deiner Sicht etwas gegen eine geschlossene Umfrage, die auf Tokens basiert?

Aus meiner Sicht nicht. Allerdings musst du mit dem Panelanbieter abklären, ob sie individuelle Links an die Teilnehmer verschicken können. Prinzipiell sollten die das schon können, aber oft gibt es ja nur einen Link für alle zum Fragebogen an den sie dann ihre Parameter anhängen.

Bei einer geschlossenen Umfrage musst du ihnen aber für jeden Teilnehmer einen individuellen Link zukommen lassen an den sie dann ihre Parameter noch anhängen. Ich denke die meisten Panels sollten das schon können, ist ja jetzt nicht sooo ungewöhnlich, denke ich.

Leider kann man die Tokenlinks nicht einfach als CSV exportieren, verstehe immer noch nicht warum, denn das sollte wirklich eine recht einfache Geschichte sein.

Aber das ist auch kein grösseres Problem, man kann die mit ein paar Formeln recht schnell in Excel (oder jeder anderen Spreadsheet-Software erstellen).

Erstmal müsstest du aber grob wissen wie viele Dummy-Links der Panelbetreiber braucht. Dann erstellst du genau so viele in einem Spreadsheet (als Vorlage kann man da mal einen Dummy anlegen und dann die Tokenliste als CSV exportieren, dann siehst du wie sie aufgebaut sein muss.

Dann erstellst du halt Dummy-Teilnehmer, soviele wie der Panelanbieter haben will. Als Namen kann man ja sowas wie Vorname000001 Nachname000001, email00001@domain.de, etc. nehmen und dann runterkopieren. Das importierst du dann als Teilnehmerliste in Limesurvey uns schaust dir in der Teilnehmerliste an, wie die Struktur des Links MIT dem Token aussieht (in dem du bei einem Teilnehmer mit der Maus über das kleine Rädchen gehst.

Wenn du weisst, wie die Struktur aussieht, dann musst du eigentlich nur mit einer Formel diese Struktur für jeden Token anpassen. Hört sich jetzt viel an, ist aber eignetlich sehr schnell gemacht. Noch besser wäre es natürlich, wenn man die Liste dieser Tokenlinks einfach exportieren könnte, aber obwohl schon vor Jahren angesprochen, hat sich da nichts getan. Bin mir ziemlich sicher, dass es da von mir irgendwo einen Feature-Request gibt.

Manuelles Nachsteuern bringt wiederum kleinere Probleme mit sich (Leute, die morgens oder mittags antworten sind im Mittel systematisch verschieden von Leuten, die abends antworten), und das wäre gefundenes Fressen für böswillige Gutachter/innen bei Ergebnispublikation.

Da würde ich ja gerne mal eine empirische Studie dazu sehen, hahahahaha. Ich mag das nicht so wirklich glauben.

Aber um eventuelle Kritik an sowas zu vermeiden könntet ihr ja die Einladungen in Wellen verschicken lassen (muss man halt mit dem Panelanbieter besprechen), ist aber ja sowieso grundsätzlich eine gute Idee. Und dann schaut man halt nach der ersten Welle wie es denn aussieht mit der Verteilung und ob man irgendwas anpassen muss. Aber ich denke das ist wirklich Korintenkackerei. Was wenn durch Zufall wirklich sehr viele gleich am Morgen auf eine bestimmte Website losgelassen werden? Gäbe es dann auch Kritik? Vermutlich nicht.

Entschuldige, aber dies verstehe ich nun wirklich nicht

Manuelles Nachsteuern bringt wiederum kleinere Probleme mit sich (Leute, die morgens oder mittags antworten sind im Mittel systematisch verschieden von Leuten, die abends antworten)

Was hat dies mit der Tageszeit zu tun, wenn Du z.B. immer um Mitternacht eine bereits "volle" Webseite herausnimmst?
Es wäre aber auch eine wunderbare Gelegenheit, ein bisschen zu "strunzen", indem Du in die Arbeit aufnimmst "Ich habe selbstverständlich getestet, ob es hier einen signifikanten Unterschied gibt. Das Ergebnis war, usw."

Obwohl man sicherlich "daran fühlen kann". Nicht umsonst gibt es den "Lerchen-Typ" und den "Nachtigallen-Typ". Aber dies ist eben so und schmälert die Repräsentativität ja nun gar nicht und hat auch nichts mit dem oben genannten zu tun.
Es sei denn, Du würdest eine Beantwortung nur zwischen 5:00 Uhr und 6:30 Uhr zulassen. Dann bekommst Du sicherlich nur "Lerchen" und ein paar unausgeschlafene, aber geldgeile (Panel) "Nachtigallen".

Joffm

Joffm wrote:

Es sei denn, Du würdest eine Beantwortung nur zwischen 5:00 Uhr und 6:30 Uhr zulassen. Dann bekommst Du sicherlich nur "Lerchen" und ein paar unausgeschlafene, aber geldgeile (Panel) "Nachtigallen".

 

Wer bei einem Panel teilnimmt, ist nicht geldgeil. 0,10 EUR pro Minute (außer bei Pharmapanels)
Wenn man bedenkt, wie viele CEOs weltweit für 0,10 EUR pro Minute rund um die Uhr in den Panels warten

Und wenn die Uhrzeit so einen Einfluss auf die Antworten hat, dann sollte man auch die Zeitzone berücksichtigen.
Wehe, wenn da jemand aus dem USA-Urlaub den Fragebogen beantwortet

Wer bei einem Panel teilnimmt, ist nicht geldgeil. 0,10 EUR pro Minute

Weiß ich doch; dazu war das Smiley gedacht.

Genau wie Du ja auch.
 

Wer bei einem Panel teilnimmt, ist nicht geldgeil. 0,10 EUR pro Minute

Das sind 6 Euro pro Stunde. Dafür, dass man zu Hause nur ein paar Klicks machen muss ist das doch gar nicht so schlecht. Der Mindestlohn liegt in Deutschland bei 10,45 Euro und ich bin mir sicher, dass es genug Leute gibt, die weniger als das verdienen.

Wenn man bedenkt, wie viele CEOs weltweit für 0,10 EUR pro Minute rund um die Uhr in den Panels warten

Ja, das finde ich auch erstaunlich. Wir kriegen die meist nichtmal für Qual-Projekts und Unsummen an Incentive, aber irgendwas machen wir da falsch...

Wobei die Panels die ich kenne sowas nicht anbieten. Bei den meisten Zielgruppen die wir anfragen wiegeln sie ab, weil wir halt meist nicht den Standardkonsumenten haben. Schon wenn es um Premium-Fahrzeuge geht sind die Panels raus.

Lustig ist aber, dass sich Kunden, sonst sehr intelligente Menschen, gar keine Gedanken dabei machen, dass manche Zielgruppen für ein paar Kröten einfach nicht zu haben sind. Danach beschweren sie sich dann über komische Ergebnisse in Studien. Aber jetzt schweife ich ab.