Hmmm, 650 Fragen sind schon heftig. Denn selbst wenn es alles einfachfragen wären, sind das schon mal mindestens 650 Spalten in der Datenbank. Dann noch eine Extra-Spalte für den Kommentar und wir sind schon bei mehr als 1200 Spalten. Je nach verwendeter Datenbank kannst du da schon an die Grenzen von MySQL kommen.
Wenn du mit "Multiple Choice" aber Fragen mit Mehrfachantworten meinst, dann wird das ja noch heftiger.
Du hast aber immer noch nicht gesagt, in welchem Modus ihr die Fragen stellt: "All in one" (alle Fragen auf einer Seite - das bezweifle ich jetzt aber einfach mal bei 650 Fragen), "Group by Group" oder "Question by question"? Eigentlich sollte bei jedem Seitenwechsel die Daten in der Datenbank abgespeichert sein. D.h. im Modus "Question by question" solltest du maximal die letzte Antwort verlieren, bei "Group by Group" halt maximal die Antworten aus der letzten Gruppe, sofern diese nicht mit "Weiter" oder "Submit" abgeschickt wurden.

holch wrote: Hmmm, 650 Fragen sind schon heftig. Denn selbst wenn es alles einfachfragen wären, sind das schon mal mindestens 650 Spalten in der Datenbank. Dann noch eine Extra-Spalte für den Kommentar und wir sind schon bei mehr als 1200 Spalten. Je nach verwendeter Datenbank kannst du da schon an die Grenzen von MySQL kommen.

Nein, so war das nicht gemeint - die 650 sind inkl. der Kommentare.

holch wrote: Wenn du mit "Multiple Choice" aber Fragen mit Mehrfachantworten meinst, dann wird das ja noch heftiger.

Das auch nicht - ist immer nur eine Antwort möglich.

holch wrote: Du hast aber immer noch nicht gesagt, in welchem Modus ihr die Fragen stellt: "All in one" (alle Fragen auf einer Seite - das bezweifle ich jetzt aber einfach mal bei 650 Fragen), "Group by Group" oder "Question by question"

Group by Group

holch wrote: Eigentlich sollte bei jedem Seitenwechsel die Daten in der Datenbank abgespeichert sein.

Ja, eigentlich natürlich schon Zumindest in unserem Fall gehen aber nicht Antworten der aktuellen Seite verloren, sondern irgendwelche (meist jedoch die ersten beiden Gruppen der Umfrage, manchmal auch viel mehr ).

holch wrote: D.h. im Modus "Question by question" solltest du maximal die letzte Antwort verlieren, bei "Group by Group" halt maximal die Antworten aus der letzten Gruppe, sofern diese nicht mit "Weiter" oder "Submit" abgeschickt wurden.

Das können wir mittlerweilen ausschliessen. Es sind zu viele Meldungen von verlorenen Daten, von Personen, die schon seit Jahren die Umfrage ausfüllen.

Nein, so war das nicht gemeint - die 650 sind inkl. der Kommentare.

Ja, aber auch wenn das alles in einer Frage abgehandelt wird, muss Limesurvey dafür 2 Spalten pro Frage ablegen. Eine für den Antwortcode und eine für die Textantwort. D.h. also wenn du 650 Fragen mit Kommentar hast, sind das 650 Spalten für die geschlossenen Antworten und 650 Spalten für die Kommentarantworten. Aber das sollte eigentlich nicht das Problem sein, denn wenn du in das Spaltenlimit rennst solltest du eigentlich eine Fehlermeldung beim Aktivieren bekommen, wenn ich mich richtig erinnere.

Komisch finde ich, dass nicht die letzten Daten verloren gehen, sondern vorherige Daten, die ja eigentlich schon längst in der Datenbank abgelegt sein sollten. Dazu müsste ja LS diese Antworten dann aus der Datenbank löschen, was schon mal komisch klingt.

Aber ich bin da leider ratlos. Da können vermutlich nur Entwickler weiterhelfen.

holch wrote: Komisch finde ich, dass nicht die letzten Daten verloren gehen, sondern vorherige Daten, die ja eigentlich schon längst in der Datenbank abgelegt sein sollten. Dazu müsste ja LS diese Antworten dann aus der Datenbank löschen, was schon mal komisch klingt.

Ja klingt komisch - aber ist genau das, was wir beobachten. Die Antworten werden jedoch nicht auf null gesetzt, sondern auf einen leeren String. @richarz - beobachtet Ihr das auch so?

holch wrote: Aber ich bin da leider ratlos. Da können vermutlich nur Entwickler weiterhelfen.

Kann man denn einen Entwickler hier ins Forum "einladen" - oder so was in der Art?

holch wrote: Hmmm, 650 Fragen sind schon heftig. Denn selbst wenn es alles einfachfragen wären, sind das schon mal mindestens 650 Spalten in der Datenbank. Dann noch eine Extra-Spalte für den Kommentar und wir sind schon bei mehr als 1200 Spalten. Je nach verwendeter Datenbank kannst du da schon an die Grenzen von MySQL kommen.

Unser Fragebogen ist auch sehr groß. Wir stoßen aktuell an die Grenze von MySQL und können keine weiteren Fragen mehr hinzufügen...Vielleicht ist das auch ein Grund für das Problem...

holch wrote: Komisch finde ich, dass nicht die letzten Daten verloren gehen, sondern vorherige Daten, die ja eigentlich schon längst in der Datenbank abgelegt sein sollten. Dazu müsste ja LS diese Antworten dann aus der Datenbank löschen, was schon mal komisch klingt.

Das finden wir auch sehr merkwürdig. Uns ist aufgefallen, dass u.a. Daten von Pflichtfragen und Fragen die in Relevanzgleichungen vorkommen fehlen. Daten von Fragen, die NACH diesen Pflichtfragen erscheinen jedoch noch vorhanden sind. Demnach werden anscheinend bereits abgespeicherte Daten in der Datenbank gelöscht bzw. mit einem leeren String überschrieben.

rleuthold wrote:

holch wrote: Komisch finde ich, dass nicht die letzten Daten verloren gehen, sondern vorherige Daten, die ja eigentlich schon längst in der Datenbank abgelegt sein sollten. Dazu müsste ja LS diese Antworten dann aus der Datenbank löschen, was schon mal komisch klingt.

Ja klingt komisch - aber ist genau das, was wir beobachten. Die Antworten werden jedoch nicht auf null gesetzt, sondern auf einen leeren String. @richarz - beobachtet Ihr das auch so?

@rleuthold - Ja, nach deinen Beschreibungen würde ich sagen, stehen wir vor dem identischen Problem.
Wir konnten das Problem einmal (zufällig) teilweise reproduzieren und uns ist Folgendes aufgefallen:
1) Einige Daten fehlen im Fragebogen auf bereits ausgefüllten Seiten, was beim Zurückblättern im Bogen aufgefallen ist.
2) In MySQL waren diese Daten jedoch noch vorhanden
3) Erneute veränderte Beantwortung der Fragen führte nicht zu Veränderungen der MySQL-Daten
--> Vermutung: Verbindung zw. LimeSurvey und MySQL reist ab.
4) Fragebogen bzw. Browser haben wir dann geschlossen
5) Primäre Daten (aus Punkt 2)) waren in MySQL weiterhin vorhanden
6) Fragebogen haben wir dann erneut geöffnet und die gesamten primären Daten waren wieder da

Unsere Vermutung ist demnach, dass aus irgendeinem Grund die Verbindung zwischen LimeSurvey und MySQL abreißt. Je nach Verhalten des Nutzers (oder anderer Randbedingungen) sind die Daten jedoch bei erneutem Öffnen des Fragebogens nicht wieder da, sondern die leeren Antwortfelder werden in MySQL übertragen.

rleuthold wrote:

holch wrote: Aber ich bin da leider ratlos. Da können vermutlich nur Entwickler weiterhelfen.

Kann man denn einen Entwickler hier ins Forum "einladen" - oder so was in der Art?

Das wäre jedenfalls sehr hilfreich zur Lösung des Problems

Ich würde sagen, mit diesen Infos könnte man durchaus einen Bug-Report abgeben. Ihr habt ja ein bisschen mehr als nur ein Symptom, ihr habt auch ein paar weitere Punkte, die diese Problematik etwas einkreisen.

Ausserdem dürfte das die beste und einfachste Art und Weise sein, mit einem Developer in Kontakt zu treten. Hin und wieder tauchen die mal im englischen Forum auf, im deutschen Forum habe ich schon lange niemanden mehr gesehen. Wenn ihr euren Bugreport auf "geheim/privat" stellt könnt ihr sogar die Umfrage hochladen und nur die Entwickler haben Zugang.

Ich habe einen Bug report erstellt - bugs.limesurvey.org/view.php?id=12751 .

@richarz - vielleicht kannst Du noch ergänzen etc.

@holch - danke für Deine Unterstützung!

richarz wrote: Uns ist aufgefallen, dass u.a. Daten von Pflichtfragen und Fragen die in Relevanzgleichungen vorkommen fehlen. Daten von Fragen, die NACH diesen Pflichtfragen erscheinen jedoch noch vorhanden sind. Demnach werden anscheinend bereits abgespeicherte Daten in der Datenbank gelöscht bzw. mit einem leeren String überschrieben.

Ich kann Eure Beobachtung bestätigen! Wir hatten gerade wieder einen Fall mit Datenverlust, da habe ich mir genauer angeschaut, welche Daten / Antworten gelöscht wurden - die Antworten von Fragen einer gewissen Relevanzgleichung fehlten.

Wenn ich es recht in Erinnerung habe, fehlen in etwa immer dieselben Antworten, wenn ein Datenverlust auftritt.

@richarz - wieso vermutet Ihr, dass die Datenbankverbindung "abreisst"?

rleuthold wrote:

richarz wrote: Uns ist aufgefallen, dass u.a. Daten von Pflichtfragen und Fragen die in Relevanzgleichungen vorkommen fehlen. Daten von Fragen, die NACH diesen Pflichtfragen erscheinen jedoch noch vorhanden sind. Demnach werden anscheinend bereits abgespeicherte Daten in der Datenbank gelöscht bzw. mit einem leeren String überschrieben.

Ich kann Eure Beobachtung bestätigen! Wir hatten gerade wieder einen Fall mit Datenverlust, da habe ich mir genauer angeschaut, welche Daten / Antworten gelöscht wurden - die Antworten von Fragen einer gewissen Relevanzgleichung fehlten.

Könntest du mir diese Relevanzgleichung nennen? Dann schaue ich mir mal an, ob wir eine ähnliche Form auch im Fragebogen haben.

rleuthold wrote: @richarz - wieso vermutet Ihr, dass die Datenbankverbindung "abreisst"?

Bei unserer einzigen teilweisen Reproduktion des Datenverlusts, haben wir uns parallel zu den Antworten im Fragebogen die Daten in der MySQL-Datenbank angeschaut: Es fehlten Daten direkt in LimeSurvey im Fragebogen, jedoch nicht in der Datenbank (auch nach Vor- und Zurück-Navigation in LimeSurvey). Nach Schließung des Browsers und erneutem Öffnen waren die Daten in der Datenbank immernoch da und auch in LimeSurvey war wieder alles ausgefüllt. Leider scheint das aber nicht die Regel zu sein, sondern die Daten gehen bei unseren Beantwortern sowohl in Datenbank als auch in LimeSurvey verloren. Wir vermuten deshalb eine Unterbrechung der Kommunikation zwischen LimeSurvey und MySQL, bei Wiederherstellung der Verbindung könnte es sein, dass entweder LimeSurvey die leeren Felder an MySQL weitergibt und somit die Daten verloren gehen oder das MySQL die Daten wieder an den Fragebogen weitergibt (das scheint bei unserer Teil-Reproduktion der Fall gewesen zu sein)

Könnt ihr diese Vermutung teilen?

Eine weitere Frage ist, ob ihr auch den Fragenindex zum Navigieren innerhalb des Fragebogens verwendet? Wir haben auch die Vermutung, dass es damit zu tun haben könnte...

richarz wrote: Könntest du mir diese Relevanzgleichung nennen? Dann schaue ich mir mal an, ob wir eine ähnliche Form auch im Fragebogen haben.

Wir konnten die Relevanzgleichung aus dem Fragebogen entfernen, hatten aber in den letzten Tagen wieder mehrere Datenverluste zu beklagen. Die Relevanzgleichung können wir - aus meiner Sicht - somit ausschliessen.

richarz wrote: Bei unserer einzigen teilweisen Reproduktion des Datenverlusts, haben wir uns parallel zu den Antworten im Fragebogen die Daten in der MySQL-Datenbank angeschaut: Es fehlten Daten direkt in LimeSurvey im Fragebogen, jedoch nicht in der Datenbank (auch nach Vor- und Zurück-Navigation in LimeSurvey). Nach Schließung des Browsers und erneutem Öffnen waren die Daten in der Datenbank immernoch da und auch in LimeSurvey war wieder alles ausgefüllt. Leider scheint das aber nicht die Regel zu sein, sondern die Daten gehen bei unseren Beantwortern sowohl in Datenbank als auch in LimeSurvey verloren. Wir vermuten deshalb eine Unterbrechung der Kommunikation zwischen LimeSurvey und MySQL, bei Wiederherstellung der Verbindung könnte es sein, dass entweder LimeSurvey die leeren Felder an MySQL weitergibt und somit die Daten verloren gehen oder das MySQL die Daten wieder an den Fragebogen weitergibt (das scheint bei unserer Teil-Reproduktion der Fall gewesen zu sein)

Wir beobachten genau dasselbe. Wenn jedoch die Daten in der DB noch da sind, jedoch nicht mehr im Frontend und der Fragebogen mit dem newstest/Y (neue Session) Parameter geöffnet wird, sind die Antworten im Frontend wieder sichtbar.

Aber wie Du sagst - manchmal sind dann die Fragen auch aus der DB weg.

Aufgrund der Verluste machen wir nun täglich (02:00) ein DB Backup. Dabei ist mir aufgefallen, dass die Antworten um 02:00 noch in der DB waren (und somit im Backup vorhanden sind) aber verloren gehen, wenn der Teilnehmer den Fragebogen im Verlaufe des Tages öffnet. Darum ist meine Vermutung, dass beim öffnen / erstellen einer neuen Session die Antworten aus der Session in die DB geschrieben werden - dies aber unvollständig.

richarz wrote: Eine weitere Frage ist, ob ihr auch den Fragenindex zum Navigieren innerhalb des Fragebogens verwendet? Wir haben auch die Vermutung, dass es damit zu tun haben könnte...

Ja, den benutzen wir ebenfalls. Was lässt Euch vermuten, dass dieser die Ursache des Problems sein könnte?