Einführung

Konzeption

In dieser Phase werden die Forschungsfragen definiert und die Zielpopulation festgelegt.

Umragen mit Organisationen

Organisationsdaten

Wenn die Untersuchungseinheit Organisationen sind, gelten besondere methodische Anforderungen: von der Stichprobenziehung über die Fragebogengestaltung bis hin zur Auswertung. Die folgenden Abschnitte fassen die zentralen Empfehlungen zusammen.

Grundgesamtheit und Stichprobe

Bei der Stichprobenziehung ist eine Stratifizierung nach Größe (Mitglieder- oder Beschäftigtenzahl) und Sektor bzw. Organisationstyp Standard. Für ein Projekt zu Migrantenorganisationen bedeutet das etwa, große Dachverbände von kleineren Gemeinschaftsinitiativen zu unterscheiden, um eine einseitige Stichprobe zu vermeiden.

Organisationen sind zudem „fluide Objekte” (Meyermann et al., 2019⤴) : Sie lösen sich auf, fusionieren, benennen sich um oder ziehen um. Jeder Kontakt sollte daher vor der Feldphase auf Aktualität geprüft werden, da veraltete Kontaktdaten ein häufiges praktisches Problem darstellen.

Sekundärdaten vor Primärerhebung

Bevor eine eigene Erhebung durchgeführt wird, sollte geprüft werden, ob bereits vorhandene Sekundärdaten die Forschungsfragen zumindest teilweise beantworten können. Selbst wenn letztlich eine Primärerhebung nötig ist, helfen bestehende Datensätze bei der Fragebogenentwicklung und der Stichprobenplanung.

Auswahl der richtigen Auskunftsperson

Da Organisationen nicht selbst antworten können, muss eine Auskunftsperson als Stellvertreterin ausgewählt werden. Das ist jemand, der die Organisation autorisiert repräsentieren kann. Dabei handelt es sich um eine Form des Proxy Reportings: Die befragte Person berichtet nicht über sich selbst, sondern stellvertretend über eine andere Einheit (Cobb et al., 2018⤴) . Der Zugang zu dieser Person ist oft die größte Hürde: Empfangspersonal, allgemeine Kontaktadressen und andere Gatekeeper müssen überwunden werden. Wenn die Organisation selbst bestimmt, wer antwortet, besteht das Risiko einer verzerrten Perspektive, die nicht die gesamte organisationale Realität abbildet (Meyermann et al., 2019⤴) .

Entscheidend ist dabei die Nähe der Auskunftsperson zu den Themen der Befragung. Stellvertreter, die regelmäßigen Kontakt zu den Personen oder Umständen haben, über die sie berichten, liefern genauere Angaben (Meyermann et al., 2019⤴) . Wo Proxy-Berichte unvermeidlich sind, sollte die Stichprobe so angelegt werden, dass die Befragten eng mit den Personen bzw. Umständen verbunden sind, über die sie Auskunft geben.

Fragebogengestaltung

Für Organisationsbefragungen gibt es für Organisationen keine allgemein anerkannten Standarditems wie bei Individualbefragungen. Die Auswahl der Variablen muss daher sorgfältig begründet werden. Interne Kultur oder Heterogenität über eine einzige Auskunftsperson zu erfassen, ist grundsätzlich nur eingeschränkt möglich. Ein einzelner Vertreter kann immer nur einen Teil der organisationalen Wirklichkeit abbilden.

Offene Fragen schneiden dabei deutlich besser ab als geschlossene: in Studien um rund 30 Prozentpunkte (Cobb et al., 2018⤴) . Gerade bei sensiblen oder vielschichtigen Themen wie migrationsspezifischen Bedarfen erfassen offene Fragen genauere und vollständigere Antworten. Werden dennoch geschlossene Fragen eingesetzt, sind wenige, breite Kategorien in der Regel treffsicherer als lange, ausdifferenzierte Listen (Cobb et al., 2018⤴) .

Stabile Merkmale zu Organisationen, wie Rechtsform oder Sitz können zuverlässiger berichtet werden als fluide oder kürzlich gemachte Erfahrungen bzw. qualitative Aspekte.

Mehrebenendesign

Wenn neben den Organisationen auch deren Mitglieder untersucht werden sollen, bietet sich ein Mehrebenenansatz an: Organisationsvertreter und Einzelmitglieder werden getrennt befragt. Dieses Vorgehen ist allerdings deutlich ressourcenintensiver und setzt die Zustimmung der Organisationsleitung voraus.

Methodenmix

Ein Mixed-Methods-Ansatz wird ausdrücklich empfohlen. Die standardisierte Befragung lässt sich sinnvoll ergänzen durch:

• Experteninterviews zur explorativen Hypothesenbildung oder -prüfung,
• Gruppendiskussionen, um kollektive Erfahrungen und Entscheidungsprozesse innerhalb von Organisationen zu erfassen,
• Dokumentenanalysen (Satzungen, Berichte, öffentliche Materialien), um die Angaben der Auskunftspersonen zu kontextualisieren.

Das ist besonders wertvoll, weil eine einzelne Auskunftsperson zwangsläufig nur ein partielles Bild liefert.

Umgang mit Nonresponse

Amtliche Statistiken profitieren von gesetzlicher Auskunftspflicht. Ein Vorteil, der bei freiwilligen Organisationsbefragungen entfällt. Entsprechend sind die Verweigerungsraten bei Organisationsbefragungen höher als bei Individualbefragungen. Der Aufbau von Vertrauen und Legitimität, etwa durch institutionelle Anbindung oder die Unterstützung eines anerkannten Dachverbands, vor dem Versand der Befragung kann die Teilnahmebereitschaft erheblich verbessern. Darüber hinaus können organisationsinterne Richtlinien eine Teilnahme an externen Befragungen grundsätzlich untersagen.

Studiendesign & Umfragetypen

Studiendesign & Umfragetypen

Forschungsfragen formulieren

Forschungsfragen formulieren

Messtheorie & Konstrukte

Messtheorie & Konstrukte

Stichprobenauswahl

Sampling Theorie

Grundlagen der Stichprobenziehung und Repräsentativität.

Datenschutz

Datenschutz

Bei Online-Umfragen im zivilgesellschaftlichen Bereich, z.B. in der Wirkungsmessung, werden meist personenbezogene Daten mit erhoben. Sobald ein Interesse an demografischen Daten besteht oder offene Texteingabe dabei ist, muss damit gerechnet werden, dass bei Kombination von verschiedenen Antworten oder durch eingegebene persönliche Details auf die Identität von Einzelpersonen geschlossen werden kann, auch wenn Teilnehmende keine Namen oder Kontaktdaten angeben. In diesen Fällen greift die Datenschutzgrundverordnung (DSGVO; bzw. entsprechende Regelungen im kirchlichen Bereich wie das KDG und das DSG-EKD) und die Verarbeitung der Daten im Rahmen der Umfrage brauchte eine Rechtsgrundlage. Das ist meist eine Einwilligung der Teilnehmenden. Wir können an dieser Stelle natürlich keine umfassende Rechtsberatung geben, sondern stellen Erfahrungswerte und Best-Practices zusammen. Sprecht potenzielle Verarbeitung personenbezogener Daten im Rahmen von Online-Umfragen bitte immer mit den Datenschutzbeauftragten Eurer Organisation ab und plant dafür Zeit ein. Dennoch stellen wir Euch hier verbreitete Arten von Vorkommen personenbezogener Fragen bei Online-Umfragen zusammen, führen die wichtigsten Maßnahmen, die ihr ergreifen könnt und weisen euch auf häufige Fehler bei der Konzeption hin. Wenn ihr euch umfassender mit dem Thema befassen wollt, empfehlen wir auch die Bildungsmaterialien aus dem passenden Bereich in der CDL Academy.

Typen von Online-Umfragen in Bezug auf ihren Umgang mit Personenbezug

Diese Typen helfen, den Personenbezug in Sinne der DSGVO etwas besser zu verstehen. Sie sind jedoch nicht trennscharf, d.h. in der Realität können Umfragen Eigenschaften aus mehreren Typbeschreibungen haben. Wichtig ist, dass die DSGVO immer dann greift, wenn Daten nicht vollständig anonym sind.

Offen personenbezogene Umfrage (Klardatenverarbeitung)

Die Umfrage wird bewusst mit Namen, E-Mail-Adresse, Personalnummer oder anderen direkt identifizierenden Angaben durchgeführt. Das kann passend sein, wenn innerhalb einer Organisation Teilnahmepflicht besteht, Rückfragen gestellt, individuelle Auswertungen über längere Zeiträume angefertigt oder Teilnahmebescheinigungen ausgegeben werden sollen. Dann braucht es aber eine klare Rechtsgrundlage, transparente Information, Zweckbindung, Datensparsamkeit und angemessene Schutzmaßnahmen.

Indirekt identifizierbare Umfrage

Zwar werden keine direkten Identifikationsmerkmale wie Name oder E-Mail-Adresse erhoben. Trotzdem kann unter Umständen ein Rückschluss auf einzelne Personen möglich sein, zum Beispiel durch die Kombination mehrerer Angaben wie Alter, Geschlecht und Wohnort oder durch Inhalte in offenen Textfeldern. Besonders bei Umfragen zur Evaluation unter persönlich bekannten Teilnehmenden mit eher kleineren Teilnehmendengruppen kommt dies vor. Die Umfrage ist deshalb nicht als anonym anzusehen und die erhobenen Daten sind weiterhin als personenbezogene Daten zu behandeln, weil eine Person direkt oder indirekt identifizierbar sein kann. Für die Verarbeitung gelten daher die Anforderungen der DSGVO.

Nur aggregierte Veröffentlichung bei personenbezogener Rohdatenverarbeitung

Die Rohdaten können intern personenbezogen sein, nach außen werden aber nur zusammengefasste Ergebnisse veröffentlicht. Das ersetzt keine datenschutzkonforme Verarbeitung der Rohdaten, senkt aber das Risiko für die betroffenen Personen bei der Weitergabe oder Publikation.

Pseudonymisierte Umfrage

Bei einer pseudonymisierten Umfrage werden die Antworten nicht direkt mit Namen oder anderen unmittelbar identifizierenden Angaben gespeichert. Stattdessen wird ein Code oder eine Kennnummer verwendet. Die Angaben können also nicht ohne Weiteres einer bestimmten Person zugeordnet werden. Eine Zuordnung wäre nur mit zusätzlichen Informationen möglich, die getrennt aufbewahrt und besonders geschützt werden müssen. Auch pseudonymisierte Daten gelten weiterhin als personenbezogene Daten. Deshalb bleibt die DSGVO anwendbar. Genau wie die aggregierte Veröffentlichung ist die pseudonymisierte Speicherung eine Schutzmaßnahme, weil sie das Risiko für die betroffenen Personen verringert.

Getrennte Erhebung ohne Verknüpfung

Es gibt Fälle, in denen personenbezogene Daten entstehen, aber nicht mit den Antworten verknüpft sein müssen und daher getrennt verarbeitet werden können, z.B. wenn eine Verlosung unter den Teilnehmenden stattfindet oder über das Versenden personalisierter Links eine mehrfache Umfrageteilnahme verhindert werden soll. Die eigentlichen Antworten werden in einem Formular erhoben, Kontaktdaten in einem zweiten, getrennten Formular. Wenn es keine Verknüpfung zwischen beiden Datensätzen gibt, können die Antworten faktisch anonym sein, obwohl daneben noch personenbezogene Kontaktdaten verarbeitet werden. Datenschutzrechtlich sind dann die Kontaktliste und die Antworten getrennt zu bewerten und für die personenbezogenen Anteile sind Rechtsgrundlage und Information erforderlich.

Zunächst personenbezogen, später anonymisiert

Die Umfrage startet mit Personenbezug. Nach Abschluss werden Identifikatoren gelöscht und nur noch anonymisierte oder rein aggregierte Ergebnisse weiterverwendet. Das ist oft ein praktikabler Mittelweg, wenn echte Anonymität während der Erhebung noch nicht möglich ist. Häufige Methoden sind die Entfernung der Identifikatoren und Re-Identifikatoren, Randomisierung und Generalisierung. Auch die o.g. Aggregation kann ein Weg sein. In der praktischen Umsetzung führt dies insbesondere bei Freitextfeldern dennoch oft zu viel Arbeitsaufwand. In zivilgesellschaftlichen Arbeitsfeldern, in denen nur ab und zu eine Umfrage durchgeführt ist besteht oft kein Zugang zu DSGVO-konformen Tools, die dies übernehmen können. Eine Rechtsgrundlage und transparente Information für die Erhebung und die Verarbeitungsschritte bis zur Anonymisierung ist natürlich dennoch erforderlich.

Vollständig anonyme Umfrage

Es werden von Anfang an keine Angaben erhoben, mit denen einzelne Personen identifiziert werden können. Das ist die datenschutzärmste Variante, aber nur dann tragfähig, wenn eine Re-Identifizierung nicht möglich ist. Bei Online-Umfragen ist wichtig zu beachten, dass auch IP-Adressen, Cookie-IDs und ähnliches als personenbezogene Daten gelten. Einige Tools ermöglichen serverseitige Nicht-Speicherung oder sofortige Kürzung von IP-Adressen. Hierbei ist es wichtig, die Einstellungen der geplanten Tools genau unter die Lupe zu nehmen. Die Grundsätze des Datenschutzes gelten für anonyme Daten nicht, d.h. anonyme Daten dürfen jederzeit beispielsweise für statistische oder für Forschungszwecke auch als Rohdaten weitergegeben werden. Auch eine Veröffentlichung als Open Data wäre ohne weitere Einverständniserklärungen von Teilnehmenden möglich. Beispiele für anonyme Umfragen sind einfache offene Online-Umfragen auf großen Veranstaltungen, bei denen ohne Speichern von IP-Adressen oder anderem nur wenig gefragt wird, z.B. „Wie zufrieden bist du heute mit der Veranstaltung“ als Ranking auf einer Skala. Ähnlich funktionieren auch Terminals mit Smiley-Buttons am Ausgang von Gebäuden oder in öffentlichen Toiletten.

Maßnahmen

Es wird deutlich, dass in den meisten Fällen zumindest für einen Teil der Erhebung Personenbezug schwer auszuschließen ist. Dann finden die Regelungen der DSGVO Anwendung. Das bedeutet, dass zum einen passende Schutzmaßnahmen für die Daten zu ergreifen sind, damit sie nur gemäß dem vorab kommunizierten Zweck verarbeitet werden. Zum anderen ist eine Rechtsgrundlage für die Verarbeitung erforderlich, verbunden mit transparenten Informationen für die Teilnehmenden. Bei Online-Umfragen wird das meistens eine Einwilligungserklärung der Teilnehmenden sein, ggf. auch durch ihre Teilnahme an der Umfrage.

Datenschutzinformation

Alle Teilnehmenden an der Umfrage sollten nach Art.13 DSGVO vorab über ihre Rechte sowie über den Umfang und Zweck der Umfrage aufgeklärt werden – dafür gibt es eine Datenschutzerklärung oder auch Datenschutzinformation mit klar definierten Inhalten. Wir haben für die verschiedenen Typen Vorlagen mit markierten Platzhaltern erstellt, die alle Informationen beinhalten, die in den meisten Fällen benötigt werden. Diese könnt ihr frei weiternutzen und mit den Informationen für Eure Organisation und jeweilige Umfrage befüllen: HIER DIE VORLAGEN EINFÜGEN

Rechtsgrundlage

Für jede Verarbeitung personenbezogener Daten benötigt Ihr eine Rechtsgrundlage. Die Vorlagen für die Datenschutzinformation gehen davon aus, dass ihr eine Einwilligung nach Art. 6 Abs. 1 lit. a DSGVO einholt. Als Einwilligung kann bei Online-Umfragen auch gelten, dass Teilnehmende nach Wahrnehmung der Datenschutzinformation willentlich entscheiden, teilzunehmen – es braucht nicht immer ein Feld zum Anhaken. Dann braucht Ihr aber gut sichtbare Formulierungen wie z.B. „Durch Klicken auf Start willigst Du ein…“, denn eine Einwilligung muss „unmissverständlich durch eine bestätigende Handlung“ erfolgen. Ihr müsst jedoch auch mit einbeziehen, dass Teilnehmende ihre Einwilligung jederzeit widerrufen können und Ihr die mit ihrer Person verbundenen Daten wieder löschen müsst – egal an welchem Zeitpunkt der Auswertung ihr Euch befindet. Eine belastbare Einwilligung für die Verarbeitung für einen oder mehrere vorab festgelegte Zwecke braucht Ihr aber auf jeden Fall, wenn besonders schützenswerte Daten verarbeitet werden. Das könnt ihr in Art. 9 DSGVO nachlesen. Darunter fallen Daten, aus denen die rassische und ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen. Es betrifft auch die Verarbeitung von genetischen Daten, biometrischen Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung. Wichtig ist auch, das Verhältnis der Antwortenden zu den Fragenden zu bewerten – so kann bei Mitarbeitenden im Arbeitskontext oft nicht von einer freiwilligen Einwilligung gesprochen werden. Besser wäre es hier, eine Rechtsgrundlage aus dem Arbeitsrecht oder aus Kollektivvereinbarungen zu finden. In manchen Fällen könnte auch argumentiert werden, dass es um berechtigte Interessen nach Art. 6 Abs. 1 lit. f DSGVO geht. Zum Beispiel könnte eine Mitgliederzufriedenheitsumfrage eines Vereins oder Verbands in Betracht kommen, da sie innerhalb der bestehenden Beziehung erwartbar sind – aber nur, wenn die Fragen nicht unnötig tief in die Privatsphäre eingreifen und Widerspruchsmöglichkeiten bestehen. Auch für die Wahl der Rechtsgrundlage ist es sinnvoll, sich mit dem Datenschutzbeauftragten Eurer Organisation abzustimmen. Im Zweifelsfall entscheiden sich viele für die Einwilligung.

Aufnahme ins Verzeichnis von Verarbeitungstätigkeiten

Nach Art. 30 DSGVO müssen alle Organisationen ein Verzeichnis von Verarbeitungstätigkeiten führen – hier solltet Ihr auch Eure Umfrage aufnehmen.

Schutzmaßnahmen

Außerdem solltet Ihr technische und organisatorische Maßnahmen („TOM“) ergreifen, um die Verarbeitung der Daten so zu schützen, dass sie tatsächlich nur in dem Rahmen stattfinden, der von den Teilnehmenden erlaubt worden ist. Hier einige beispielhafte Maßnahmen: Datensparsamkeit oder Datenminimierung – Stellt nur Fragen, die für den Zweck der Umfrage wirklich erforderlich sind. Geht besonders kritisch mit Freitextfeldern um. Wahl und Konfiguration der Umfragetools – Aus der DSGVO ergeben sich Vorgaben bzgl. der Auswahl der verwendeten Tools. Besonders wichtig sind dabei der Verzicht auf Weiterverarbeitung von Daten, z.B. beim Tracking, sowie ein Serverstandort innerhalb der EU. Außerdem braucht Ihr einen passenden Auftragsverarbeitungsvertrag. Es gibt in der DSGVO definierte Voraussetzungen wie ein Angemessenheitsbeschluss oder andere geeignete Garantien, unter denen auch Anbieter außerhalb der EU genutzt werden können. Hierbei braucht es aber besondere Sorgfalt, da es nicht ausreicht, dass das Unternehmen „auch“ Server in der EU hat. Unsere Bewertungsmatrix zur Auswahl eines passenden Online-Umfragetools zeigt auch Angaben der Vertreiber zur DSGVO Konformität der aufgeführten Tools. Die Übermittlung von Daten in Drittländer muss auch in den Datenschutzinformationen offengelegt werden.
Sichere Speicherung der Daten – Auch die verwendeten Tools zur Ablage der Daten müssen diesen Kriterien entsprechen. Außerdem muss über ein geeignetes Rechte- und Rollenkonzept sichergestellt sein, dass nur berechtigte Personen Zugriff haben. Schließlich braucht Ihr geeignete Löschfristen, die Ihr ebenfalls bereits in den Datenschutzinformationen hinterlegt. Sobald die Daten für den Zweck nicht mehr nötig sind, sind sie zu löschen oder zu anonymisieren, sofern keine Aufbewahrungspflichten entgegenstehen. Zur Sicherheit gehören aber auch eine Transportverschlüsselung (HTTPS/TLS) und starke Passwörter sowie regelmäßige Updates Eurer Systeme. Auch die oben in den Typen schon berücksichtigte Maßnahmen wie getrennte Speicherung von Kontraktdaten und Antworten, Pseudonymisierung und Anonymisierung sind Maßnahmen zum Schutz personenbezogener Daten. Interne Prozesse - Um im Falle von Nachfragen und Löschanforderungen handeln zu können, braucht Ihr intern einen praktikablen Prozess, um Auskunft, Berichtigung, Löschung, Einschränkung, Datenübertragbarkeit, Widerspruch und Widerruf einer Einwilligung bearbeiten zu können. Bei Online-Umfragen ist das nur realistisch, wenn Ihr schon vorab wisst, ob und wie einzelne Datensätze einer Person zugeordnet werden können. Interne Prozesse müssen auch vorab für den Fall einer Datenpanne verabredet sein. Diese tritt ein, wenn Antworten versehentlich offengelegt, falsch versendet oder unbefugt abgerufen werden.

Viele dieser Maßnahmen werden in Organisationen zentral durch die Datenschutzbeauftragten, die IT Administration und andere Akteur*innen eingerichtet und müssen nicht für jede Umfrage neu geklärt werden. Dennoch solltet Ihr sicherstellen, dass Ihr diesbezüglich gut informiert seid, wenn Ihr eine Online-Umfrage startet.

Datenschutzfolgeabschätzung

Wenn die Umfrage voraussichtlich ein hohes Risiko für Rechte und Freiheiten der Betroffenen mit sich bringt, müsst Ihr mithilfe Eures Datenschutzbeauftragten vorab eine Datenschutz-Folgenabschätzung durchführen. Das kann z. B. eher relevant werden bei sensiblen Daten, sehr großen Datensätzen, Profiling, besonders schutzbedürftigen Gruppen oder systematischer Auswertung. Ein Beispiel könnte eine bundesweite Online-Befragung einer Opferhilfe-Organisation zu häuslicher oder sexualisierter Gewalt sein – oder eine Umfrage unter Minderjährigen zu Suizidalität, Selbstverletzung oder Missbrauchserfahrungen. Viele zivilgesellschaftliche Themen fallen unter die besonders schutzwürdigen Daten.

Häufige Fehler

Bei Umfrageprojekten, die wir im Civic Data Lab als Datenvorhaben oder in der Datensprechstunde kennengelernt haben, kam es oft zu ähnlichen Stolpersteinen. Dies sind keine „großen“ Rechtsverstöße, sondern liegen in mangelndem Verständnis bei der Konzeption. Wir haben daher ein paar zusammengestellt, damit Ihr in Euren Projekten darauf achten könnt. ###Über Datenschutz erst nach der Erhebung nachdenken Es kommt immer wieder vor, dass Online-Umfragen in der Zivilgesellschaft durchgeführt werden und versehentlich als anonym eingestuft sind, obwohl beispielsweise eine Re-Identifizierung möglich ist. Im Nachgang ist es dann zu spät, um eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten zu schaffen und die Teilnehmenden zu informieren. Oft wird einfach gestartet, ohne klar festzulegen, ob die Umfrage auf Einwilligung, Vertrag, gesetzlicher Pflicht oder berechtigten Interessen beruht. Gerade bei „berechtigten Interessen“ ist der Fehler häufig, dass keine echte Abwägung gemacht wird und die vernünftigen Erwartungen der Teilnehmenden nicht geprüft werden. Transparenz allein ersetzt diese Abwägung nicht. Das kann dazu führen, dass die Antworten, die die Identifizierung von Einzelpersonen ermöglichen, unausgewertet gelöscht werden müssen. Daher gehört die Thematisierung des Datenschutzes zur Konzeption einer Umfrage.

Fälschlich von „anonym“ sprechen

Viele Online-Umfragen werden als anonym bezeichnet, obwohl das Tool technische Zusatzdaten verarbeitet oder die Antworten über seltene Merkmalskombinationen bzw. Freitexte doch einzelnen Personen zugeordnet werden könnten. Der praktische Fehler ist also weniger das Wort selbst als die fehlende ehrliche Risikoanalyse.

Keine Zeit für Überarbeitung einplanen

Die Absprachen mit den Datenschutzbeauftragten und die notwendigen Überarbeitungen innerhalb des Fragebogens sowie bei den Prozessen und sonstigen Schutzmaßnahmen können unter Umständen den Zeitplan für die Umfragedurchführung durcheinanderbringen und haben schon viele in Stress versetzt. Hier hilft nur, genau Zeit einzuplanen.

Zu viele Fragen und unnötige Daten

Häufig werden mehr Daten erhoben als für den Zweck nötig sind: genaue Geburtsdaten statt Altersgruppen, genaue Orte statt Regionen, Freitextfelder ohne Not, Kontaktdaten „vorsorglich“ oder weil es schon immer so gemacht wurde. Hier besteht aber auch immer eine Abwägung, da zu starke Generalisierung zu schwieriger Vergleichbarkeit mit anderen Datensätzen führt. Gemeinsame Standards können hier Abhilfe schaffen.

Später entstehen weitere Ideen für die Nutzung von Daten, diese sind aber nicht im Zweck der Datenverarbeitung enthalten, über den die Nutzer*innen informiert worden sind.

Daten nicht für jeden Zweck neu zu erheben, ist grundsätzlich sinnvoll – schon allein, um die zeitlichen Ressourcen der Befragten zu schonen. Oft entstehen Ideen für weitere Anwendungen aber erst, wenn die Daten vorliegen. Dann ist eine weitere Verwendung jedoch nicht mehr zulässig. Eine Idee könnte sein, in Pre-Test mithilfe von KI synthetische Daten zu erzeugen, die ebenfalls helfen, Ideen zu entwickeln. Außerdem sollten Auswertungsmethoden vorab schon ins Auge gefasst werden. Auch Maßnahmen zur Anonymisierung können helfen, um Daten dann weiterverwenden zu dürfen.

Datenschutzinformationen zu kompliziert

Häufig basieren die veröffentlichten Datenschutzerklärungen auf Texten von Jursitinnen in komplizierter Sprache, die jede Eventualität absichern. Diese Informationen werden jedoch nur von wenigen Menschen wirklich gelesen und erfasst. Gerade bei Umfragen, mit denen sich zivilgesellschaftliche Organisationen an Klientinnen wenden, ist es ihre Verantwortung die begleitenden Informationen niedrigschwellig zu gestalten.

Zugriff auf Daten durch gemeinsame Toolnutzung ungeklärt

In vielen Organisationen kommt es zu Unsicherheiten, wenn Tools gemeinsam administriert werden oder Zugänge zum Kostensparen geteilt werden. Wichtig ist, über verschiedene Nutzerkonten und eine Administrierung mit klaren Rollenkonzepten sicherzustellen, dass nur diejenigen auf die Daten zugreifen dürfen, die die Berechtigung haben. Für die genauere Definition ist hilfreich zu klären:  Wer ist Verantwortlicher?  Wer ist Auftragsverarbeiter?  Gibt es gemeinsame Verantwortliche (Art. 26 DSGVO)?

Bei organisationsinternen Tools innerhalb der Cloudumgebung wird der Absender mitgespeichert

Wer die Forms-Anwendungen innerhalb der eigenen Organisationsumgebung bei Google oder Microsoft verwendet, sollte sicherstellen, dass keine Daten über eingeloggte Absender*innen der Formulare mitgespeichert werden.

Löschen wird vergessen oder die Frist erst gar nicht festgelegt

Für viele ist das Online-Umfrageprojekt abgeschlossen, wenn die Ergebnisse kommuniziert wurden. Das Löschen der Rohdaten wird in der Praxis daher oft vergessen oder aufgeschoben. Schon bei der Planung kann eine Kalendererinnerung zum Ablauf der Frist helfen.

Kein Abschluss passender Auftragsverarbeitungsverträge

Anbietende von Tools, die Ihr für Online-Umfragen einsetzt, sind Auftragsverarbeiter, mit denen Ihr nach Art. 28 DSGVO einen Vertrag abschließen müsst. Daher seid Ihr dafür verantwortlich, dass sie im Sinne der gesetzlichen Regelegungen agieren und Euer Bemühen darum wird durch einen stimmigen Auftragsverarbeitungsvertrag dokumentiert. Viele Anbieter bieten Verträge zum Download an, die Ihr nur noch prüfen und bei Passung unterzeichnen müsste. Kirchliche Organisationen, deren Datenschutzbestimmungen in KDG oder DSG-EKD benötigen dazu oft noch Ergänzungsvereinbarungen, die sich auf die entsprechenden Paragrafen beziehen.

Disclaimer

Noch einmal der Hinweis: Wir geben hier keine Rechtsberatung, sondern stellen Grundlagenwissen und Best Practices zusammen. Wir möchten euch außerdem darauf hinweisen, dass wir zur Erstellung dieser Seite KI genutzt haben und zwar für diese Aufgaben: Verallgemeinerung einer Vorlage für die Datenschutzinformation bei der Online-Umfrage eines unserer Datenvorhaben sowie Vervielfältigung auf verschiedene Typen sowie Sparring für die Inhalte.

Einführung

Fragebogendesign Einleitung

Hier erfährst du, wie man gute Fragen formuliert und einen logischen Ablauf gestaltet.

Operationalisierung

Operationalisierung

XLSForm Standard

XLSForm is a standard for creating forms using Excel spreadsheets. It’s widely used in survey and data collection tools.

Key Concepts

• Excel-based form design: Create forms using familiar spreadsheet software
• Standardized structure: Uses specific worksheet names and column formats
• Interoperable: Works with tools like ODK, KoboToolbox, SurveyCTO

Basic Structure

Survey Worksheet Copy

type	name	label	hint	required	constraint
text	respondent_name	What is your name?	Enter full name	yes
integer	age	What is your age?	Enter age in years	yes	. > 0
select_one gender	gender	What is your gender?		yes
select_multiple languages	languages	Which languages do you speak?	Select all that apply	no

Choices Worksheet Copy

list_name	name	label
gender	male	Male
gender	female	Female
gender	other	Other
gender	prefer_not_to_say	Prefer not to say
languages	english	English
languages	spanish	Spanish
languages	french	French
languages	german	German

Settings Worksheet Copy

parameter	value
form_title	Demographic Survey
form_id	demo_survey
version	1.0
submission_url	https://example.com/submit

Common Question Types

• text: Free text response
• integer: Whole numbers
• decimal: Decimal numbers
• select_one: Single choice from list
• select_multiple: Multiple choices from list
• date: Date picker
• geopoint: GPS coordinates

Benefits

• No coding required: Design forms using Excel
• Reusable: Same form works across multiple platforms
• Version control: Easy to track changes
• Collaboration: Multiple people can work on the same form

Tools that Support XLSForm

• ODK Collect
• KoboToolbox
• SurveyCTO
• Ona
• CommCare
• Many others…

Antworttypen

Antworttypen

Der grundlegendste Unterschied beim Umfragedesign besteht zwischen geschlossenen Fragen, bei denen die Befragten aus vordefinierten Optionen auswählen, und offenen Fragen, bei denen sie frei in eigenen Worten antworten. Beide dienen unterschiedlichen Erkenntniszielen und sind mit spezifischen Tradeoffs verbunden.

Geschlossene Fragen sind kognitiv weniger anspruchsvoll und für Befragte, insbesondere in Online-Umfragen, einfacher zu beantworten, da sie lediglich einen Tastendruck oder Mausklick erfordern. Allerdings können vorgegebene Antwortoptionen den Teilnehmenden implizit signalisieren, welche Antworten als vernünftig oder erwünscht gelten, und dadurch die Antworten in eine bestimmte Richtung lenken. Offene Fragen umgehen diesen Effekt, bringen jedoch eigene Herausforderungen hinsichtlich Datenqualität, Vollständigkeit und Analyseaufwand mit sich (Connor Desai & Reimers, 2019⤴) .

Offene Fragen sind das zentrale Instrument der qualitativen Forschungstradition in den Sozialwissenschaften. In dieser Wissenssammlung wird jedoch vorrangig ein quantitativer Ansatz verfolgt; offene Fragen werden daher vor allem als Ergänzung zu geschlossenen Formaten behandelt.

Eine weitere Unterscheidung betrifft den Unterschied zwischen einzelnen Fragen und Fragebatterien: Werden mehrere thematisch zusammenhängende Fragen als Gruppe eingesetzt, spricht man üblicherweise von Items. Dieser Begriff ist in der deutschsprachigen Methodenliteratur etabliert und wird im Folgenden entsprechend verwendet.

Für alle nachfolgend beschriebenen Fragetypen werden exemplarisch Umsetzungsmöglichkeiten in xlsform und DDI Codebook, sowie Darstellungsmöglichkeiten in zwei gängigen Umfragetools vorgestellt.

Geschlossene Fragetypen

1. Single Choice

Bei Single-Choice-Fragen wählt die befragte Person genau eine Option aus einer vorgegebenen, abgeschlossenen Liste aus.

Wann sollte Single Choice verwendet werden?

Single Choice eignet sich, wenn die Antwortkategorien erschöpfend und trennscharf formuliert werden können, d. h. alle relevanten Ausprägungen des Merkmals abdecken, ohne sich zu überschneiden (z. B. Altersgruppen, Bildungsabschluss, Beschäftigungsstatus), (Holbrook & Lavrakas, 2008⤴)

Layout für wenige Antwortoptionen

Bei Fragen mit einer einzigen Antwortmöglichkeit sollten in den meisten Fällen vertikale Radio Buttons verwendet werden. In Kobo Toolbox und in Lime Survey ist die vertikale Darstellung Standard.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
select_one bildungsgrad	bildungsgrad	Was ist Ihr höchster Bildungsabschluss?

choices Copy

list_name	name	label
bildungsgrad	1	Kein Abschluss
bildungsgrad	2	Haupt- oder Realschulabschluss
bildungsgrad	3	Fachhochschulreife / Abitur
bildungsgrad	4	Abgeschlossene Berufsausbildung
bildungsgrad	5	Hochschulabschluss

Mehr anzeigen

Layout für viele Antwortoptionen (Single Choice)

Das Layout für lange Auswahllisten sollte anders sein als bei kurzen Listen: 100 Radio Buttons überladen das gesamte Umfrage-Layout.

Eine Option sind Dropdowns, durch die die Nutzer:in zu der Antwortoption scrollen kann. Bei langen Listen im Web/auf dem Desktop (wie z. B. Ländern oder Berufen) kann ein Dropdown geeignet sein, um Platz auf dem Bildschirm zu sparen. Dropdowns können jedoch bei sehr langen Listen (z. B. 100+ Optionen) ebenfalls unübersichtlich sein. Experimentelle Studien zeigen, dass ein Autocomplete-Feld (bei dem Befragte die ersten Buchstaben eingeben und passende Optionen gefiltert angezeigt werden) bei langen Listen mehr verwertbare Antworten liefert als ein einfaches Textfeld und schneller ist als ein klassisches Dropdown (Couper & Zhang, 2016⤴) .

Bei Autocomplete ist jedoch zu beachten, dass sich die kognitive Aufgabe verändert: Während geschlossene Fragen mit sichtbarer Optionsliste einer Wiedererkennungsaufgabe (Recognition) ähneln, funktionieren offene Eingabeformate eher wie Aufgaben des freien Abrufs (Recall), die auf kontrollierten Gedächtnisprozessen basieren. Empirische Befunde legen nahe, dass offene und geschlossene Antwortformate auf unterschiedlichen kognitiven und mnestischen Prozessen beruhen und daher zu unterschiedlichen Ergebnissen führen können (Connor Desai & Reimers, 2019⤴) . Autocomplete eignet sich daher vor allem für Fragen, bei denen die Befragten die Antwort bereits kennen (z. B. das eigene Herkunftsland oder eingenommene Medikamente), weniger für Fragen, bei denen Optionen erst durch Ansehen der Liste erkannt werden (z. B. „Welche dieser Marken kennen Sie?”).

Kobo Toolbox erlaubt für Single Choice eine Autocomplete-Option, während bei LimeSurvey nur ein Dropdown möglich ist. Über die appearance-Spalte in XLSForm kann die Darstellung über den Wert minimal zu einem Dropdown geändert werden.

Beim Fragebogendesign bietet es sich an viele Antwortoptionen über eine seperate Datei oder in einem separaten Sheet, dass dann über eine Formel eingebunden wird, abzubilden.

In DDI Codebook führen wir die Konvention ein, über den concepttag ein vocabular zu referenzieren.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
select_one_from_file iso_3166_1.csv	geburtsland	In welchem Land wurden Sie geboren?

Mehr anzeigen

2. Multiple-Choice

Bei Multiple-Choice-Fragen können Befragte alle zutreffenden Optionen auswählen. Jede Option wird als eigene binäre Variable kodiert (0 = nicht genannt, 1 = genannt). Strukturell entspricht eine Multiple-Choicefrage einer Batterie aus ebenso vielen Ja/Nein-Fragen, wie Antwortoptionen vorhanden sind.

Wann sollte Multiple Choice verwendet werden?

Single Choice ist das methodisch robustere Antwortformat (Smyth et al., 2006⤴) . Multiple Choice sollte nur verwendet werden, wenn Antwortoptionen sich nicht gegenseitig ausschließen (z.B. genutzte Medien, gesprochene Sprachen oder berufliche Tätigkeitsfelder).

Layout für wenige Antwortoptionen

Hier gilt das gleiche wie bei Single Choice.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
select_multiple wochenendtage	wochenende	An welchen Tagen des Wochenendes sind Sie erreichbar?

choices Copy

list_name	name	label
wochenendtage	sa	Samstag
wochenendtage	so	Sonntag

Mehr anzeigen

Layout für viele Antwortoptionen

Die Probleme von Dropdowns und vielen Radio Buttons sind ähnlich zu Single Choice, verschärfen sich hier jedoch: sie können dazu führen, dass nur bestimmte oder nicht alle relevanten Optionen ausgewählt werden. Es gibt weder in Kobo Toolbox, noch in Lime Survey gibt es gute und einfach umsetzbare Alternativen. Kobo Toolbox erlaubt einen Mutiple Choice Dropdown, aber kein Multiple Choice Autocomplete. Lime Survey erlaubt beides nicht für Mutiple Choice, es gibt jedoch ein Question Theme, das autocomplete für Multiple Choice ermöglicht.

In Limesurvey gibt es die option das dropdown fpr multiple chocie zu nehmen, oder ein repoeat vom autocompomplet zu nutzen. Leider ist letzteres eher führ mehrer fragen in einer sich wiederholdenden Gruppe gedacht, sodass die Wiederholungen bei vielen ausgewählten Optionen schnell zu viel Platz wegnehmen.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
select_multiple_from_file iso_3166_1.csv	besuchte_laender	Welche dieser Länder haben Sie bereits besucht? Mehrere Antworten möglich.

Mehr anzeigen

Halb-Offene Antwortformate

Halb-offene Antwortformate nehmen eine Zwischenposition zwischen vollständig geschlossenen und vollständig offenen Frageformaten ein (Soliman, 2024⤴) . Sie stellen eine vordefinierte, geschlossene Antwortliste bereit (Single oder Multiple Choice) und ergänzen diese um ein optionales Freitextfeld — typischerweise gelabeled als „Sonstiges (bitte angeben)”. Dadurch entstehen zwei verschiedene Datentypen innerhalb einer Frage: kategoriale, quantitativ auswertbare Antworten aus der geschlossenen Liste sowie Freitexteingaben, die qualitativ aufbereitet und gesondert analysiert werden müssen.

Der konzeptionelle Vorteil dieses Formats — Erschöpfungsgrad ohne vollständige Offenheit — ist in der Praxis jedoch begrenzt: Befragte nutzen die „Sonstiges”-Option selten und interpretieren die vorgelegte Liste als vollständig, selbst wenn ihre tatsächliche Antwort außerhalb der Kategorien läge (Krosnick et al., 2018⤴) .

Das „Sonstiges”-Feld sollte stets am Ende der Antwortkategorien platziert werden, um Primacy-Effekte zu vermeiden.

Themen, die wiederholt genannt werden, deuten auf eine Lücke im Kategoriensystem hin und sollten in künftigen Erhebungen als eigenständige Kategorien aufgenommen werden (O'Cathain & Thomas, 2004⤴) .

1. Single Choice mit „Sonstiges”-Antwortmöglichkeit

Bei Single-Choice-Fragen ist ein „Sonstiges (bitte angeben)“-Feld nur dann gerechtfertigt, wenn das erhobene Merkmal einen offenen Wertebereich hat, der sich nicht vollständig vorspezifizieren lässt — etwa Geschlecht, Berufsbezeichnung oder Religionszugehörigkeit. Bei Merkmalen mit klar begrenztem Wertebereich (z. B. Altersgruppe, Bildungsabschluss, Beschäftigungsstatus) sollte auf das Feld verzichtet werden, da die Kategorien so formuliert werden können, dass sie erschöpfend und trennscharf sind (Holbrook & Lavrakas, 2008⤴) .

Layout

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label	relevance
select_one quelle	aufmerksam	Wie sind Sie auf unser Angebot aufmerksam geworden?
text	aufmerksam_other	Sonstiges (bitte angeben)	${aufmerksam} = 'sonstiges'

choices Copy

list_name	name	label
quelle	suchmaschine	Suchmaschine
quelle	empfehlung	Persönliche Empfehlung
quelle	soziale_medien	Soziale Medien
quelle	sonstiges	Sonstiges

Mehr anzeigen

2. Multiple Choice mit „Sonstiges”-Antwortmöglichkeit

Bei Multiple-Choice-Fragen ist ein „Sonstiges”-Feld häufiger gerechtfertigt, weil der Antwortraum — also die Menge aller möglichen Auswahlen — im Voraus schwerer vollständig zu antizipieren ist als bei Single-Choice-Fragen.

Layout

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label	relevance
select_multiple geraete	geraetebesitz	Welche dieser Geräte besitzen Sie?
text	geraetebesitz_other	Sonstiges (bitte angeben)	selected(${geraetebesitz}, 'sonstiges')

choices Copy

list_name	name	label
geraete	smartphone	Smartphone
geraete	laptop	Laptop
geraete	tablet	Tablet
geraete	sonstiges	Sonstiges

Mehr anzeigen

Geschlossene, gruppierte Antwortformate

1. Matrix / Likert-Skala (Grid)

Matrix-Fragen fassen mehrere Items zusammen, die dieselbe Antwortskala und denselben Einleitungstext teilen. In DDI 2.5 müssen die Antwortkategorien bei jedem Item wiederholt werden.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label	appearance
begin_group	institutionsvertrauen	Vertrauen in Institutionen	table-list
select_one skala5	vertrauen_parlament	Das Parlament
select_one skala5	vertrauen_polizei	Die Polizei
end_group

choices Copy

list_name	name	label
skala5	1	Gar nicht
skala5	2	2
skala5	3	3
skala5	4	4
skala5	5	Vollständig

Mehr anzeigen

Offene Antwortformate

1. Offene Zahl (Integer)

Offene numerische Fragen erfassen Zahlenwerte ohne vorgegebene Antwortkategorien — z.B. Alter, Haushaltsgröße oder Anzahl.

Einfachauswahl mit vorgegebene Antwortkategorien (z.B. Intervalle) sind bei numerischen Fragen problematisch, weil Befragte die mittlere Kategorie als implizite Norm interpretieren und ihre Antwort entsprechend anpassen — ein Effekt, der in Online-Befragungen auch außerhalb sensitiver Themen nachweisbar ist (Baur et al., 2014⤴) . Weiterhin: Vage Quantoren wie „manchmal”, „häufig” oder „selten” werden von verschiedenen Befragten sehr unterschiedlich interpretiert und erzeugen dadurch systematische Messfehler. (Krosnick et al., 2018⤴) . Für numerische Fragen — etwa zur Häufigkeit eines Verhaltens — empfiehlt sich daher grundsätzlich die direkte Abfrage eines konkreten Wertes anstelle vorgegebener Kategorien.

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
integer	alter	Wie alt sind Sie?

Mehr anzeigen

2. Offener Text

Freitextfragen ermöglichen den Befragten, eigene Antworten in Textform zu formulieren — z.B. für Kommentare oder offene Rückmeldungen.

Wann eignet sich eine offene Texteingabe?

Nach Züll et al. (2019⤴) eignen sich die offene Texteingabe:

• Wenn der Befragungsgegenstand noch nicht eingegrenzt werden kann oder neue, unerwartete Aspekte erwartet werden (explorative Fragebogenentwicklung)
• Wenn das Spektrum möglicher Antworten zu groß für vorgegebene Kategorien ist
• Wenn eine Lenkung des Befragten in Richtung vorgegebener Kategorien vermieden werden soll — vorgegebene Antwortoptionen riskieren, Nennungen zu erzeugen, die Präferenzen des Fragebogenentwicklers statt echte Meinungen widerspiegeln
• Wenn Wissen abgefragt wird — offene Fragen minimieren die Wahrscheinlichkeit, durch Raten eine richtige Antwort zu erzielen, und führen häufig zu reliableren und valideren Angaben als geschlossene Fragen

XLSFormDDI XMLLimeSurveyKoboToolbox

---

survey Copy

type	name	label
text	anmerkungen	Haben Sie weitere Anmerkungen?

Mehr anzeigen

Weitere Antwortformate

Endpunkt-verankerte Ratingskalen

Endpunkt-verankerte Ratingskalen verwenden eine numerische Skala, bei der nur die Endpunkte (und ggf. der Mittelpunkt) verbal beschriftet sind. Im Gegensatz zu Likert-Batterien, bei denen jeder Skalenpunkt eine verbale Kategorie trägt und mehrere Items zu einem Gesamtwert aggregiert werden, sind endpunkt-verankerte Skalen typischerweise Einzelitem-Maße: Der einzelne Zahlenwert ist die interessierende Variable. Gängige Formate sind Feeling Thermometer (0–100), Cantril-Leiter (0–10), NPS-Skala (0–10), Schulnoten-Skala (1–6) und Wahrscheinlichkeitseinschätzungen (0–100%).

Semantisches Differential

Semantische Differentiale präsentieren zwei gegensätzliche Adjektive (z.B. „modern – traditionell”) an den Enden einer typischerweise 5- oder 7-stufigen Skala. Befragte verorten sich zwischen den Polen. Das Format wird häufig in der Marken- und Einstellungsforschung eingesetzt.

Ranking

Ranking-Fragen fordern Befragte auf, eine Menge von Items in eine Reihenfolge zu bringen (z.B. nach Wichtigkeit). Sie erzwingen Differenzierung — im Gegensatz zu Ratingskalen, bei denen alle Items gleich bewertet werden können. Ranking-Daten sind jedoch ipsativ (die Ränge sind nicht unabhängig voneinander), was die anwendbaren statistischen Verfahren einschränkt. Ab etwa 5–7 Items steigt die kognitive Belastung deutlich, und die Datenqualität sinkt.

Datum / Uhrzeit

Datums- und Uhrzeitfragen erfassen temporale Angaben direkt (z.B. Geburtsdatum, Zeitpunkt eines Ereignisses). In XLSForm entspricht dies den Typen date und time. Zentrale Designentscheidungen betreffen das Eingabeformat (DD.MM.YYYY vs. Datepicker) und die Mobilfreundlichkeit der gewählten Eingabemethode.

Weitere Empfehlungen für Antwortformate

„Weiß nicht” und „Keine Angabe”

Eine explizite „Weiß nicht”-Option erhöht den Anteil fehlender Antworten, ohne die Reliabilität zu verbessern. Der Anstieg ist nur teilweise auf echte Meinungslosigkeit zurückzuführen — die Option wird auch als Satisficing-Strategie genutzt und kann suggerieren, dass Expertenwissen zur Beantwortung nötig sei. Ihr Einsatz ist daher kritisch zu sehen (Baur et al., 2014⤴) .

„Keine Angabe” / „Möchte ich nicht beantworten” ist konzeptionell von „Weiß nicht” zu trennen: Hier wird nicht Unfähigkeit signalisiert, sondern bewusste Antwortverweigerung. Diese Option sollte bei sensiblen Themen angeboten werden — also bei Fragen, die soziale Erwünschtheit auslösen, als intrusiv empfunden werden oder bei denen Befragte negative Konsequenzen einer Offenlegung befürchten (Tourangeau & Yan, 2007⤴) . Typische Anwendungsbereiche sind Einkommen, Gesundheit, Sexualität und politische Zugehörigkeit. Wird bei solchen Fragen stattdessen eine Antwort erzwungen (Forced Answering), steigen die Abbruchquoten — insbesondere bei hochsensiblen Items — und die Antwortqualität sinkt (Décieux et al., 2015⤴) .

Bei Multiple-Choice-Fragen sollten “Weiß nicht” und “Keine Angabe” als exklusive Optionen implementiert werden: Sobald eine inhaltliche Option gewählt wird, ist eine gleichzeitige Angabe von „Weiß nicht” logisch widersprüchlich und sollte technisch unterbunden werden.

In XLSForm wird die Exklusivität einer Option über die Spalte exclusive in der choices-Tabelle gesteuert:

survey Copy

type	name	label
select_multiple angebotsnutzung	angebotsnutzung	Welche Angebote Ihrer Organisation nutzen Sie?

choices Copy

list_name	name	label	exclusive
angebotsnutzung	beratung	Beratung
angebotsnutzung	bildung	Bildungsangebote
angebotsnutzung	freizeit	Freizeitangebote
angebotsnutzung	keine_angabe	Keine Angabe	yes

Nicht empfohlene Antwortformate

Schieberegler/Slider sollten zugunsten von Radio Buttons vermieden werden. Sie benötigen mehr Zeit zum Ausfüllen, führen zu mehr fehlenden Daten (Funke, 2016⤴) und sind insbesondere auf Mobilgeräten problematisch (Antoun et al., 2017⤴) . Entscheidend ist, dass sie keine zuverlässigen kontinuierlichen Daten liefern, denn ein Schieberegler von 0 bis 100 täuscht Präzision nur vor. Radio Buttons sind schneller, besser zugänglich und funktionieren auf allen Geräten gleich.

Fragen formulieren

Fragen formulieren

Bei der Formulierung von Fragebogenfragen gelten nach Porst et al. (2019⤴) folgende Regeln:

1. Einfache, unzweideutige Begriffe verwenden, die von allen Befragten gleich verstanden werden: was „einfach” bedeutet, hängt stark von der Zielgruppe ab
2. Kurze, einfache Fragen formulieren: lange Fragen verwirren und enthalten oft überflüssige Informationen
3. Keine hypothetischen Fragen stellen: Befragte können sich oft nicht zuverlässig in Situationen versetzen, in denen sie nicht sind
4. Doppelte Stimuli und Verneinungen vermeiden: eine Frage sollte immer nur einen Sachverhalt abfragen
5. Keine Unterstellungen oder suggestive Formulierungen: sie schränken den Antwortspielraum der Befragten ein
6. Keine Fragen zu Informationen, über die Befragte mutmaßlich nicht verfügen: fehlendes Wissen senkt die Motivation und verschlechtert die Datenqualität
7. Eindeutigen zeitlichen Bezug herstellen: vage Zeitangaben wie „in den letzten Wochen” sind zu vermeiden, konkrete Anker wie „im September 2018” sind besser
8. Antwortkategorien erschöpfend und disjunkt gestalten: jede Person muss sich eindeutig einer Kategorie zuordnen können
9. Kontexteffekte kontrollieren: vorherige Fragen können die Beantwortung späterer Fragen beeinflussen; dies lässt sich am besten durch Pretests prüfen
10. Unklare Begriffe definieren: wenn Vereinfachung nicht möglich ist, sollten Fachbegriffe erklärt werden

Fragebogenaufbau

Fragebogenaufbau

Antwortverzerrungen

Reihenfolgeeffekte

Warum die Position einer Frage das Antwortverhalten beeinflussen kann.

Fragebogenlogik

Skip Logic, Branching und Filterführung.

Pretesting

Pretesting

Pretesting mit LLMs

LLM generated survey responses can mimick some aspects of human responses when you know the sociodemographics of the expected human respondents and condition the LLM on that via “personas”. The survey responses often reproduce averages fairly reliably but lack variance. For our purposes this seems surely good enough.

Simulating Human Opinions with Large Language Models: Opportunities and Challenges for Personalized Survey Data Modeling

Kaiser et al. (2025⤴) created ASPIRE (Automated Synthetic Persona Interview and Response Engine) (Couldn’t find their python code though).

They create personas based on real sociodemographic data:

“You are a [ethnicity] [sex] living in [state]. You were born in the year [year] in [country of birth]. Your nationality is [nationality] and you speak [language] fluently. Your education level is: [education level] and your profession is: [profession]. You describe your financial situation with [financial situation].”

Conclusion: Synthetic data is better than random (average agreement between synthetic and real responses was 78% (p<0.001)). However, they found a positivity bias where synthetic responses are more positive than real ones. No strong evidence of sociodemographic bias was found (though this doesn’t mean there’s no bias!). They also observed lower variance in synthetic responses (Kaiser et al., 2025⤴) .

Out of One, Many: Using Language Models to Simulate Human Samples

Argyle et al. (2023⤴) seems to be (among the) first to look in detail at how closely LLM responses map to human responses. They claim that LLMs are very good at reproducing the biases and views of subpopulations when prompted with personas.

Synthetic Replacements for Human Survey Data? The Perils of Large Language Models.

(Bisbee et al., 2024⤴)

Conclusion: Persona-based LLM reponses are good to model human averages but show less variance and non-faithful regression coefficients. Not surprising to me: Pre-trained LLMs have great calibration. After RLHF calibration collapses. Plus the temperature is less than 1 usually (so they sample with less variance than what they think the true next-word distribution is.

Large Language Models in Survey Research: Generating Synthetic Data and Unlocking New Possibilities.

(Motoki et al., 2023⤴)

They let the LLM generate the sociodemographic data (e.g. “73% female, 91% White, average age 41.6” and the LLM draws values to match that). Generally similar pattern. LLM responses are not a bad approximation but have some problems (too homogeneous, bias).

LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings

(Maier et al., 2025⤴)

Also as blog post. For Likert Scales (aka numeric responses): First let LLMs produce text, second match text with semantic similarity rating to Likert scale (very negative, negative, etc.). They had less positivity bias than humans in their experiments

Creating Synthetic User Research: Using Persona Prompting and Autonomous Agents

Blog Post that let’s the LLM come up with five more detailed personas and let’s them have a group chat over a product with autonomous agents. Less relevant for us.

Einführung

Erhebung Einleitung

Methoden der Feldführung und technisches Monitoring.

Feldphase & Monitoring

Feldphase & Monitoring

KoboToolbox

Summary

KoboToolbox ist Open Source, basiert auf XLSform und ist für NPOs in der Community Variante kostenlos gehostet. Die Umfragedaten kann man in einem auswertbaren Format herunterladen. Das Interface ist etwas weniger polished als bei z.B. Lamapoll, aber die Vorteile überwiegen klar.

Research Notes

• etwas weniger Nutzerfreundlich bei der Erstellung der Umfrage als z.B. Lamapoll. Vor allem für non-tech people.
• etwas weniger angenehm zum ausfüllen (z.B. manche Buttons muss man recht genau treffen)
• Beim online auswerten hat z.B. Lamapoll etwas bessere Möglichkeiten zur Visualisierung, weil z.B. Single Choice, Likert Scale, und Netpromoter im Hintergrund anders behandelt werden. Bei XLSform ist das alles “select one” und die automatische Auswertung weiß nicht, dass die items z.B. geranked werden könnten bei Likert und NetPromoter. (Beim Download ist es bei Lamapoll aber gleichermaßen problematisch. Da geht die Info verloren, dass es eine Likert / NetPromoter Frage war).
  • Edit: Gibt die Möglichkeit in der column appearance “likert” auszuwählen. Warum checkt die online Auswertung das nicht?
• Dank dem XLSform Standard, kann man die heruntergeladenen Daten besser auswerten als bei Lamapoll (z.B. kann man alle Antwortmöglichkeiten zu einer Frage finden, was beim Lama Download fehlt.)
• Likert Fragen sind etwas unintuitiver zu erstellen.

LimeSurvey

This is a page dedicated to lime survey

Lamapoll

Lamapoll notes

Wir schließen Lamapoll als von uns mit Code unterstütztes Umfragetool aus. Es ist nicht Open Source und man kann keine Umfragen importieren. Wir könnten also nicht mit XLSform arbeiten. Evtl. wird es eine non-code Anleitung für Lamapoll geben.

Kostenfreie Funktionalität

Deskriptive Statistik
Download von aggregierten Daten mit deskriptiver Analyse z.B. als Excel Sheet

Bezahlte Funktionalität

Download individueller Daten als CSV
Gruppenvergleichen in Web GUI (groupBy)
Einfachen Report mit desktiptiven Grafiken erstellen

Einführung

Analyse Einleitung

Vom Rohdatensatz zur statistischen Auswertung.

Datenbereinigung

Datenbereinigung

Deskriptive Auswertung

Deskriptive Auswertung

Schließende Statistik

Schließende Statistik

Im Gegensatz zur deskriptiven Statistik, die die vorliegende Daten beschreibt, geht es bei der schließenden Statistik darum Aussagen zu treffen, die über die beobachtete Gruppe hinaus gehen. Mal angenommen wir hatten 30 Teilnehmer an einer Umfrage. Mit schließender Statistik können wir Fragen beantworten wie: “Wie wahrscheinlich ist es, dass der Effekt den wir sehen (z.B. wer länger am Programm teilgenommen hat ist zufriedener) stabil ist und nicht durch Zufall in unserer kleinen Stichprobe an 30 Teilnehmer*innen zustande kam.”

Vielleicht ist euch im Statistik Kontext schonmal der Begriff p-Wert über den Weg gelaufen. Wenn dieser klein ausfällt (typischerweise <0.05), wird in der klassischen Statistik die Nullhypothese abgelehnt. In unserem Fall würden wir bei einem p-Wert von z.B. 0.03 die Nullhypothese, dass es keinen Zusammenhang zwischen Dauer der Teilnahme und Zufriedenheit gibt, ablehnen. Eine Aussage über die Wahrscheinlichkeit der Nullhypothese oder der Alternativhypothese ist allerdings nicht möglich.¹

Eine immer populärer werdende Richtung innerhalb der Statistik ist die Bayessche Statistik. Sie erlaubt im Gegensatz zur klassischen Statistik direkt Aussagen über Hypothesen zu treffen. Also Fragen zu beantworten wie: “Wie wahrscheinlich ist eine positive Korrelation zwischen der Dauer der Teilnahme und der Zufriedenheit”.

Wir haben für euch hier Tutorials für Coder und Nicht-Coder zur Bayesschen Statistik zusammengestellt.

JASP

Einführung in die statistische Auswertung mit JASP.

Bayes-Statistik

• JASP ist eine Open Source GUI für statistische Auswertung mit einer großen Community und vielen Ressourcen. Zum Beispiel:

• Dieses Buch zur Einführung in JASP auf deutsch. (Gerade am entstehen)

• OECD survey analysis with hierarchical linear model. Not exactly great modeling, but one example. They use R-Hat and Effective Samples Size as convergence criteria. Posterior predictive p-value as check of model adequacy.

• Look more at Jonathan Wakefield. He supposedly specializes in hierarchical models for survey data

Footnotes

1. Die korrekte Interpretation eines p-Werts ist: “Wie wahrscheinlich sind die gegebenen Daten oder noch extremere Daten unter der Annahme, dass die Nullhypothese wahr ist?” Wenn diese Wahrscheinlichkeit klein ist, dann wird die Nullhypothese abgelehnt. Daraus lässt sich aber nicht ableiten wie wahrscheinlich es ist, dass die Nullhypothese falsch ist. ↩

Einführung

Von Daten zu Taten

Wie man Ergebnisse visualisiert, kommuniziert und in Maßnahmen übersetzt.

Datenvisualisierung

Datenvisualisierung

Ergebnisse kommunizieren

Ergebnisse kommunizieren

Datenbasiert entscheiden

Datenbasiert entscheiden

Methodik & Daten veröffentlichen

Methodik & Daten veröffentlichen

DDI Codebook

Der Data Documentation Initiative Standard.