Doch noch eine Methodendiskussion
Es freut mich, daß wir nun doch noch über konkrete Punkte diskutieren können.
Vielleicht bekommen wir ja eine Arbeitsteilung hin: Sonnig beschreibt den praktischen Teil, und ich kümmere mich um die Theorie.
Wegen des unzureichenden Datenbestandes muss die Arbeitsgemeinschaft ihr offensichtlich fehlerbehaftetes Ausgangsmaterial anhand "statistischer Unterlagen" nachbearbeiten, um "repräsentative Aussagen" über das Nutzerverhalten der Allgemeinheit machen zu können. Es ist schwer vorstellbar, dass Daten, die nicht aussagekräftig genug sind um verwertbare Rückschlüsse auf das abgefragte Konsumverhalten ziehen zu können, im Nachhinein am Computer mit der Lebenswirklichkeit abgeglichen werden können. Was auch immer bei diesem "Redressment" simuliert, projiziert und hochgerechnet wird, bleibt wohl für immer das Betriebsgeheimnis der ag.ma.
Es klingt tatsächlich erst mal komisch, daß Informationen, die von Anfang an nicht vollständig sind (z B, weil man eben nicht die gesamte Bevölkerung befragen kann), quasi magisch aufgefüllt werden. Wenn es so wäre, könnte ich die Skepsis verstehen.
Ich würde es aber anders sehen: Die Information, die wir wollen, ist bereits vorhanden – nur nicht so, daß sie direkt und ohne Transformation verwendet werden kann. Aufgabe von Transformation und Redressment ist es, Information, die versteckt ist (aber durchaus vorhanden), herauszuschälen.
Ein einfaches Beispiel. Angenommen, die Bevölkerung Deutschlands besteht nur aus zwei Gruppen: Gruppe A mit 10 Millionen und Gruppe B mit 70 Millionen Menschen.
Ich mache nun eine Umfrage und stelle 1000 prinzipiell zufällig ausgewählten Menschen eine ja-nein-Frage.
300, also 30 Prozent, sagen „ja“ und 700, also 70 Prozent, sagen „nein“.
Ist es nun zulässig zu behaupten, 24 Millionen Deutsche würden auf dieselbe Frage auch „ja“ sagen und 56 Millionen Deutsche „nein“?
Oben habe ich geschrieben, die 1000 Befragten seien „prinzipiell“ zufällig ausgewählt worden. Nun weiß jeder aber, daß das nie so, wie gewünscht, klappt. Lottozahlen sind zufällig; bei Befragungen hingegen muß man immer mit Ausfällen rechnen – es ist ja keiner gezwungen zu antworten. Weiterhin wird es auch so sein, daß die Ausfallwahrscheinlichkeiten in verschiedenen Bevölkerungsgruppen
systematisch unterschiedlich sind. Wir notieren also bei den 1000 Befragten auch, zu welcher Gruppe A oder B der Bevölkerung sie gehören. Sagen wir, wir haben 800 von Gruppe A erwischt, aber nur 200 von Gruppe B.
Weiter im Beispiel. Die Antworten waren wie folgt verteilt:
Gruppe A: 200 „ja“, 600 „nein“ (25 Prozent „ja“)
Gruppe B: 100 „ja“, 100 „nein“ (50 Prozent „ja“)
Jetzt ist es durchaus naheliegend anzunehmen, daß die 800 Gruppe-A-Befragten repräsentativ für alle 10 Millionen Gruppe-A-Menschen sind. Ebenso die 200 Gruppe-B-Befragten für alle 70 Millionen Menschen aus Gruppe B.
Wir können also annehmen, daß 25 Prozent, also 2,5 Millionen Gruppe-A-Menschen, „ja“ sagen und ebenso 50 Prozent, also 35 Millionen Gruppe-B-Menschen.
Damit verkünden wir das Endergebnis für Deutschland: 37,5 Millionen „ja“ und 42,5 Millionen „nein“ (ca 47 % : 53 %).
Was wir hier eben an einem bewußt einfachen Beispiel durchexerziert haben, ist das Standardverfahren bei jeder Befragung. Auch bei Prognosen und Hochrechnungen für Wahlen wird exakt so verfahren. Die Rohdaten so zu nehmen, wie sie sind, und auf Deutschland hochzurechnen (in unserem Beispiel: 30 Prozent „ja“), wäre der sicherste Weg, sich mit falschen Prognosen lächerlich zu machen.
Es ist nicht weiter verwunderlich, dass die ag.ma ihre Methoden nicht offenlegt, um Interessierten die Möglichkeit zu geben, sich ein Bild von der Aussagekraft der MA Radio zu machen.
Das Verfahrensprinzip ist schon sehr genau offengelegt. Um die Zahlen wirklich per Hand (oder Taschenrechner) nachrechnen zu können, bräuchte man aber sämtliche Rohdaten und die genauen Transformationen.
Beide sind aber tatsächlich wohlgehütete Betriebsgeheimnisse der einzelnen Umfrageinstitute. Dieses Wissen ist ihr Kapital und wird vor allem wegen der Konkurrenzsituation nicht preisgegeben.
Der Beweggrund dieser Geheimhaltung ist also in meinen Augen nicht, Interessierten die Einschätzung der Aussagekraft unmöglich zu machen, sondern die Wahrung von wichtigen Geschäftsgeheimnissen. Daher hat bestenfalls der Besteller und Bezahler der Analysen ein Recht auf Einsicht; die Öffentlichkeit eher nicht.
Ob die Besteller und Bezahler von ihrem Recht Gebrauch machen, entzieht sich meiner Kenntnis. Ich an deren Stelle würde aber wenigstens neben den hochgerechneten Zahlen den geschätzten Fehler dazu wissen wollen. Es ist nämlich ein Unterschied, ob der erwartete Fehler bei, sagen wir, 50000 Hörern 2000 oder 20000 Hörer beträgt. Im ersten Fall kann ich mir meiner 50000 Hörer relativ sicher sein; im zweiten muß ich damit rechnen, daß ich in der nächsten Auswertung auch mal 70000 („Hurra! Alles richtig gemacht!“) – oder eben 30000 („Sofort alles ändern!“) als Ergebnis präsentiert bekomme.
Vielleicht kann Sonnig ja dazu mal ein bißchen aus dem Nähkästchen plaudern?
