[ Geschlossen ] Grundlagen: Blindtest

Nachfolgender Artikel ist als Ergänzung zu AudioHQ -> Blindhörtests gedacht und hiermit dank der Kopier-Genehmigung des Autors erstmal nur zur Diskussion gestellt werden. Der Schwerpunkt des Artikels liegt aber auf Blindtests im Hifi-Bereich. Ergebnisse einer evtl. entstehenden und auch erwünschten Diskussion werden hier auf AudioHQ eingearbeitet, aber auch gesammelt an den Autor und das Herkunftsforum zurückgemeldet. Passagen des Textes die sich auf das Herkunftsforum (siehe Quelle) beziehen habe ich der Form halber in oranger Textfarbe hervorgehoben, ansonsten habe ich den nur zum Zwecke der Formatierung ergänzt, an denen Stellen wo es der Text wegen der unterschiedlichen BB-Sprache der Forensoftware erforderte. Im Gegensatz zum Herkunftsforum haben wir bereits seit Beginn unserer Arbeit eine Klausel in unseren Nutzungsbestimmungen unter Punkt 4, auf den ich hiermit Hinweise..

Hier aber nun der Artikel:.

Ein umstrittenes Thema, zu dem es hier im Forum schon sehr kontroverse Diskussionen gab. Vielleicht bleibt das diesem Thread hier erspart, denn es geht hier um die Fakten, also darum, was ein Blindtest ist, wann und weshalb er nötig ist, welche Erkenntnisse man aus ihm gewinnen kann, und was bei der Durchführung zu beachten ist.

Was ist ein Blindtest?

Eines vorweg: Es hat eigentlich nichts mit Blindheit zu tun. Ein Test wird auch nicht dadurch zum Blindtest daß man die Augen schließt oder eine Augenbinde angelegt bekommt.

Ein Blindtest ist dazu gedacht, diejenigen Wahrnehmungen und Kenntnisse, an denen man beim Test nicht interessiert ist, davon abzuhalten, das Testergebnis zu beeinflussen. Wer zum Beispiel durch Test die geschmacklichen Unterschiede zwischen verschiedenen Tütensuppen untersuchen will, der muß vermeiden, daß die Tester die Suppe zu sehen bekommen, damit z.B. die farbliche Gestaltung der Suppe keinen Einfluß auf das Testergebnis hat. Ebenso sollte man beim Test verhindern, daß die Tester die Suppen riechen können, ansonsten werden sich Geschmack und Geruch im Testergebnis vermischen.

Es genügt dabei nicht, den Tester nur anzuweisen, sich auf bestimmte Arten der Wahrnehmung zu konzentrieren und die unerwünschten auszublenden. Der Mensch kann nicht zuverlässig bestimmte Teile seiner Wahrnehmung bewußt ignorieren. Deshalb muß der Blindtest durch eine geeignete Art der Testdurchführung dafür sorgen, daß unerwünschte Arten der Wahrnehmung keinen Einfluß auf das Testergebnis nehmen können.

Die Verblindung ist daher im übertragenen Sinn zu sehen. Es geht nicht speziell um den Gesichtssinn, sondern um alle menschlichen Sinne, an denen man im Rahmen des Tests nicht interessiert ist. Im Rahmen von Hörtests, die hier in erster Linie interessieren, ist allerdings in der Tat der Gesichtssinn der wichtigste "störende" Sinn.

Wann Blindtests

Blindtests sind dann nötig, wenn man zu faktischen, objektiven Aussagen über die Fähigkeiten bestimmter Sinnesorgane kommen will. Sie sind auch erforderlich, um zu objektiven Aussagen zu kommen über die Wahrnehmbarkeit bestimmter Phänomene.

Die dabei gewonnenen Erkenntnisse sind in der Regel statistischer Art. Das bedeutet man kann nicht davon ausgehen, daß ein bestimmtes Phänomen, das in einem bestimmten Test nicht wahrgenommen wurde, von niemandem wahrgenommen werden kann. Aus einer statistisch relevanten Anzahl von Tests kann man aber Prognosen darüber ableiten, mit welcher Wahrscheinlichkeit ein bestimmtes Phänomen wahrgenommen werden kann. Die Wahrnehmungsfähigkeiten von Menschen unterliegen einer gewissen Variation, und können in gewissen Grenzen auch durch Training geschärft werden.

Man macht Blindtests also dann, wenn ein Zweifelsfall bzgl. der Wahrnehmbarkeit eines Phänomens vorliegt, der objektiv geklärt werden soll.

Aus dem zuvor Gesagten ergibt sich auch wann man keinen Blindtest braucht:
*  Subjektive Aussagen brauchen in keinem Fall durch solche Tests überprüft werden. Erst wenn einer subjektiven Aussage ein objektiver Wahrheitsgehalt unterstellt wird, bedarf es auch einer objektiven Überprüfung.
*  Bei ohnehin unumstrittenen Aussagen wird es sich in aller Regel erübrigen.
*  Wenn es nicht um die Wahrnehmbarkeit geht, sondern z.B. um das Vorhandensein eines Phänomens. Solche Fälle können oft einfacher durch Messungen oder andere Methoden geklärt werden.

Der letzte Punkt bedarf vielleicht noch eines erklärenden Beispiels: In der berühmten und heiß debattierten "Kabelklangfrage" ist es weitgehend unumstritten, daß verschiedene Kabel unterschiedliche Meßwerte aufweisen können. Die offene Frage ist, ob diese meßbaren Unterschiede auch zu wahrnehmbaren Unterschieden im Klang des transportierten Audiosignals führen. Es geht also nicht um die Existenz von meßbaren Unterschieden, sondern um deren Relevanz für die menschliche Wahrnehmung. Die Klärung dieser Relevanz erfordert Blindtests.

Warum Blindtests?

Anders gefragt, warum verläßt man sich nicht einfach auf die Fähigkeit des Menschen, seine Wahrnehmung richtig zu bewerten, und seine Aufrichtigkeit? Mehr noch: Ist es nicht ein Ausdruck übertriebenen Mißtrauens - ja sogar eine Schikane - wenn man einen Blindtest fordert?

Nun, eine Schikane könnte es natürlich im Einzelfall auch sein - wer könnte das grundsätzlich ausschließen. Es gibt aber genügend Erfahrungen mit der menschlichen Wahrnehmung, um nichtblinden Tests mit ernsten Zweifeln bezüglich ihrer Aussagekraft zu begegnen.

Ein klassischer Fall, der ein Licht auf diese Eigenheiten der menschlichen Wahrnehmung geworfen hat, und der stark zur wissenschaftlichen Aufarbeitung dieses Problemfeldes beigetragen hat, war der Fall des "klugen Hans". Es handelte sich dabei um ein angeblich des Rechnens und anderer Intelligenzleistungen fähiges Pferd. Eine scharfsinnig Untersuchung ergab schließlich, daß das Pferd nicht rechnen konnte, sondern nur eine außerordentliche Fähigkeit besaß, auf kleinste körperliche Regungen des Fragenden zu reagieren. Das konnte man z.B. daran erkennen, daß das Pferd immer dann "versagte", wenn dem Frager die korrekte Antwort selbst nicht bekannt war. Wer genügend Körperbeherrschung hatte, um gegenüber dem Pferd die winzigen Gesten willkürlich vorzuspielen, die es für Zustimmung oder Ablehnung hielt, konnte es beliebig an der Nase herumführen.

Ich will hier nicht von den Wahrnehmungseigenschaften des Pferdes auf die des Menschen schließen, das wäre ein zweifelhafter Schluß. Das Beispiel ist vor allem deswegen interessant, weil sich durch den klugen Hans auch etliche gestandene Wissenschaftler zu falschen Schlüssen verleiten ließen. Der Besitzer des Pferdes war sogar derart den Fähigkeiten des Pferdes "verfallen", daß er an seine besonderen Fähigkeiten sogar dann noch glaubte, als sie schon schlüssig und zweifelsfrei widerlegt worden waren - bis zu seinem Tode. Entsprechende Berichte/Gerüchte ("Urban legends") haben sich noch für Jahrzehnte gehalten, und gingen um die ganze Welt. Trotz schlüssiger Widerlegung hat der Glaube an die "besonderen Fähigkeiten" des Pferdes (und bald auch anderer Tiere) Verbreitung bei Millionen von Menschen gefunden.

Dieses Beispiel hat den Blick darauf geschärft, wie leicht man von seiner Wahrnehmung zu falschen Gewißheiten verleitet werden kann, selbst wenn man eine skeptische und gewissenhafte Einstellung hat. Es zeigt auch wie schon ganz geringfügige Sinnesreize, wenn sie unbewußt und unbemerkt bleiben, zu völlig falschen Ergebnissen führen können. Und es zeigt, wie schwer es sein kann, durch schlüssige Argumentation gegen einen Glauben anzugehen, der von vielen Menschen gerne angenommen wird. Es ist offenbar leichter, etwas Falsches zu glauben, wenn viele Andere ebenso daran glauben.

Wie Blindtests?

Hier eine Übersetzung der "10 Anforderungen an empfindliche und zuverlässige Hörtests", das englische Original gibt's hier:
PCABX

1. Das Programmmaterial muß kritische Passagen enthalten, die das Hören von Unterschieden möglichst einfach machen.

2. Hörer müssen für hörbare Unterschiede empfindlich gemacht werden, damit er diese bemerkt und sinnvoll auf sie reagiert, wenn die Anlage sie hervorbringt.

3. Hörer müssen dafür trainiert werden, systematisch zu hören, damit hörbare Unterschiede gehört werden.

4. Die Abläufe sollten "offen" für das Entdecken von Problemen sein, die gegenwärtig nicht unbedingt wohlverstanden auf der technischen Ebene, oder nicht erwartet sind. Ein klassisches Problem bei Messungen und bei manchen Hörtests ist, daß jede/r auf lediglich einige wenige Probleme gerichtet ist, und so andere Probleme der Aufmerksamkeit entgehen können.

5. Wir müssen darauf vertrauen können, daß das zu testende Gerät (Unit Under Test - UUT) repräsentativ für die Art von Geräten ist, die es repräsentiert. Mit anderen Worten: Es darf nicht defekt sein, nicht irgendwie verborgen verändert sein, und nicht von falschen Hersteller oder das falsche Modell sein.

6. Eine passende Hörumgebung muß bereitgestellt werden. Sie soll nicht zu dumpf oder hell, zu gestört oder zu verhallt, oder zu hart klingen. Die Lautsprecher und andere Komponenten müssen in ausreichendem Maß von Verzerrungen frei sein, der Raum nicht Störgeräuschen unterworfen, etc.

7. Hörer müssen in einer für's Hören guten Stimmung und körperlichen Verfassung sein (keine verstopften Ohren!), und gut trainiert sein im Hören von Beeinträchtigungen im wiedergegebenen Schall.

8. Die Lautstärkepegel der verschiedenen Hörproben müssen aneinander angepaßt sein, ansonsten werden die Hörer Unterschiede wahrnehmen, die lediglich den Lautstärkeunterschieden geschuldet sind.

9. Nich-hörbare Einflüsse müssen so beherrscht sein, daß der Hörer seine Schlüsse aus dem "bloßen Hören" zieht.

10. Hörer sollten so viele Aspekte des Hörtests wie möglich selbst kontrollieren. Selbstgesteuerte Tests ermöglichen das normalerweise. Das wichtigste: Hörer sollten zwischen den Alternativen zu selbstgewählten Zeiten umschalten können. Die Umschaltung sollte möglichst momentan und ohne Unterbrechung erfolgen.

Wie man sehen kann geht es dabei nicht nur darum, Fremdeinflüsse auszuschließen, die das Ergebnis verfälschen könnten, sondern auch darum, den Test so empfindlich wie möglich zu machen, so daß ihm möglichst wenige hörbare Effekte entgehen. Je nach der Fragestellung des Tests kann es auch erforderlich sein, die tatsächliche Empfindlichkeit des Tests festzustellen, z.B. indem man Material mit bekannten Unterschieden mittestet.

Einige der 10 Anforderungen werden bei ad-hoc durchgeführten Blindtests oftmals vernachlässigt, wodurch die Aussagefähigkeit des Tests stark leiden kann. Dazu gehören z.B. die Punkte 5, 8 und 9.

Zum Punkt 5 gehört auch, daß man sich vom einwandfreien Zustand der Gesamtanlage überzeugt. Diese kann z.B. auch dann Störeinflüssen unterworfen sein, wenn jedes einzelne Gerät fehlerfrei ist. Ist eine Anlage z.B. auf eine nicht offensichtliche Art gestört, so kann das leicht zu verzerrten Testergebnissen führen.

Punkt 8 muß gewissenhaft befolgt werden, denn die Erfahrung lehrt das schon geringfügige Lautstärkeunterschiede, die nicht als solche auffallen, irrtümlicherweise als Klangunterschiede beurteilt werden.

Punkt 9 ist letztlich die Forderung nach Verblindung des Tests. Hier muß gewissenhaft alles ausgeschlossen werden, was dem Hörer einen unerwünschten "Tip" geben könnte, der in seine Bewertung einfließen könnte. Dazu kann z.B. ein verräterischer Klick beim Umschalten gehören, oder eine Geste des Versuchsleiters (siehe kluger Hans). Oft wird man dafür zur doppelten Verblindung greifen müssen, bei der auch die anderen Anwesenden in Unkenntnis darüber sind, welche Probe wann spielt. Ein Test, bei dem neben dem Hören selbst ein weiterer (Um-)Weg existiert, wie der Hörer eine Zuordnung treffen kann, ist praktisch wertlos, weil nicht mehr auseinandergehalten werden kann, auf welche Weise der Hörer zu seiner Bewertung gekommen ist. Es ist dabei nicht nötig, daß der Hörer den Umweg bewußt nutzt und den Test hintertreibt, es kann ebenso auch völlig unbewußt passieren, auch bei wohlwollender und aufrichtiger Einstellung des Hörers.

Was die Ergebnisse aussagen

Hier ist zunächst festzuhalten, daß es sich um statistische Tests handelt. Die Auswertung des Tests erfolgt daher mit statistischen Methoden, weshalb der Auswertende in diesem Feld gewisse Kenntnisse mitbringen sollte. Solche Kenntnisse gehören nicht zum Allgemeinwissen, und intuitive Schlüsse können sehr leicht in die Irre führen.

In aller Regel geht es zunächst darum, festzustellen, mit welcher Wahrscheinlichkeit das erzielte Testergebnis auch hätte zufällig entstehen können (also durch reines Raten). Ein Test kann nur als erfolgreich gewertet werden, wenn diese Wahrscheinlichkeit gering genug ist. Damit solche Bewertungen auch nachvollziehbar sind, ist eine genaue Dokumentation nötig.

Wie schon angedeutet erlaubt die statistische Natur des Tests keine Aussagen, die mit absoluter Sicherheit gelten. Im Grunde kann daher weder die Unhörbarkeit noch die Hörbarkeit eines Phänomens mit absoluter Sicherheit festgestellt werden. In den meisten Fällen wird eine ausreichend große relative Sicherheit ebenfalls genügen. Es ist aber angebracht, sich diese Einschränkung bei der Ergebnisbewertung vor Augen zu halten.

Wenn das Ergebnis des Tests den aus bisherigen Erfahrungen oder Überlegungen gebildeten Erwartungen nicht entspricht, dann wird der nächste Schritt darin bestehen müssen, dafür die Ursachen zu eruieren. Ein solcher Ausgang des Tests bedeutet nämlich nicht automatisch daß die Erwartungen falsch waren. Möglicherweise könnte der Test mangelhaft gewesen sein, ohne daß dies aufgefallen wäre. So könnte die Verblindung einen Mangel gehabt haben, oder der Test war nicht empfindlich genug, z.B. weil die Hörer nicht ausreichend trainiert oder nicht in der besten Verfassung waren.

Beim Ziehen von Schlußfolgerungen aus dem Test muß man also mit der gebotenen Vorsicht zu Werke gehen, um nicht der Gefahr anheimzufallen, die richtige Erklärung für das Ergebnis zu übersehen.

Auf der anderen Seite ist es natürlich verlockend, bei einem Mißerfolg dem Test die Ursache anzuhängen, wohl wissend daß eine abschließende Beweisführung darüber schwierig sein wird.

Letztlich ist es daher sinnlos, wenn Leute testen, die den "richtigen" Ausgang des Tests schon vorher zu kennen meinen, und nicht ernsthaft an der Gewinnung neuer Erkenntnisse interessiert sind. Ein solcher Test wird niemals Ergebnisse bringen, die man nicht auf die eine oder andere Weise anzweifeln kann.

Einwände und Streitpunkte

Blinde Hörtests werden regelmäßig kritisiert, gerade auch hier im Forum. Die Einwände gehen bis zu einer völligen Ablehnung von Blindtests, die als ungeeignet zum Aufspüren selbst deutlicher Unterschiede bezeichnet werden.

Hier also eine unvollständige Liste von Einwänden, samt eines Kommentars dazu von meiner Seite:
*  Blindtests beweisen nichts.
Stimmt. Jedenfalls wenn man darunter etwas versteht, das mit 100%iger Sicherheit gilt. Schon die statistische Methode verhindert, daß man etwas mit absoluter Sicherheit beweisen kann. In den allermeisten Fällen ist aber auch eine relative Sicherheit ausreichend. Vielleicht sollte man daher nicht von einem Beweis, sodern von einem Beleg reden.

*  Blindtests sind zu unempfindlich
Möglich. Bestimmte Eigenheiten eines Blindtests verringern dessen Empfindlichkeit tatsächlich. Ein guter Blindtest versucht nach Möglichkeit, solche Beeinträchtigungen zu vermeiden. Dennoch ist natürlich nicht unbedingt gewährleistet, daß die Empfindlichkeit ebenso groß ist wie außerhalb der Testsituation. Falls es nötig ist, sich darüber Gewißheit zu verschaffen, kann man entweder die Empfindlichkeit mitmessen, indem man bekannte Proben mittestet, oder man kann den Test dreifach verblinden, das heißt der Hörtester weiß dann noch nicht einmal daß getestet wird. All dies erhöht natürlich den Testaufwand u.U. beträchtlich. Es hängt von der zu testenden Fragestellung ab inwiefern und in welchem Ausmaß solche Maßnahmen nötig sind.

*  Blindtests spiegeln nicht die normale Hörsituation wieder.
Das ist natürlich trivialerweise richtig, denn bei normalen Hörsituationen geht es nicht um den Vergleich von fast identischen Proben. Der Zweck ist ein völlig verschiedener. Das ist aber im Grunde keine Kritik am Blindtest. Die dahinter stehende Frage ist wohl eher die, ob der Blindtest, oder nichtblindes Hören besser geeignet sind, um Unterschiede zwischen Proben "dingfest" zu machen. Hier mögen nichtblinde Tests zwar empfindlicher sein (was aber keineswegs klar ist - hier soll es bloß als Möglichkeit gedacht sein), aber sie werden dadurch disqualifiziert, daß nicht zwischen tatsächlichen Unterschieden und Artefakten der Wahrnehmung unterschieden werden kann. Es kann hier wohl keinen Sinn ergeben, sich eines Problems zu entledigen, indem man sich ein noch größeres einhandelt.

Quelle
Autor

Hinweis:
Selbstverständlich sind diese "freiwilligen Textspenden" übrigens nicht, deshalb bitte ich darum (soweit dies möglich ist) bei Gefallen diese auch entsprechend zu würdigen oder sie als Anregung dafür herzunehmen das Herkunftsforum  zu besuchen. Dies ist Werbung im Sinne einer notwendigen Netzwerkarbeit um Synergien nutzen zu können, denn verständlicherweise ist es nicht immer notwendig, seitens unseres hauseigenen Autoren-Teams  eigene Artikel zu schreiben, wenn es bereits deutschsprachige Ressourcen auf hohem Qualitätsniveau gibt, auf die es sich zum Zwecke der Wissensvermittlung zu verweisen lohnt.  Selbstverständlich dient uns dieses Mittel, welches wir nur an bestimmten Punkten einsetzen, dazu unsere Ressourcen zu schonen, damit mehr Zeit für eigene Artikel bleibt. Soweit mir das möglich ist, achte ich auch darauf, daß diese Kooperationen zum beiderseitigen Nutzen ausfallen, anfallende Diskussionen also auch in (teilweise aufbereiteter) Form von Feedback an die Autoren und Herkunftsressourcen zurückfliessen. Davon ab, werden sie aber nur selten auf Hinweise dieser Art treffen, da wir nicht vorhaben unsere Roadmap für die nächsten Jahre aus "Fremdbeiträgen" zu rekrutieren..