[ Geschlossen ] Blindhörtests

Blindtests sind ein elementarer Bestandteil der Entwicklung von Audiocodecs, da nur mit ihnen deren Qualität beurteilt werden kann.

Auf AudioHQ gilt die Regel, dass Aussagen zur Qualität von Audiocodecs durch Hörtestergebnisse begründet werden müssen. Dazu gehört die Angabe der verwendeten Testsamples. Vorbild ist dabei das Hydrogenaudio-Forum, das dies bereits seit 2001 so handhabt.

Frequenzanalysen würden lediglich das komplette Spektrum der Unterschiede zwischen Original und Kopie aufzeigen. Hydrogenaudio-Administrator JohnV hat dazu eine ausführliche Erklärung geschrieben.

ABX-Test.

Eine Variante des Blindhörtests, mit deren Hilfe man mit statistischer Signifikanz nachweisen kann, dass ein hörbarer Unterschied zwischen zwei beliebigen Audiodateien besteht.

Das Prinzip ist recht einfach. Sie haben zwei Audiodateien: A und B. Dabei könnte es sich zum Beispiel um das unkomprimierte Original und eine komprimierte Kopie handeln, wenn man hörbare Unterschiede bei lossy Codecs nachweisen möchte. Diese Dateien kann die Testperson sich beliebig oft anhören um sich mit ihnen vertraut zu machen.

Die eigentliche Testprozedur ist Folgende: Es wird ein Sample X hinzugenommen, das zufällig mit A oder B belegt wird. Die Testperson muss jetzt entscheiden, ob das unbekannte Sample X mit A oder mit B belegt wurde. Nach der Entscheidung, die entweder richtig oder falsch ausfallen kann, beginnt der zweite Testdurchlauf bei dem X wieder zufällig mit A oder B belegt wird. Schafft es die Testperson, in 16 Durchläufen mindestens 14 korrekte Antworten zu geben, ist bewiesen, dass ein hörbarer Unterschied zwischen Sample A und Sample B besteht.

Beim ABX-Test wird der berüchtigte Placebo-Effekt praktisch eliminiert, so dass ABX-Ergebnisse als relativ objektive Bewertungsgrundlage dienen können, insbesondere bei der Verwendung von Gruppenergebnissen. Behauptungen, Format X klinge immer besser als Format Y, sollten also in jedem Fall mit geeigneten ABX-Ergebnissen belegt werden um überhaupt eine Bedeutung zu haben.

Dabei ist es völlig egal, ob man Toningenieur mit 30 Jahren Berufserfahrung oder "normaler Hörer" ist, vom Placebo-Effekt sind alle Menschen gleichermaßen betroffen. Wer das nicht glaubt, der lese sich dieses Dokument eines alt eingesessenen Mastering-Ingenieurs durch.

Der Nachweis, dass zwischen zwei Samples kein hörbarer Unterschied besteht, ist weder mit ABX noch mit irgendeinem anderen real möglichen Testverfahren vollends möglich. Faktoren wie Konzentration, Ermüdung des Gehörs, und Unterbewusstsein können Unterschiede für eine Testperson wahrnehmbar machen, die sie vorher nicht heraushören konnte.

ABX-Tests können z.B. mit foobar2000 durchgeführt werden: Anleitung

ABC/HR.

ABC/HR-Tests dienen zur gewichteten Bewertung von mehreren komprimierten Samples. In einem ABC/HR-Test fließt neben der bloßen Frage, ob ein Unterschied zwischen komprimiertem Sample und dem Original gehört werden kann, auch die Frage mit ein, inwieweit dieser hörbare Unterschied als störend empfunden wird.

Dazu werden dem Hörer in jedem Durchgang zwei Audiodateien angeboten: das Original und ein zufällig ausgewähltes Testsample, wobei er nicht weiß, was was ist. Zusätzlich dazu steht ihm das Original als Referenz zur Verfügung. Der Tester muss nun durch Hören ermitteln, was Original und was Testsample ist.

Der Grad der Originaltreue wird danach durch den Hörer beurteilt und in ein Ranking-System eingeordnet, welches die Grundlage für die international anerkannte Methodik zur Bewertung von Audiosamples in einem A/B-Vergleich bildet. Die Skala ist wie folgt angelegt:

Wert  Beschreibung
----  ------------
   5  transparent (kein hörbarer Unterschied)
   4  Unterschied erkennbar, er ist aber nicht unangenehm
   3  leicht störender Unterschied
   2  störender Unterschied
   1  sehr unangenehmer Unterschied

Dies wird über mehrere Durchgänge für alle zu bewertenden Audiocodecs wiederholt. Ein solcher Hörtest ermöglicht damit eine vergleichende Bewertung der Qualität mehrerer Audiocodecs, was mit Hilfe von einfachen ABX-Tests nicht möglich ist. Aus den Beurteilungen lassen sich mit Hilfe von statistischen Berechnungsmethoden Aussagen wie "Codec A klingt besser als Codec B" ableiten.

Siehe auch:
* Übersicht der Hörtests von Roberto Amorim
* Empfohlene Vorbis-Encoder
* ABC/HR Software

Artefakte.

Als Artefakte bezeichnet man hörbare Unterschiede zwischen dem Original und der komprimierten Audiodatei. Beispiele folgen an dieser Stelle.

Eine sehr interessante Seite zu diesem Thema ist ff123.net.

Placeboeffekt.

Der Placeboeffekt ist ein Effekt der Einbildung, der Hörer wird verleitet, etwas zu hören was nicht reell existiert. Viele in Foren gemachte Behauptungen basieren fast ausschließlich auf der Einbildung, dass Unterschiede zum unkomprimierten Original existieren.

Der Placebo-Effekt stiftet gerade in der Audio-Welt ständig immens große Verwirrung und Unsicherheit, was vor allem damit zusammenhängt, dass man im Unterbewusstsein stark von der Meinung Anderer beeinflusst wird. Einmal in die Welt gesetzt, verbreiten sich Mythen wie z.B. vermeintliche Methoden zur Klangverbesserung bei CDs wie ein Lauffeuer. Nur aufgrund von Einbildungen uninformierter Personen ist es z.B. möglich, dass unverschämt teure Stifte mit einer grünen Spezialfarbe verkauft werden, mit denen man die Schublade seines CD-Players sowie die Datenseiten seiner CDs bemalen soll um angeblich in den Genuss wesentlich besserer Klangreproduktion zu kommen. Ähnliches gilt für mehrere Hundert Euro teure Stromkabel zum Anschluss von Stereoanlagen oder PCs, oder für Lautsprecherverbindungen im fünfstelligen Euro-Bereich. Es gibt gar Behauptungen, Audiodateien würden sich je nach verwendeter Festplatte im Klang unterscheiden, was technisch völlig unmöglich ist. Diese sowie weitere typische Behauptungen, denen mit ziemlicher Sicherheit der Placebo-Effekt zu Grunde liegt, finden Sie im Artikel The Digital Myth, geschrieben von einem erfahrenen Mastering-Ingenieur.

Zumindest beim Vergleich von beliebigen Audio-Samples auf einem PC ist der Placebo-Effekt glücklicherweise relativ leicht zu vermeiden, und zwar mit Hilfe des ABX-Testverfahrens.

In die gleiche Kategorie fällt übrigens der Effekt der Suggestion.

Wie Diskussionen zu diesem Thema für gewöhnlich ablaufen, lässt sich anhand dieses Threads (Fortsetzung) recht gut nachvollziehen. Das Schema ist überall das Gleiche.