Blind tests

[damiano]

@jakob1965 @meridian@Cano@Bruce Wayne la regola "il campione deve essere causale" è la più importante. Poi possiamo pesare come vogliamo e "pilotare" il test per l'applicazione che stiamo considerando. I test in cieco, doppio cieco, con placebo, ecc. ecc. sono molto diffusi in farmacologia ed hanno una storia secolare che nessuno si è mai sognato di contestare.

Non capisco perchè si dica che non si possa fare per la valutazione di un'apparecchiatura hifi. E' molto simile ai test con il vino: si coprono le etichette, gli assaggiatori assaggiano (e cos'altro potrebbero fare) e poi, immediatamente, esprimono le impressioni su un foglio di valutazione che è assolutamente parametrico ed è la cosa più importante da definire. In questo caso di deve selezionare un campione rappresentativo, in funzione dei parametri di valutazione.

Se invece volessi fare un test di "gradimento" del vino, magari destinato al mass market, il campione deve essere casuale e mi pare ovvia la differenza.

Ciao

D.

[Ggr]

Secondo me stiamo mescolando un po di cose.

Premetto che sono favorevole ai test in cieco, ma non per stabilire il migliore tra due apparecchi, ma solo per stabilire se si sentono differenze,  perché il concetto di migliore o peggiore, rientra già nel soggettivo, e poco ci azzecca con il contesto.

[Bruce Wayne]

14 minuti fa, damiano ha scritto:

la regola "il campione deve essere causale" è la più importante. Poi possiamo pesare come vogliamo e "pilotare" il test per l'applicazione che stiamo considerando

Non ho contestato in toto la necessità della scelta casuale del campione. Ma il problema della rappresentatività esiste. Ti faccio un esempio. La mia compagna non ascolta musica e non gliene frega nulla degli impianti Hi-Fi, non è mai stata in una sala d'ascolto e non sa cosa sia o a che cosa serva un'amplificatore. Casualmente scegli un campione e dentro ci finiscono in gran parte soggetti molto simili alla mia compagna. Difficile che il risultato del nostro test in cieco su ampli A e ampli B dia risultati attendibili: molto probabilmente soggetti simili non troverebbero differenze tra un MP3 e un CD, figuriamoci tra due amplificatori. 

La mia è una precisazione puramente teorica: sono convinto che un test in cieco su ampli A e ampli B verrebbe proposto ad una platea formata da soli audiofili. E torniamo alla scelta casuale.

[Bruce Wayne]

@Masino me la ricordo la discussione su CD vs Hi-Res: una battaglia.

La leggera supremazia dell'Hi-Res è un "finding" di un articolo del 2016 pubblicato sul Journal of the Audio Engineering Society, un Journal 1st quartile nel settore scientifico disciplinare Music dal 1999 al 2019, quindi un Journal autorevole.

Qui il link al quale reperirlo: https://www.aes.org/e-lib/browse.cfm?elib=18296

Io personalmente non ho mai rilevato differenze udibili tra CD e Hi-Res, ma io non sono in grado di replicare le condizioni dell'analisi svolta nell'articolo citato, poichè è troppo condizionante la masterizzazione: può essere benissimo che un CD suoni meglio di un Hi-Res se quest'ultimo è un pessimo riversamento in digitale.

[Nerodavola62]

41 minuti fa, Masino ha scritto:

Non credo affatto che quel test lo facemmo solo in tre, penso piuttosto che parecchi qui non abbiano voluto condividere le proprie risposte per evitare di esporsi alla crudele evidenza dei fatti, mantenendo la possibilità di pretendere abilità uditive straordinarie supportate da impianti assemblati con grande maestria. Sono le regole della casa..

Fenomeno curioso vero ?
Quando ci si mette alla prova (anche nella comfort zone assicurata dal divano di casa) ecco che le orecchie d'oro e gli impianti al di sopra di ogni sospetto ...inspiegabilmente mostrano il fianco.

mauro

[jakob1965]

@damiano io non è che abbia in realtà nulla di particolare contro questi test  - anzi se c'è da fare lo faccio pure volentieri - 

 

Incomincio un poco ad irritarmi quando si pensa che la scienza e il progresso umano sono figli di questi test - una balla colossale 

 

Insomma un test indicativo indiziario non la fonte della verità: un esempio classe A versus classe AB - chi sostiene che solo con il test in cieco si possano forse individuare differenze già mi irrita:  il funzionamento del circuito è diverso e balla una distorsione (quella di incrocio) tra le 2 classi - chi inizia a ragionare così è per me poco scientifico e razionale - qui abbiamo una evidenza circuitale e strumentale come differenza di partenza - poi qualcuno la percepisce ed altri no e ci mancherebbe.

 

Io con un test in cieco non sapevo riconoscere il cavo da 100 € di segnale rispetto ad una anaconda da > 1000 € (ho usato mia figlia che non sapeva pure lei cosa stesse facendo) ma non mi sogno di dire che i cavi di segnale sono tutti uguali - sono prudente. Insomma un argomento delicato e pieno di trappole da sviscerare con calma. Ho un classe AB decente che uso ora ma il piacere d'ascolto con in miei 2 classe A non lo ottengo - magari però questo processo non sarebbe intercettabile con una prova in cieco - o a fatica forse - non per questo per me non esiste 

 

Se la platea di un test è composta da ugualisti convinti  - è inutile fare il test - questi piuttosto che ammettere differenze ....  insomma prudenza

 

 

[Cano]

1 ora fa, damiano ha scritto:

Non capisco perchè si dica che non si possa fare per la valutazione di un'apparecchiatura hifi. E' molto simile ai test con il vino:

Ma hai presente quali siano le criticità di una bottiglia di vino?

Questi confronti fanno ridere 

Infatti ci salta fuori di tutto 

Lasciamo perdere quanto detto fino ad ora 

Secondo te...

Un blind test in campo audio è un blind test sulle possibili differenze tra due apparecchi o è un blind test sulle tue capacità di riconoscere eventuali differenze?

Come facciamo a risolvere questa questione?

[n.enrico]

1 ora fa, Bruce Wayne ha scritto:

discussione su CD vs Hi-Res

Io non sento differenze fra Tidal e Spotify, ma sento differenze fra cavi, ma non sento differenze far cavi usb, ma sento differenze fra .... ecc... ecc ...

Per questo il banalizzare tutto invocando la suggestione non mi torna, non nel mio caso almeno.

[giaietto]

Ci sono cose che sento ed altre che invece non sento.

Sto rodando l’intero sistema amplificazione/diffusori, noto un cambiamento nei primi 30-40 minuti ma poi nulla con il passare dei giorni.

Ho sentito chiaramente la differenza dell’inserimento dei Gaia III, ma ai tempi non ho sentito nulla inserendo dei “blasonati” ponticelli Cardas Clear.

Con i primi Norma Mono usavo con soddisfazione dei cavi di alimentazione della Kraun per Pc. Con i secondi mono Norma 160 erano inascoltabili e ho optato per degli Zavfino. Insomma. Chi la sa la verità 🤪

[Bruce Wayne]

1 ora fa, jakob1965 ha scritto:

Ho un classe AB decente che uso ora ma il piacere d'ascolto con in miei 2 classe A non lo ottengo - magari però questo processo non sarebbe intercettabile con una prova in cieco - o a fatica forse - non per questo per me non esiste 

Infatti, amico mio, il segreto è metter su il nostro BC e smettere di fare prove per cercare differenze microscopiche. Mi concentro sull'ascolto e me ne frego del "cosa suona meglio": da un certo punto in su le differenze sono inevitabilmente sottili. Dal mio punto di vista il focus resta sempre l'ascolto in sè, ed è importante non perderlo di vista.

[_Diablo_]

9 ore fa, FabioSabbatini ha scritto:

Due dac uno da 300 euro e uno da 30000 euro differiscono tra di loro, in termini di prestazioni rilevabili strumentalmente, molto probabilmente anche meno di due ferrari stesso modello...

Ma alcuni pretendono che solo quello esoso sia "di qualità " e l'altro al confronto è  come una panda

Che dire, per me è uno regalo quasi insperato, troppo facile demolire argomentazioni così deboli

Preferisci continuare col giochino Pandino ? Fai pure 

(Non mi riferisco ad Audiograffiti )

 

L'esempio serviva per criticare il test in cieco, non è che un test sempre corretto dipende da come lo imposti.

-
Il resto è opinabile: strutturalmente anche se pervengono a misure simili (che ricordo sono tutt'altro che dirimenti quanto piuttosto meramente indicative) sono assai diversi. C'è una quantità di lavoro in più dietro che non si può ipersemplificare come stai facendo. Ripeto i costruttori di DAC da 300€ fanno tutto al computer, copiano i data sheet dei DAC per gli stadi di uscita e probabilmente neanche ascoltano quello che fanno. Al contrario dei DAC "esoterici" che spendono non solo per la tecnica ma anche per l'ascolto e fine tuning.

Poi ti piace di più nel tuo sistema il DAC da 300€? Pace va bene, però non bisogna essere prevenuti a prescindere contro gli oggetti costosi. Altrimenti creiamo un Bias negativo contrario a quello che si presume influenzarci in positivo, ovvero siccome credi che non ci siano differenze non le senti (a vista).

.

Poi un conto è stabilire se esistono differenze, un altro per stabilire chi si sente "meglio".

Però decidetevi perchè se le aziende esoteriche sono accusate di usare approcci "creativi" come dicono i misuroni digitali, vuol dire che delle differenze ci sono per forza daro che sono ricercate e create ad hoc con ore e ore di sound tuning.

[damiano]

@Cano non è così complicato come può sembrare. È tutta questione di parametri e metodologia. I parametri: supponiamo di provare a "sentire" 😉 quale amplificatore controlla meglio il basso; poi si decide la scala 0 il peggiore, 10 il migliore. Si allestisce l'impianto adeguato e si sceglie il campione che vogliamo rappresentativo: tra il 100 "pipistrelli" disponibili ne scegliamo 30 a caso, il metodo Montecarlo è perfetto per avere il campione casuale, si esegue il test e si valutano i risultati. Naturalmente è un esempio su un solo parametro di valutazione ma penso si capisca cosa intendo.

Ciao 

D.

[_Diablo_]

2 ore fa, Cano ha scritto:

Un blind test in campo audio è un blind test sulle possibili differenze tra due apparecchi o è un blind test sulle tue capacità di riconoscere eventuali differenze?

Come facciamo a risolvere questa questione?

 

Per una volta siamo d'accordo. Il punto che non passa è proprio quello: un test cieco misura sempre la capacità del soggetto di riconoscere le differenze. Questo porta con sè una marea di limiti e problemi.

Il test non misura la differenza tra due apparecchi, quello possono farlo solo gli strumenti: la bilancia, il metro, l'oscilloscopio ecc. lì non hai problemi, solo che per quante misure fai ottieni risposte indicative e poco utili per lo scopo ultimo dell'oggetto e il contesto in cui verrà inserito.

-

Esempio:

-

DAC 1: 5.9kg, 25x27x8.9 cm; THD+N 0.0012%,    S/N 106dB

DAC 2: 0.8Kg, 16x16x6.8 cm; THD+N 0.00025%, S/N 112 dB

DAC 3: 24Kg, 44x13x44 cm;  THD+N 0.0007%,   S/N 113dB

-

Ecco le differenze. Il "come suona" è tutta un'altra storia, così come vogliono dire veramente poco le caratteristiche tecniche dichiarate da amplificatori e casse, altrimenti tutti dovrebbero scegliersi i propri componenti con l'annuario e i manuali in mano.

 

 

[_Diablo_]

29 minuti fa, damiano ha scritto:

si esegue il test

 

Quale test? Doppio cieco? Cieco? Disegno sperimentale?

Quanto deve durare il test?

In quale ambiente/location?

Con quale impianto di base?

Quali e quanti brani scegliamo?

Quanti confronti facciamo fare?

Per quanti secondi devono ascoltare?

Sono tutti collocati in posizione ottimale?

Dobbiamo inserire delle pause tra gli ascolti?

Randomizziamo la presentazione degli stimoli?

Li facciamo ascoltare tutti insieme o singolramente?

Quali form da compilare gli mettiamo a disposizione?

I  volumi sono livellati e fissi o comandabili a piacere dal soggetto? Perchè precedenti ricerche hanno trovato migliori risultati se al soggetto è lasciata la possibilità di usare il volume pur restando in cieco...

E queste sono solo le domande del primo minuto.

 

[alexis]

1 minuto fa, _Diablo_ ha scritto:

Con quale impianto di base

punto centrale … semplicemente perché non esiste un impianto di riferimento normato e certificato ( da chi poi.. dall’archimagomagò di Trucazzano, dalla saponificatrice di Correggio o dal muratore di Mapello ?) in poche parole del tutto neutro e trasparente all’uopo.

tutti i risultati saranno quindi viziati di relativismo, quindi del tutto inutili ai fini strettamente scientifici. Tanto vale imparare a convivere con le nostre impressioni, suggestioni, ossessioni.

Ma almeno divertendoci…