Sulla scarsa utilità delle prove di ascolto in cieco e la qualità reale di un impianto audio…

[SimoTocca]

@faber_57 Bravo… io infatti ho studiato l’argomento proprio per fare alcune pubblicazioni scientifiche … ma ci sono diversi “warning”, avvertimenti di “pericolo” che spesso sono ignorati, specialmente qui sopra.

@extermination in maniera corretta e sintattica ha elencato 3 punti critici che potrebbero rendere “non attendibile” una prova di ascolto in cieco.

Ne riparliamo di sicuro, ma io voglio chiarire un punto che “precede” tutti gli altri:

le prove in cieco, specialmente in ambito medico, devono confrontare i risultati finali dei confronti con “numeri”, fattori misurabili.

Per dire: quanto è efficace l’Aspirina per l’impatto miocardico acuto versus il Placebo, alla fine si confronta il numero dei morti dopo 12 mesi (un esempio semplice di un vecchio studio, per rendere l’idea).

In altri termini io confronto l’impatto sulla sopravvivenza di due sostanze (Aspirina versus Zucchero a velo concentrato e pressato) di cui conosco, posso misurare direbbe @ilmisuratore in maniera oggettiva la composizione chimica. È il confronto lo si fa su quanti pazienti rimangono vivi a 12 mesi. 
E cioè il secondo termine del confronto è un dato che è, anche in questo caso, facilmente traducibile con un numero, cioè ancora una volta un risultato misurabile.

Sono stato chiaro fino ad ora? Lo spero perché il discorso  complicato…

Ecco, nei confronti in cieco che invece facciamo nel settore audio c’è questa importante e fondamentale differenza. Noi audiofili, cioè, non siamo in grado di misurare il risultato “soggettivo” del “sento la differenza o non la sento”, o peggio ancora, il soggettivo del “mi piace di più questo rispetto a quello”. Non è un numero, ma devo misurare la “significatività statistica”, la percentuale di ascoltatori che dice di sentire la differenza oppure di gradire più il DAC A rispetto al DAC B.

E qui nasce il secondo “inghippo”: per avere una significatività statistica di una risposta “soggettiva”, il numero di soggetti esaminati deve essere molto alto. Ma se io aumento il gruppo di ascolto, spesso ci metto dentro gente che non ha alcuna “competenza”, che non riconosce un pianoforte elettrico da un grancoda Steinway perché non lo ha mai neppure ascoltato, tanto per fare un esempio.
E cioè, per raggiungere un numero “statisticamente significativo” perdo in “specificità”.

Basterebbe questo primo “inghippo” per essere molto più cauti del @ilmisuratore nel “fidarsi ciecamente dei test in cieco”! 😆😂😉

Il problema, tuttavia, è che il vero grande “inghippo” dei test in cieco che esplorano il mondo dei sensi (il mi piace più questo di quello, che sia una cuffia o un vino, una pietanza o un violino..) sta ancora più a monte…

E se volete se ne parla… sempre scientificamente, è ovvio…

 

 

[SimoTocca]

1 ora fa, Mighty Quinn ha scritto:

E il principio è valido 

È osteggiato dagli audiofili?

Ulteriore indizio che è valido 

Bravo, però se leggi le poche righe che ho scritto qui sopra, ti accorgi che rispetto ai test in cieco a scopo medico-scientifico, qui si cerca un risultato soggettivo! E questo è un punto chiave così importante che il fatto che tu, e diversi altri, lo abbiate ignorato fino ad ora, rende la questione assai diversa …. 
Io, che sono un sostenitore a spada tratta, nonché utilizzatore, nonché autore di pubblicazioni in cui uso test in cieco, anzi in doppio cieco, sono qui come audiofilo ad “osteggiare” il test in cieco!

O meglio: non ad osteggiare, ma a cercare di capire le difficoltà nell’applicare lo stesso principio, il test in cieco, quando si esplora  un gusto (che riguardi lo champagne, un violino o un abito di alta sartoria non importa..) e quando la differenza finale si basa non su una grandezza misurabile (che so, quanto abbassa più la pressione arteriosa il Ramipril da 5 mg rispetto al Placebo) ma una differenza che si basa sul “sento o non sento” o sul “mi piace più l’amplificatore A dell’amplificatore B.

Spacciare il test in cieco come “prova di verità”, nel nostro caso di audiofili che danno il loro parere “ad orecchio”, senza aver prima analizzato l’attendibilità del test in cieco come mezzo valido per esplorare questo campo “soggettivo”, è anzi un errore abbastanza grossolano da parte di chi si professa scienziato o misurone…

Ecco il perchè di questo Thread: Non per sostenere che tutto può essere tutto e il contrario di tutto, non per sostenere che, chi sente un suono migliore con l’olio di Pitone spalmato sui cavi di potenza del suo impianto abbia ragione… no! È ovvio che c’è grande spazio per l’effetto Placebo o l’auto suggestione in una larga percentuale di casi.

Ma questo thread vuole invece esplorare i “limiti” del test in cieco per l’Audio, perché l’approccio scientifico deve tenere conto di quanto ho riportato più sopra..

 

[mozarteum]

Le prove servono a capire che cio’ che sulla carta risulterebbe “migliore” -per linearita’ di misure- non e’ detto lo sia all’ascolto, in relazione a questa o quella registrazione (non certo in astratto. In astratto e’ indiscutibile che dovrebbe suonar meglio).

Mi sto divertendo in questi giorni, molto empiricamente e senza alcuna pretesa di compiere un esperimento valido al cento per cento a usare la correzione ambientale del wiim (microfono iphone, sul quale pare tarato il sistema).

Il risultato al termine di un centinaio di assaggi d’ascolto delle registrazioni piu’ disparate l’ho descritto in un altro thread in cui nessuno mi si e’ cagato.

Con le registrazioni perfette (e ce ne sono a iosa, nella classica, fra le recenti), la correzione esalta la chiarezza e l’equilibrio della registrazione.

Con tantissime altre (i Dg guarda un po’ soprattutto quelli dell’era analogica), e’ preferibile un rinforzo leggero della sezione medio bassa che conferisce una

sensazione di spessore armonico superiore a quello percepibile con la correzione. In caso di correzione il maggior dettaglio risulta stancante e collocato in un contesto sonoro piu’ piatto e meno contrastato.

Questo per dire che a mio parere il buon ascolto e’ faccenda piu’ complicata di mettere a posto l’impianto con le misure una volta per tutte.

L’ideale sarebbe creare una curva ad hoc per ogni singola registrazione.

Le registrazioni vanno aiutate mai capito perche’ l’obiettivo debba essere quello di dire: perbacco suona come e’ nella registrazione.

La grande hifi del passato perche’ aveva secondo voi i tasti treble

e bass e loudness che noi manipolavamo non una volta per tutte ma in relazione alle singole registrazioni?

Per quale purismo assurdo si e’ abbandonata quella strada voluta da Marantz, Sansui, Sae ecc?

[Luca44]

1 ora fa, SimoTocca ha scritto:

specialmente in ambito medico, devono confrontare i risultati finali dei confronti con “numeri”, fattori misurabili.

Si può fare anche nel segmento audio...

 

1 ora fa, SimoTocca ha scritto:

facilmente traducibile con un numero, cioè ancora una volta un risultato misurabile.

Non è difficile farlo, se si vuole, ovviamente se si abbia paura del risultato non si potrà fare...

 

1 ora fa, SimoTocca ha scritto:

non siamo in grado di misurare il risultato “soggettivo” del “sento la differenza o non la sento”, o peggio ancora, il soggettivo del “mi piace di più questo rispetto a quello”. Non è un numero, ma devo misurare la “significatività statistica”, la percentuale di ascoltatori che dice di sentire la differenza oppure di gradire più il DAC A rispetto al DAC B.

Perfettamente d'accordo, molti non sono in grado e quindi perché dovrebbero stare a comprare dac da 50.000€ quando possono vivere sereni con quello da 50€ o con le cuffiette da 5€ attaccate al cellulare, e spendere il resto in concerti, dischi, streaming e godersi la musica molto più felicemente di quello che vive di confronti ? 

 

1 ora fa, SimoTocca ha scritto:

per avere una significatività statistica di una risposta “soggettiva”, il numero di soggetti esaminati deve essere molto alto

No, assolutamente no, serve solo a quel panel di ascolto, non deve essere autorizzato un farmaco ( magari pure prescritto dal SSN) ognuno deve, se vuole, capire cosa lo aiuti ad ascoltare meglio e cosa no, se valga la pena impegnarsi o star serenamente nella condizione attuale, se sia "sordo" o pipistrello e quanto pipistrello... Purtroppo ad oggi pare che in certe circostanze e limitatamente a  certi apparecchi  ( certi dac e certe "meccaniche") i "sordi" siano quasi al 100%. Chi pensa di non esserlo basta che faccia la prova e via. 

 

1 ora fa, SimoTocca ha scritto:

E cioè, per raggiungere un numero “statisticamente significativo” perdo in “specificità”.

No, determino semplicemente che al resto del campione non serva avere certi apparecchi per esser ugualmente felice nell'ascoltare musica, quindi per quella maggioranza di ascoltatori poco specializzati, il di più sarà solo tempo e denaro gettato al vento. Poi ci si occuperà del rimanente campione se non continuerà a sottrarsi al doppio cieco etc... E il forum audio nella sezione ascolto resterà con 20 iscritti, gli altri potranno dedicarsi al Foyeur o alla sezione musicale ( e comprarsi le edizioni economiche dei dischi o sentirle solo da Youtube, tanto...) 

1 ora fa, SimoTocca ha scritto:

Il problema, tuttavia, è che il vero grande “inghippo” dei test in cieco che esplorano il mondo dei sensi (il mi piace più questo di quello, che sia una cuffia o un vino, una pietanza o un violino..) sta ancora più a monte…

E se volete se ne parla… sempre scientificamente, è ovvio…

Concordo ma forse quasi nessuno di noi vuol essere "guarito" e neppure cercare le cause "del male". La faccenda si farebbe complessa  ( bisogna farsi aiutare a guardare dentro di sé ) credo che si dovrebbero tirare in ballo fattori complessi e delicati, individuali e non, magari si può fare con lo psicologo in privato o come ricerca individuale e mettendo in gioco tutti i propri valori, le proprie esigenze, come nascano, perché l'assecondarle non ci basti mai, cosa e come stiamo sostituendo bisogni di altro tipo... Mi par più facile limitarci alla parte del doppio cieco tra un Topping ( facciamo l' E 70 Velvet , altrimenti dobbiamo impazzire troppo ) e il Mola Mola e amen. 

[Luca44]

1 ora fa, mozarteum ha scritto:

Il risultato al termine di un centinaio di assaggi d’ascolto delle registrazioni piu’ disparate l’ho descritto in un altro thread in cui nessuno mi si e’ cagato.

Dove è il tutto ? In mezzo al thread sul Wiim Ultra ? Dacci un link se è altrove !

[jaguarissimo]

5 ore fa, ilmisuratore ha scritto:

Un test in cieco attendibilissimo lo svolgo in meno di 10 minuti...e mi rilasso pure

un test in cieco ed un buco vale l'altro 

 

[Luca44]

1 ora fa, mozarteum ha scritto:

L’ideale sarebbe creare una curva ad hoc per ogni singola registrazione.

Le registrazioni vanno aiutate mai capito perche’ l’obiettivo debba essere quello di dire: perbacco suona come e’ nella registrazione.

La grande hifi del passato perche’ aveva secondo voi i tasti treble

e bass e loudness che noi manipolavamo non una volta per tutte ma in relazione alle singole registrazioni?

Per quale purismo assurdo si e’ abbandonata quella strada voluta da Marantz, Sansui, Sae ecc?

Perché erano fatti male i controlli di tono e bypassarli comportava un udibile e sostanzioso miglioramento, oggi si può operare senza far  danni usando il digitale a monte , per il resto completamente d'accordo con te !!

[jakob1965]

6 ore fa, Coltr@ne ha scritto:

Qualche indizio lo da anche quando hai pagato 50.000 euro i cavi nuovi, li spolveri,

 

non intendevo questo - vedi questo è un limite: vi è un effetto che viene scoperto e subito ci si aggrappa per sottolineare le proprie idee o tesi  - io ho fatto delle ipotesi per proseguire il ragionamento - null'altro - ovviamente come te non ho la verità in tasca né voglio apparire come uno che la ha 

[extermination]

Detta tera tera, i limiti non sono nel Test ma più semplicemente nella eterogeneità dei Tester. Esistono, tra noi, attendibilissimi Super Tester che si rendono disponibili aggratis per valutare anche le più piccole differenze “qualitative” oggettive; fatene buon uso anche se, a lavori fatti, resta alto il rischio che non soddisfino i vostri requisiti di soggettività.

[ilmisuratore]

@SimoTocca

Esistono due modalità di test in cieco 

La prima fissa un risultato circoscrivibile al solo soggetto nel determinato contesto... quindi ha valenza specifica limitata al solo elemento 

La seconda su base scientifica/statistica dovrebbe estendersi ad almeno il 71% della popolazione mondiale con udito normodotato 

Entrambi hanno la sua validità, ma stiamo semplicemente parlando inutilmente in quanto le soglie di JND/JDD sono state ampiamente studiate e, se messe in atto, non sarebbe necessario invitare il 71% della popolazione mondiale per stabilire un determinato fenomeno già noto, conosciuto e misurabile 

[Vmorrison]

28 minuti fa, extermination ha scritto:

vostri requisiti di soggettività

Che dipenderanno dalle abitudini d’ascolto e dall’allenamento. 

[ilmisuratore]

2 minuti fa, Vmorrison ha scritto:

Che dipenderanno dalle abitudini d’ascolto e dall’allenamento. 

Essere allenati e avere esperienza aiuta molto di più rispetto un ascoltatore che non ha mai ascoltato... tuttavia anche l'ascoltatore più esperiente del mondo appartiene alla categoria dell'essere umano e su questo sono stati fissati determinati limiti fisici di udibilità... tranne per qualche audiofilo che racconta di poter distinguere variazioni a -140 dB

[captainsensible]

11 minuti fa, ilmisuratore ha scritto:

La seconda su base scientifica/statistica dovrebbe estendersi ad almeno il 71% della popolazione mondiale con udito normodotato 

Praticamente Cina+India+Africa 

 

CS

[ilmisuratore]

1 minuto fa, captainsensible ha scritto:

Praticamente Cina+India+Africa 

CS

...tutti a fare prove in cieco 

P.s rimango convinto che 10 ascoltatori con buona esperienza sulle spalle fornirebbero responsi più attendibili di tre interi continenti se si tratta di catturare dettagli fini... almeno quelli che appartengono alla sfera udibile 

[ilmisuratore]

Le JND ci dicono che l'essere umano non è in grado di distinguere variazioni di tipo lineare e/o ampiezza sotto lo 0,1 dB e con specifici segnali appositamente filtrati affinché ricadano nel segmento di maggiore sensibilità, ovvero 2khz--4khz

Le JDD ci dicono che l'essere umano non è in grado di distinguere alterazioni non lineari sotto la soglia dei -70 dB magnitude ... anche se molte prove hanno fissato valori meno accentuati che dipendono da vari fattori, quali il livello, la frequenza in cui ricade, il mascheramento, il tipo di distorsione e il relativo ordine

In alcuni casi infatti anche l'1% di alterazione può risultare tollerante e in base alla frequenza si possono anche raggiungere percentuali molto alte...vedi bassissime frequenze la cui scarsa sensibilità e selettività consente di non distinguere anche distorsioni del 15%