Blind tests

[fmr59]

17 minuti fa, mauriziox60 ha scritto:

E dovremmo invece fidarci delle loro impressioni sul suono dei cavi o di qualsiasi altro giocattolo hifi?

Questo non te lo so dire in generale. Io personalmente non mi fido 😉 dell’opinione media, come non mi interessa un prodotto che sia stato ottimizzato per l’ascoltatore medio. Deve piacere a me, non alla media della popolazione.

[jakob1965]

43 minuti fa, n.enrico ha scritto:

C'è differenza di qualche decina di gradi. Nessuno dei dac-negazionisti arriverebbe (spero) ad affermare che due dac dal costo e dalle misure agli antipodi sarebbero irriconoscibili in cieco. I

 

Ma infatti poi si è accorto che era spenta

[jakob1965]

@Masino  semplicemente per dire che questi test sono (credo) fortemente dipendenti dal panel di persone che partecipano.

 

Qui abbiamo molti che  livellano ed eguagliano tutto - non credo per un bias ma perché ascoltano così  e ne sono convinti - posso supporre per coerenza che non sentano differenze quasi per definizione in questi test - a questo punto tutto diventa inutile  

[Masino]

4 minuti fa, jakob1965 ha scritto:

Qui abbiamo molti che  livellano ed eguagliano tutto - non credo per un bias ma perché ascoltano così  e ne sono convinti - posso supporre per coerenza che non sentano differenze quasi per definizione in questi test - a questo punto tutto diventa inutile  

Capisco cosa intendi, ma non credo che ci siano audiofili talmente fiondati da dichiarare differenze che non credano realmente di sentire, né da negare differenze che invece credono di percepire, per puro ‘pregiudizio ideologico’. Almeno lo spero..

[leoncino]

Meno male che c'è chi ci sente, io non solo sono sordo, ma ho pure un impianto che non è in grado di farmi sentire differenze, insomma non all'altezza!

E dire che sono 45 anni che coltivo questo hobby, ma credo di non averci mai capito una mazza!

[Membro_0015]

11 ore fa, Cano ha scritto:

Così come fatto è  un test sull'elettronica o è un test sulla persona?

Testare i recensori è molto importante. Serve a sgamare eventuali ciarlatani

[_Diablo_]

2 ore fa, damiano ha scritto:

è (quasi) esattamente quello che ho scritto in un post precedente. Metodologia, scelta casuale del campione rappresentativo, ho scritto "pipistrelli", e formattazione delle risposte. Ci tengo a precisare che quello che sto cercando di ipotizzare è un test per cercare di capire tra n attrezzi quello che meglio soddisfa m parametri in condizioni controllate. Ovviamente gli attrezzi devono essere nascosti.

A me, razionalmente, non pare impossibile; tutto il bias introdotto dalla "percezione", che può essere influenzata la momento del test si corregge con la numerosità campionaria e con l'adeguata analisi statistica.

Ciao 

D.

 

-

Se vuoi davvero fare un test oggettivo ma anche significativo (che apporta una qualche speranza di maggiore conoscenza del fenomeno) a mio parere devi avere chiaro l'argomento, cosa vuoi fare e come.

Innanzitutto abbandonare il doppio cieco perchè è irrealizzabile e anche poco probabile che sia in grado di influenzare il giudizio degli ascoltatori (basta che il somministratore sia addestrato a non mandare stimoli involontari).

Direi di lasciare perdere il cieco tradizionale a prove randomizzate che mette perlopiù in confusione il cervello nei compiti di indovinamento di cosa sta suonando, perviene quasi sempre a risposte totalmente casuali, statisticamente non significative e inutili.

.

Potremmo invece avere un certo successo progettando un esperimento con gruppi ad hoc per eliminare o mitigare i bias che ipotizziamo esistere, pur mantenendolo un contesto di ascolto il più naturale possibile. Abbozzo ad esempio:

.

- Selezioni un campione ampio e abbastanza rappresentativo tra ascoltatori "esperti" (abituati ad ascoltare)

- Scegliere un impianto che secondo il comune sentire è trasparente (usi un metodo di sondaggio o di revisione critica della letteratura sulle riviste hi-fi) 

- Selezioniamo due apparecchi da ascoltare secondo un comune sentire, meglio se dal costo simile, che dovrebbero mostrare teoricamente molte differenze.

- Nelle prove di ascolto nascondiamo MA etichettiamo cosa sta suonando in modo anonimo: "X" Vs "Y"

- Materiale: 3 brani, scelti da ogni singolo soggetto, possibilità di regolare il volume a piacimento, tempo di ascolto libero (serve a simulare il più possibile una condizione naturale di ascolto) libertà di riascoltare X o Y a richiesta.

- Quando il soggetto si ritiene convinto si raccolgono voti oggettivi su parametri a 7 punti Likert, probabilmente ci sarà qualche test di assessment per la qualità sonora già pronto e validato, lo usano anche per valutare le cuffie.

Si richiede infine di dare un giudizio finale complessivo in termini descrittivi sul confronto.

- Gruppo 2: si ripete l'esperimento con altri soggetti.

- Gruppo di controllo: si ripete l'esperimento con altri soggetti ma a vista.

-

Infine, si confrontano punteggi e descrizioni dei gruppi. Se se ne cava qualcosa come ad esempio una somiglianza significativa tra giudizi potremmo aver dimostrato che i due oggetti sono stati percepiti con caratteristiche ben distinte da due gruppi parimenti rappresentativi ma indipendenti, sia in condizione di cieco sia in condizioni visive.

-

Ora questo è il progetto abbozzato, della bozza della bozza in 5 minuti della sera post lavoro, ma almeno va nella direzione giusta. E' chiaro che il disegno sperimentale a gruppi ha dei limiti, ma immaginatevi di trovare correlazioni quantitative o qualitative fra i tre gruppi in quelle condizioni sperimentali: sarebbe abbastanza clamoroso come risultato o no? Almeno avremmo dei dati su cui ragionare. Alla peggio potrebbe permetterci di capire l'entità del Bias visivo.

 

 

 

 

[Cano]

3 minuti fa, stanzani ha scritto:

Testare i recensori è molto importante. Serve a sgamare eventuali ciarlatani

Se non sbaglio è un rivenditore 

Ma la domanda rimane 

Cosa è stato testato?

[_Diablo_]

24 minuti fa, _Diablo_ ha scritto:

Quando il soggetto si ritiene convinto si raccolgono voti oggettivi su parametri a 7 punti Likert, probabilmente ci sarà qualche test di assessment per la qualità sonora già pronto e validato, lo usano anche per valutare le cuffie.

 

 

Oppure, forse ancora meglio (penso mentre scrivo) bisognerebbe inventarsi un qualcosa che operazionalizzi le tipiche descrizioni audiofile del tipo:

-

Giudichi questo suono trasparente? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Era un suono caldo-musicale? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Analitico-dettagliato? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

L'estensione sulle alte frequenze era buona e chiara? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Hai percepito una certa ambratura e velatura sul suono? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Il controllo sul basso era soddisfacente (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Era un suono che definiresti analogico?

Era un suono che definisci digitale?

Era un suono neutro?

-

I punteggi poi vengono raccolti in costrutti più grandi che ne accomunano le caratteristiche. Ad esempio le domande su trasparenza e analiticità vanno verso la descrizione del suono "analitico dettagliato" Vs quelle che vanno a polarizzarsi verso il suono "Caldo-musicale", e una categoria di suono "neutro".

-

Ovvero così facendo sfrutti le capacità del soggetto, coi suoi limiti certo, per oggettivizzare l'ascolto in termini descrittivi in teoriche macrocategorie. Almeno non perdi tempo a confonderli e magari ne cavi fuori un qualcosa di valido in termini di correlazioni descrittive.

 

[n.enrico]

@_Diablo_ Non so, la vedo complicata. Io sarei per qualcosa di più semplice, come ho già scritto in altro thread: prendiamo due dac bensuonanti ognuno nella sua fascia di prezzo, che però dev'essere bella distanziata, e sentiamo le differenze in cieco con un brano ben conosciuto dal soggetto del test.

Sono disponibilissimo a farlo anch'io, anche a casa mia, se solo si trovasse qualcuno che mi prestasse un dac da 2000€ (che poi prometto che glielo rendo 🤞), ma ad oggi non si è visto nessuno...

[n.enrico]

2 ore fa, jakob1965 ha scritto:

Ma infatti poi si è accorto che era spenta

Vabbè, quando gli hanno amputato i piedi per assideramento.

[damiano]

@_Diablo_ metodologia, selezione del campione, formattazione delle risposte al test.....😉

Secondo me funziona ed anche bene 

D.

 

[Membro_0015]

2 ore fa, Cano ha scritto:

Ma la domanda rimane 

Cosa è stato testato?

Un sedicente guru della aiend che ha fatto una figura di palta😂😂😂

 

[Cano]

9 minuti fa, stanzani ha scritto:

Un sedicente guru della aiend che ha fatto una figura di palta

Questo presuppone che le differenze tra le due amplificazioni ci siano 

[Gici HV]

2 ore fa, _Diablo_ ha scritto:

possibilità di regolare il volume a piacimento

È una delle cose che falsa di più,i livelli devono essere identici,quello che ascolti con meno db è penalizzato.

[Bruce Wayne]

3 ore fa, leoncino ha scritto:

E dire che sono 45 anni che coltivo questo hobby, ma credo di non averci mai capito una mazza!

tranquillo, non sei solo

[Bruce Wayne]

2 ore fa, _Diablo_ ha scritto:

Giudichi questo suono trasparente? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Era un suono caldo-musicale? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Analitico-dettagliato? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

L'estensione sulle alte frequenze era buona e chiara? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Hai percepito una certa ambratura e velatura sul suono? (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Il controllo sul basso era soddisfacente (1- per nulla 4 via di mezzo - 7 in maniera assoluta)

Era un suono che definiresti analogico?

Era un suono che definisci digitale?

Era un suono neutro?

Questo framework lo vedo complesso e soggetto ad ulteriori biases dati dalle definizioni non univoche delle definizioni. Non credo che "caldo", "musicale", "analitico", "dettagliato", "trasparente", "neutro" siano definizioni oggettive e nette per tutti noi. Nonostante io ascolti musica da 40 anni (grazie all'impianto di mio padre ho cominciato da quando ero ancora in fasce) confesso di non essere mai stato perfettamente in grado di definire cosa sia un suono "musicale".

Un modello statistico-empirico teso a stabilire una differenza deve essere il più possibile semplice: più è semplice maggiore sarà la sua affidabilità. Io continuo a vedere una bella ipotesi nulla e una razionale scelta del campione: un'analisi sulla falsa riga del paper su Hi-Res vs CD di Joshua Reiss che ho linkato in precedenza.

[Gici HV]

21 minuti fa, Bruce Wayne ha scritto:

caldo", "musicale

Per alcuni caldo è assimilabile ad attuffato e musicale cosa vuol dire? Poco definito?