Simulare il cervello umano finalmente si può

[UpTo11]

@eduardo Lavoro nel campo della modellistica numerica, queste cose rappresentano la parte tecnica del lavoro, diciamo la cassetta degli attrezzi, perché poi è la parte scientifica il fine ultimo. Capisco non sia immediato, ma ti assicuro che è più semplice di quello che appare. Certo, spiegarlo attraverso post non facilita .

.

19 minuti fa, Mighty Quinn ha scritto:

Perché il sistema di mettere in rete tanti computer ha fallito?

Un miliardo e mezzo di dollari e niente di concreto 

In teoria non si dovrebbe poter realizzare una neural network anche superiore a 80 miliardi?

Cosa non ha funzionato?

Non so a cosa ti riferisci nello specifico, servirebbero maggiori dettagli sia per quanto riguarda l'hardware, ad esempio normali computer connessi via internet, tipo Seti at Home per intenderci, oppure centri di calcolo connessi tra loro su reti dedicate, sia per quanto riguarda il tipo di codici eseguiti.

Per quanto concerne il lavoro che hai citato, la parte tecnica mi è chiara, quella scientifica, ovvero cosa faccia esattamente questo "modello di cervello", meno. Mi sembra di capire che risolva equazioni, ma non ho idea di che tipo. Ritengo che, qualora l’obiettivo sia simulare la propagazione degli impulsi nervosi, la sincronizzazione tra neuroni e, di conseguenza, tra i processi che li contengono diventi fondamentale. In questo caso, per ottenere throughput accettabili, le prestazioni della rete di interconnessione diventano critiche.

Ragionando in generale, penso alla latenza e alla larghezza di banda della rete. Questo esclude a priori la rete internet che usiamo quotidianamente, soprattutto per tutti quei codici paralleli che necessitano di comunicare/sincronizzare spesso, perché non scalerebbero. Anche su reti dedicate credo che latenza e bandwidth possano diventare il collo di bottiglia quando si richiede ad un codice di scalare su migliaia o decine di migliaia di CPU. A maggior ragione con le GPU che hanno una capacità di processing enorme e tenerle occupate, alimentandole col volume di dati che sono in grado di "digerire", è una bella sfida anche all'interno di un singolo cluster.

3 ore fa, Mighty Quinn ha scritto:

E perché adesso dovrebbe funzionare?

Anche qui, non conoscendo i dettagli, provo a fare qualche considerazione in generale.

È possibile che oggi siano disponibili macchine sufficientemente grandi da consentire l’esecuzione dell’intero modello su una singola macchina. Le prestazioni delle interconnessioni all'interno di un cluster sono superiori alle connessioni di rete tra macchine diverse.
Un altro fattore potrebbe essere l'uso intensivo delle GPU, soprattutto se in precedenza il codice girava su CPU, oppure utilizzava le GPU solo parzialmente. Passare dalle CPU alle GPU è veramente un salto prestazionale notevole. Nel lavoro in questione sono riusciti a far entrare l'intero modello nella memoria delle GPU. Questo può aiutare ad evitare troppi spostamenti di dati tre le memorie della CPU e della GPU, che è un'operazione costosa.
In definitiva, macchine come la partizione Booster di Leonardo possono fare la differenza.

3 ore fa, Mighty Quinn ha scritto:

Per caso puoi elaborare un pochino di più?

In cosa consiste?

Se non ho capito male funziona più o meno così.
La preparazione consiste in: 1. creazione dei neuroni sui vari processi; 2. la definizione delle connessioni tra i neuroni (chi è connesso a chi); 3. la preparazione delle strutture dati per la comunicazione.
Lo step 1 è semplice. La libreria MPI assegna ad ogni processo un identificativo univoco, chiamato rank. Se lanci P processi, questi saranno identificati da un numero (rank) da 0 a P-1. Immaginiamo di simulare N neuroni in totale e di suddividerli equamente tra P processi. Ad ogni processo assegnamo N/P neuroni. Al processo con rank 0 verranno assegnati i primi N/P neuroni (dal numero 0 al N/P-1), al processo con rank 1 i successivi N/P neuroni (dal N/P al 2*N/P-1), e così via. Qui non serve comunicazione. Ogni processo sa in base al suo rank quali neuroni contiene.
Lo step 2 è più interessante. Per stabilire la mappa delle connessioni neurone-neurone, evitando al contempo la necessità di comunicazione tra processi per sapere dove si trovano gli altri neuroni, usano una regola deterministica unica per tutti i neuroni. In altre parole una funzione unica per tutti i neuroni, che dipende solo dal neurone in considerazione. Individuato il neurone target si risale al processo che lo contiene con la logica dello step 1. Per far si che la rete sia casuale usano generatori di numeri casuali sincronizzati tra processi, immagino fornendo lo stesso seed al generatore di numeri casuali di tutti i processi. Anche qui non serve comunicare tra i processi per sapere quale processo contiene un dato neurone.

Fatto questo, il resto è la preparazione delle strutture dati necessarie alla comunicazione.

[Savgal]

@UpTo11

Il tutto si fonda su un assunto, che la mente umana  elabori informazioni nello stesso modo in cui opera un computer.

E' un assunto non dimostrato, da quanto ho letto non possediamo un modello della mente esaustivo e condiviso.

[simpson]

25 minuti fa, Savgal ha scritto:

@UpTo11

Il tutto si fonda su un assunto, che la mente umana  elabori informazioni nello stesso modo in cui opera un computer.

E' un assunto non dimostrato, da quanto ho letto non possediamo un modello della mente esaustivo e condiviso.

penso che siano esperimenti che possano dirci molto sugli aspetti che non conosciamo. analizzando ciò che il cervello 'sintetico' non può fare possiamo esplorare meglio i meccanismi di quello naturale.

così come la conoscenza delle funzioni del nostro cervello si basa sullo studio delle sue disfunzioni 

[briandinazareth]

37 minuti fa, Savgal ha scritto:

Il tutto si fonda su un assunto, che la mente umana  elabori informazioni nello stesso modo in cui opera un computer.

 

in realtà è un assunto non necessario.

sappiamo come funzionano i neuroni e le reti relative, ormai abbastanza bene, così come la morfologia, come comunicano le diverse parti ecc. 

la parte che comprendiamo meno è quella che porta da tutto questo alle caratteristiche emergenti, che poi è lo stesso problema che abbiamo con le AI e nello studio di altri animali. 

gli esperimenti su animali con cervelli meno complessi hanno dimostrato che si riesce a "simularli" in modo notevole e ha permesso di scoprire molte cose nuove. 

il problema ad oggi nel farlo con il cervello umano era legato all'enorme potenza necessaria, per via dei tantissimi neuroni e connessioni che abbiamo. 

pare che siamo sul punto di superare questo limite, grazie a diverse strategie e innovazioni. 

sarà interessante se un cervello simulato nella sua completezza mostrerà le stesse caratteristiche emergenti di quello biologico. 

ad un altro livello, ogni passo nella direzione della simulabilità della realtà, rende meno assurda l'idea che non saremo in grado di sapere se anche tutta la nostra realtà sia in qualche modo una simulazione.

 

[Panurge]

19 minuti fa, briandinazareth ha scritto:

tutta la nostra realtà sia in qualche modo una simulazione.

La trama tra le nubi (solo per sci fi geeks)

[Savgal]

A suo tempo ho letto questo libro. Mi ricordo la ricerca fatta sui rospi, che non percepiscono oggetti fermi. Così pure l'angoscia che generano pochi minuti in una camera anecoica.

Se avessimo una rappresentazione esaustiva della mente avremmo risolto la gran parte dei problemi dell'apprendimento, purtroppo non è così.

 

[Panurge]

@Savgal te lo ha mai detto nessuno che leggi troppo? 

[Savgal]

Ci sarebbe anche la teoria della "autopoiesi" di Humberto Maturana e Francisco Varela. Avevo letto un breve saggio sulla teoria che mi aveva molto incuriosito, ma il saggio degli autori non l'ho letto.

[briandinazareth]

la conoscenza su questi temi negli ultimi 20/30 anni hanno fatto un salto enorme, hanno reso superato quasi tutto quello che sapevamo. 

parlo sempre della parte scientifica, non entro nelle concezioni filosofiche o simili, che non sono relative al tema del thread.

[UpTo11]

4 ore fa, Savgal ha scritto:

Il tutto si fonda su un assunto, che la mente umana  elabori informazioni nello stesso modo in cui opera un computer.

E' un assunto non dimostrato, da quanto ho letto non possediamo un modello della mente esaustivo e condiviso.

Come ho scritto non mi è chiarissimo il funzionamento, la parte scientifica. Non è il mio campo.

L'avanzamento descritto nel lavoro è prettamente tecnico. Ora esiste la possibilità concreta di simulazioni con un numero di neuroni e sinapsi paragonabile alla realtà biologica. Cosa comporti tutto ciò non lo so. Da una parte credo che concetti come quello di coscienza siano ancora lontani, basta ricordare che i collegamenti tra neuroni in questo modello sono casuali e vai a sapere se è un'ipotesi accettabile. Dall'altra si apre sicuramente una nuova fase, all'interno di questa linea di ricerca, molto interessante.

.

Una precisazione, @briandinazareth mi corrigerà se sbaglio: questo tipo di reti neurali non è lo stesso usato nelle applicazioni dell'AI, come machine learning, deep learning, LLM, ecc... Qui si cerca di simulare il comportamento di singoli neuroni e sinapsi, con l'obiettivo di replicare digitalmente le strutture e le funzioni biologiche. Le reti neurali usate in AI sono tutta un'altra cosa. Anche se prendono ispirazione dal funzionamento del cervello, fanno altro. Da un certo punto di vista stanno ad un livello più alto, perché quelli che chiamano neuroni eseguono funzioni (operazioni matematiche e logiche) più complesse.

Un aspetto interessante riguarda il modo in cui questi due livelli possano, se non interagire direttamente, quantomeno influenzarsi reciprocamente, ad esempio attraverso il trasferimento di idee o soluzioni.

.

Un altro punto che mi incuriosisce è la validazione di questo tipo di modelli. Di solito chi si occupa di simulazioni numeriche utilizza dati e misure reali del sistema che intende riprodurre per calibrare, validare o scartare i modelli. Non ho idea di quali dati e di che tipo abbiano a disposizione per farlo, se ne hanno.

[briandinazareth]

7 minuti fa, UpTo11 ha scritto:

Una precisazione, @briandinazareth mi corrigerà se sbaglio: questo tipo di reti neurali non è lo stesso usato nelle applicazioni dell'AI, come machine learning, deep learning, LLM, ecc... Qui si cerca di simulare il comportamento di singoli neuroni e sinapsi, con l'obiettivo di replicare digitalmente le strutture e le funzioni biologiche. Le reti neurali usate in AI sono tutta un'altra cosa. Anche se prendono ispirazione dal funzionamento del cervello, fanno altro. Da un certo punto di vista stanno ad un livello più alto, perché quelli che chiamano neuroni eseguono funzioni (operazioni matematiche e logiche) più complesse.

 

Si, è come dici,  è un altro approccio ed è più complesso,  per questo la potenza computazionale necessaria è superiore e non si usano i teoremi e strategie usate per le ai (vedi i transformer ad esempio).

 

È la strategia usata oggi per simulare con successo cervelli più semplici. 

 

[UpTo11]

3 minuti fa, briandinazareth ha scritto:

È la strategia usata oggi per simulare con successo cervelli più semplici. 

Per quello basterebbe un giro sui social o anche qui . E invece rubano risorse di calcolo a noi che abbiamo da fare cose serie .