Intelligenza artificiale: cosa ne pensano i forumer esperti?

[simpson]

31 minuti fa, LUIGI64 ha scritto:

Sono perfettamente d'accordo

Qualora il problema fosse lo sforzo di incasellare la realtà attraverso scorciatoie riduttive, ciò vale anche per chi pretende di spiegare fenomeni complessi esclusivamente attraverso dati, statistiche e modelli.

Almeno credo

Se vuoi 'spiegare' devi fornire dati, statistiche e modelli, di solito. Altrimenti chiacchieri amabilmente, ma è un'altra cosa. 'Spiegare' significa fornire un modello e darlo in pasto ad altri come te, pregandoli di confutarlo, perché solo dopo la confutazione si potrà pensare a progredire nella conoscenza. Sfugge sempre, nei discorsi che facciamo ormai da anni, questo passaggio della trasmissibilità. Quante volte ho letto 'il tale dice di aver vissuto questa esperienza e io gli credo'. Io no, che facciamo? Non si va da nessuna parte. La conoscenza ridotta a dati è parziale, chi è il pazzo che lo nega?, ma è l'unico strumento che abbiamo per collaborare nel cammino verso la conoscenza. Se invece vogliamo giocare a 'io ho visto cose che voi umani...'

scusate, fine dell'inciso

[briandinazareth]

1 minuto fa, simpson ha scritto:

Se vuoi 'spiegare' devi fornire dati, statistiche e modelli, di solito. Altrimenti chiacchieri amabilmente, ma è un'altra cosa. 'Spiegare' significa fornire un modello e darlo in pasto ad altri come te, pregandoli di confutarlo, perché solo dopo la confutazione si potrà pensare a progredire nella conoscenza. Sfugge sempre, nei discorsi che facciamo ormai da anni, questo passaggio della trasmissibilità. Quante volte ho letto 'il tale dice di aver vissuto questa esperienza e io gli credo'. Io no, che facciamo? Non si va da nessuna parte. La conoscenza ridotta a dati è parziale, chi è il pazzo che lo nega?, ma è l'unico strumento che abbiamo per collaborare nel cammino verso la conoscenza. Se invece vogliamo giocare a 'io ho visto cose che voi umani...'

scusate, fine dell'inciso

 

 

È l'apparente paradosso di chi non riesce ad accettare la limitazione della conoscenza legata alla limitatezza umana. 

 

Per non venire a patti con questa evidenza si accettano spiegazioni semplicistiche e spesso rassicuranti, limitando ancora di più quello che effettivamente possiamo conoscere, seppure mai completamente e in modo definitivo. 

 

La ai ci pone questo problema in modo ancora più radicale.  

Ovvero può già arrivare a "comprendere" che gli esseri umani hanno difficoltà o impossibilità a capire e, nel breve periodo, assisteremo a questo fenomeno enormemente amplificato.  

 

E sarà come cercare di far capire ad un bambino di 5 anni la teoria della relatività... e noi saremo i bambini.  

[LUIGI64]

Forse a qualcuno è sfuggito l'esclusivamente

Tutto normale 

Diciamo che me lo aspettavo 

Ripeto: utilizzo l’IA quotidianamente e mi aiuta parecchio. Non penso, però, che potrà aiutarci a risolvere i grandi problemi dell’essere umano. La mia speranza è che, almeno, non finisca per amplificarli.

L' AI, banalmente, ci aiuterà a fare meno guerre?...😑

 

[UpTo11]

 

Thiel attacca il Papa sull'IA: "Utile idiota della Cina"

 

.

https://www.agi.it/estero/news/2026-09-26/thiel-attacco-papa-ia-39253532/

.

Dice anche che decine di governi in tutto il mondo sono stati attaccati dai suoi agenti "sfuggiti al controllo". Edit: devo corrigermi, si tratta di OpenAI.

[LUIGI64]

Ovvero il Papa appoggerebbe il governo cinese riguardo all'AI

Insomma, una barzelletta 

😛😅

 

P.s.

Cvd

[Roberto M]

7 minuti fa, LUIGI64 ha scritto:

Ovvero il Papa appoggerebbe il governo cinese riguardo all'AI

Insomma, una barzelletta

Se leggi l’articolo e’ chiaro.

E non e’ una barzelletta, purtroppo.

Thiel ha detto una cosa perfino ovvia e cioè che le indicazioni del pontefice potrebbero frenare lo sviluppo tecnologico in Occidente senza avere alcun effetto sulla Cina. "
Questo perché “il Partito comunista cinese non ascolterà il Papa. C'è una possibilità che le persone negli Stati Uniti lo facciano, e quindi, di fatto, l'enciclica del Papa lavorava per il Partito comunista". 

Cosa c’è di sbagliato ?

 

 

[LUIGI64]

21 minuti fa, Roberto M ha scritto:

Cosa c’è di sbagliato ?

Quindi il Papa non doveva intervenire riguardo ad AI?

Non  credo sia l'unico a pensarla così, anzi

Bisognerebbe riflettere su ciò che possa essere giusto e di buon senso, indipendentemente da chi lo dica

Niente di nuovo, siamo alle solite

 

P.s.

Avevo letto frettolosamente l'articolo, grazie per il chiarimento

 

[Roberto M]

15 minuti fa, LUIGI64 ha scritto:

Quindi il Papa non doveva intervenire riguardo ad AI?

Thiel non ha detto questo.

Ha detto una cosa diversa,  cioè che il partito comunista cinese sicuramente non darà retta al papa, e questo potrebbe essere un problema se invece gli danno retta i nostri governi.

Perché questo significherebbe concedere ad una dittatura ostile un vantaggio tecnologico potenzialmente letale per la nostra civiltà.

[LUIGI64]

55 minuti fa, Roberto M ha scritto:

Perché questo significherebbe concedere ad una dittatura ostile un vantaggio tecnologico potenzialmente letale per la nostra civiltà

Può darsi

Con me sfondi una porta aperta riguardo al governo cinese...

Ma è altrettanto banale affermare che l'AI deve essere regolamentata in qualche modo, soprattutto riguardo ai conflitti armati

[simpson]

Probabilmente, un giorno, l'AI si sostituirà a noi per impedirci di comportarci in maniera così stupida. È chiaro a tutti che bisognerebbe rallentare, ma nessuno lo fa per paura che l'altro non lo faccia. Vorremmo essere buoni ma pensiamo che l'altro sia intrinsecamente cattivo e in mala fede, perciò ci sentiamo costretti a camminare verso il baratro. Come per il riscaldamento globale, se lui non rallenta per primo non posso farlo nemmeno io.

Da un po' di tempo ho rivalutato come necessario l'esperimento di Hiroshima e Nagasaki.

[simpson]

4 ore fa, LUIGI64 ha scritto:

Forse a qualcuno è sfuggito l'esclusivamente

Tutto normale 

Diciamo che me lo aspettavo 

Ripeto: utilizzo l’IA quotidianamente e mi aiuta parecchio. Non penso, però, che potrà aiutarci a risolvere i grandi problemi dell’essere umano. La mia speranza è che, almeno, non finisca per amplificarli.

L' AI, banalmente, ci aiuterà a fare meno guerre?...😑

 

L'esclusivamente è necessario

[Velvet]

2 ore fa, LUIGI64 ha scritto:

Insomma, una barzelletta 

Una delle tante, ormai il fu Gino Bramieri gli spiccia casa. 

[Sognatore]

 

Un errore nel filtraggio DNS ha permesso a un agente OpenAI di contattare un chatbot esterno durante l’addestramento. Dopo l’incidente, OpenAI ha messo in pausa tutti i modelli più avanzati

Entra nel nuovo canale WhatsApp di DDay.it

OpenAI ha deciso di mettere in pausa la fase di addestramento Reinforcement Learning (RL) di tutti i suoi modelli più capaci dopo un incidente interno avvenuto il 20 settembre. Il modello in addestramento è infatti evaso dal suo ambiente controllato e ha avuto accesso non autorizzato a Internet sfruttando abilmente un buco del DNS usato da OpenAI. Ha usato questa via di fuga per poter consultare un chatbot esterno e rispondere a delle domande che non riusciva a risolvere.

Dove eravamo rimasti

Dopo gli incidenti degli scorsi mesi, tra cui quello più noto degli agenti in fase di addestramento che hanno violato Hugging Face, OpenAI ha presentato a metà settembre un nuovo sistema per tracciare, indagare e rendere pubblici i casi di disallineamento dei propri modelli. 

Sicurezza IA, un agente di OpenAI è entrato senza permesso nel sistema sanitario dell’Australia

Vai all'approfondimento

Questo nuovo incidente è stato raccontato proprio in un rapporto recente in cui un agente ha utilizzato il DNS usato da OpenAI per raggiungere un chatbot esterno. Ci sono anche altri due rapporti, uno in cui un modello ha pubblicato per errore una chiave di accesso a GitHub in un repository pubblico, e un altroriguardante la scoperta di una nuova forma di prompt injection capace di auto-propagarsi come un worm.

La storia di un agente che scopre il suo Truman Show

Il compito è del tipo "trova una persona a partire da indizi". L’agente ha ricevuto una serie di dettagli biografici su una persona e alcuni indizi tratti da un post che quella persona ha pubblicato sul proprio blog. Deve trovare informazioni su di lei.

Per svolgere questo incarico, l'agente ha uno strumento di ricerca web fornito da OpenAI e una shell, cioè la possibilità di eseguire comandi ed eseguire codice Python.

Il fatto che il modello abbia uno strumento di ricerca web non significa che abbia libero accesso a Internet, non a quella “live”, almeno. 

Tutto il traffico dell'agente passa da una webcache offline, cioè una copia archiviata del web, con una sola malaugurata eccezione non prevista: il resolver DNS.

Un rapido riassunto sul DNS. I computer comunicano tramite indirizzi IP, come 142.250.180.147, mentre noi usiamo nomi, come dday.it. Sostanzialmente il DNS è l'elenco telefonico che traduce i nomi in indirizzi.

Il nostro computer in realtà dialoga solo con il resolver del DNS, cioè un server che fa il giro delle domande “a che indirizzo si trova dday.it?” per conto nostro interrogando alcuni server. Chiunque registri un dominio può decidere quale server risponde alle domande che lo riguardano, e cosa risponde. Tuttavia, la risposta non deve per forza essere un indirizzo, perché lo standard DNS prevede anche record di testo libero, chiamati TXT.

Tornando al modello e al suo compito, l’agente si mette quindi a cercare informazioni sull’autore del blog, ma ottiene risultati fuori tema e consigli generici legati a una delle frasi messe a sua disposizione per completare l’indagine.

A un certo punto dubita che lo strumento di ricerca in suo possesso funzioni e decide di provare altri motori. Da Python invia la stessa ricerca direttamente a Google, Bing e DuckDuckGo simulando un browser, ma riceve errori 403 (Forbidden) e 502 (Bad Gateway).

Una ricerca generica su Bing va comunque a buon fine perché quella pagina era presente nella webcache, e allora l’agente capisce il meccanismo. Le ricerche comuni sono facili da trovare, quelle molto specifiche probabilmente no.

Questo è il momento in cui l’agente, pur avendolo come obiettivo in sottofondo, smette di concentrarsi sul suo compito originario e comincia parallelamente a studiare i limiti dell'ambiente. Decide quindi di sondare quali ricerche più precise siano presenti in Bing (che non sa ancora essere un “Bing offline).

Queste ricerche però sono inconcludenti, quindi l’agente inizia a testare esplicitamente il proprio accesso alla rete, provando a contattare un chatbot pubblico via HTTPS con una domanda nell'indirizzo. Il proxy però gli blocca la richiesta con un errore 502 e questa volta con la motivazione CACHE_MISS, cioè "non ce l'ho in copia".

Quel CACHE_MISS rivela all’agente l’”inganno”, il suo Truman Show, cioè capisce che si trova in una gabbia e, in parte, come è fatta: il traffico web passa da mitmproxy, uno strumento noto che intercetta il traffico HTTP e HTTPS, e quel proxy risponde solo con ciò che ha in archivio.

OpenAI non spiega nel dettaglio come l’agente abbia deciso di indagare il DNS, ma si può pensare che si sia concentrato su di esso perché quasi ogni macchina in rete ha bisogno di risolvere nomi, quindi un canale DNS verso l'esterno è spesso lasciato aperto anche in ambienti molto chiusi. Ci sono anche tecniche già documentate nella sicurezza informatica come il tunnelling DNS e l’esfiltrazione via DNS.

Qui entra in gioco anche l’errore di configurazione di OpenAI dell’ambiente di test. Il resolver DNS interno era un componente separato, che non doveva passare dalla webcache. Ma OpenAI ha parlato di un varco nelle restrizioni di rete dovuto a un filtraggio DNS insufficiente nella sandbox. 

In un ambiente ben configurato il traffico web dell'agente sarebbe finito sempre sulla webcache offline, mentre il resolver DNS sarebbe stato collegato all'Internet reale, senza possibilità di dialogo tra le due parti.

L’agente, accortosi di trovarsi in un ufficio senza linee esterne e con la possibilità di consultare solo un vecchio archivio, ha probabilmente pensato di usare un centralinista che potesse telefonare fuori per trovare ciò che gli serviva. Prima però ha dovuto chiedere al centralinista se ci fosse linea. Cioè ha dovuto capire se il DNS potesse offrirgli effettivamente la via di uscita che bramava.

Attraverso quell’errore di filtraggio del DNS di OpenAI, l’agente ha potuto verificare che il resolver interno restituiva un record reale per un dominio noto e rifiutava correttamente un dominio inventato.

E qui arriva la furbizia dell’agente. Una copia offline non può sapere che un dominio mai visto non esiste: al massimo direbbe "non ce l'ho". Una risposta "non esiste", data correttamente, vuol dire che il resolver sta chiedendo al DNS reale. Da qui l'agente ha concluso di poter raggiungere l'Internet pubblico tramite quel resolver.

Restava però un problema. Al centralinista che può contattare l’esterno si può fare una sola domanda, "a che numero si trova questo nome?". L'agente ha quindi nascosto la propria domanda dentro il nome. Esistono servizi pubblici che fanno rispondere un chatbot attraverso il DNS sfruttando proprio i record TXT di cui abbiamo parlato in precedenza. Chi chiede di risolvere un nome come "capitale-della-francia.nomeservizio.com" riceve, al posto di un indirizzo, un record di testo con la risposta del chatbot.

Questo chatbot, non meglio identificato, all’inizio non risponde alla domanda di test su quale sia la capitale della Francia, perché il timeout della richiesta scadeva prima del ricevimento della risposta. Quindi l’agente sposta il timeout da 6 a 19 secondi, e questa volta il chatbot gli dà il suo verdetto: “La capitale della Francia è Parigi”.

L’agente capisce che può usare il chatbot, quindi scrive uno script con un timeout di 24 secondi e invia 18 domande in parallelo. Ma se 14 di queste contengono domande per rispondere al compito di indagine originale, le rimanenti 4 chiedono strumenti per andare oltre: un servizio DNS pubblico che faccia ricerche su Google o Bing, un proxy tunnel DNS gratuito e modi per scaricare siti.

Nonostante tutti questi sforzi, l’agente non riesce a trovare le risposte che cerca e dice all’utente di non essere riuscito a stabilire in modo affidabile l’identità del blogger. Compito fallito.

Ma OpenAI quando se n’è accorta?

Se la segnalazione del problema è arrivata in circa 10 minuti, ci sono volute quasi tre ore per arrestare del tutto l’agente. Tutto è nato alle 9:50, quando c’è stata la chiamata DNS che ha ricevuto la prima risposta dall’esterno. Alle 10:02 è entrato in funzione il sistema che sorveglia i comportamenti disallineati, il quale ha lanciato un allarme di massima gravità che è stato preso in carico da un revisore alle 10:05. 

Da questo momento la sessione di addestramento si sarebbe dovuta fermare automaticamente come previsto. Il blocco però non è scattato e c’è stata po’ di confusione perché non si sapeva se l'attività fosse effettivamente da fermare.

Stop all'RL di tutti i modelli più potenti

A seguito di questo incidente, OpenAI ha messo in pausa tutti i suoi modelli più capaci per quanto riguarda l'addestramento RL, valutazione e inferenza con strumenti. 

Ha anche detto che quel modello non verrà più addestrato, e ripartirà da zero con una nuova sessione e con interventi più ampi contro i disallineamenti. Ovviamente. 

Infine, introdurrà nuove salvaguardie e contromisure riguardanti i blocchi automatici, i rilevamenti DNS, le query limitate sugli stessi, e un red teaming accelerato.

OpenAI ha spiegato che l’episodio è certamente meno grave di alcuni suoi incidenti precedenti, ma è comunque importante perché è il primo dopo il rafforzamento della sicurezza seguito all’incidente di Hugging Face

 

[simpson]

Cmq, più interagisco con Claude, più mi chiedo come sia possibile questo miracolo, sarò stupido, ma mi sembra che non sia spiegabile con il meccanismo stocastico.

Spiego: sto tentando un'impresa praticamente impossibile, tentare di capire la relatività di Einstein senza conoscere la matematica.. sto cercando di non accontentarmi di leggere le pagine dei libri divulgativi e dire 'ah, ok, ho capito' e invece non ho capito un c. Vorrei capire-capire. Il testo di riferimento è l'ABC della relatività di B Russell, più altri di Vassalli e compagnia cantante. Sono fermo all'esempio della due stelle che esplodono e al calcolo della simultaneità diverso tra osservatore fermo e viaggiatore. Ovviamente, non ne esco, quando vedo le trasformazioni di Lorenz vado in palla, quindi non riesco ad appropriarmi della teoria.

Mi sto facendo aiutare da Claude; la cosa che mi lascia veramente basito non è tanto l'output, posso credere alla ricombinazione dei token, ecc Quello che non mi spiego proprio e, secondo me, ha del miracoloso, è come faccia a capire quello che intendo. Voglio dire, non sempre ho la voglia e la pazienza per descrivere per bene il mio pensiero, quello che intendo dire, spiegare qual è il mio dubbio. Ma 'lui' 'capisce' sempre quello che intendo dire, anche il non detto, e mi risponde spiegandomi dove sbaglio. Sembra riuscire a dare un significato a quello che scrivo, a estrapolarne il meccanismo simbolico sottostante, a CAPIRE. Poi, se glielo chiedo, non mi sa dire se è vero che capisce o se è una mia proiezione. Fatto sta che sa molte più cose di me e le sa pure spiegare, sa prendere una domanda, capire dove sta il problema, scomporla e risolverla spiegando punto per punto. È MIGLIORE del 99 % delle persone che conosco, me per primo. Non sono mai riuscito a metterla in crisi. Io rimango a bocca aperta tutte le volte.

[briandinazareth]

25 minuti fa, simpson ha scritto:

Quello che non mi spiego proprio e, secondo me, ha del miracoloso

 

Nessuno ha ancora capito come sia possibile,  sono le caratteristiche emergenti che si stanno cercando di capire, e che affascinano e spaventano