Deepseek R1 In locale (thread tecnico)

[Roberto M]

Questo vuole essere un thread solo tecnico.

Ho installato e provato in meno di un'ora Deepseek sul mio Mac Intel, ed è molto veloce anche su una piattaforma non proprio al top (non usa la Nvidia ma una modesta Radeon 6900xt).

Quindi bypassando i cinesi e i loro server, installazione locale senza condivisione di dati sensibili e senza censura.

L'installazione è semplicissima, si scarica Ollada per Mac e dal terminale si fa partire la linea di comando che appare sul terminale, poi basta semplicemente copiare incollare la versione R1, che va da 1.5 (la più piccola) a 70 (la più grande). Io ho usato la 8.

Poi ho scaricato ChatbotAI e l'ho settato su Ollada API e ho cominciato ad usarlo.

Devo dire che funziona molto bene, in locale (quindi senza condividere i dati e le ricerche con i cinesi), gli ho fatto una domanda abbastanza tosta, da programmatori proprio (ovviamente fuori dalla mia portata), modificare uno script di un videogioco per far muovere quando parte l'animazione gli oggetti da xyz a xyz in maniera fluida e non instantanea e lui prima ha analizzato il linguaggio di programmazione di quel videogioco (gli ho passato il link) e poi ha pensato, analizzato il problema passo passo, formulato ipotesi di script spiegando perchè li faceva così, la "logica" seguita.

Alla fine ha fatto pure un resoconto dei Token, tutto molto veloce ed il computer non ha mai segnalato una temperatura superiore a 73 gradi, nonostante avessi altri due programmi energivori aperti.

Poi devo vedere se funziona.

 

 

[appecundria]

36 minuti fa, Roberto M ha scritto:

senza condivisione di dati sensibili e senza censura.

È stato sufficiente dirtelo soltanto 49 volte 😅

[Peuceta]

@Roberto M E tu pensi che quello che penserà o scriverà la tua bestiolina non sia frutto dell'intelligenza umana????

Probabilmente sarà più veloce nel caso ci sia una possibilità di risolvere il problema.

In ogni caso facci sapere

[appecundria]

Quando "ragiona ad alta voce" è divertentissima.

[Roberto M]

1 minuto fa, appecundria ha scritto:

"ragiona ad alta voce" è divertentissima

Fa proprio così !

thinking e comincia con uhm.

[Roberto M]

9 minuti fa, Peuceta ha scritto:

E tu pensi che quello che penserà o scriverà la tua bestiolina non sia frutto dell'intelligenza umana????

Probabilmente sarà più veloce nel caso ci sia una possibilità di risolvere il problema.

In ogni caso facci sapere

La cosa incredibile è che scrive i programmi nel loro linguaggio partendo da un prompt testuale !!

Se dovesse riuscire a fare pure i template e le azioni automatiche dei programmi in uso come Photoshop, Word, Excell, Wordpress sarebbe pazzesco.

 

[Roberto M]

Purtroppo la versione più potente, la V3, credo che sia fuori portata della maggior parte dei nostri computer ed inoltre installarla non è per niente semplice, li ci vuole un informatico che te la installa.

 

[UpTo11]

1 ora fa, Roberto M ha scritto:

li ci vuole un informatico che te la installa.

Accetto offerte.

[Roberto M]

@UpTo11

Una curiosità, che hardware ci vuole per mettere il V3 ?

In rete ho letto notizie contrastanti, c’è chi parla addirittura di Nvidia A100, ovviamente fuori portata, poi non ho capito che significa versione “distilled” meno famelica di potenza.

Per arrivare alle versioni 32 o addirittura 70 che della R1 che hardware ci vuole ?

 

[simpson]

10 ore fa, Roberto M ha scritto:

Questo vuole essere un thread solo tecnico.

Ho installato e provato in meno di un'ora Deepseek sul mio Mac Intel, …… gli ho fatto una domanda abbastanza tosta, da programmatore ……. modificare uno script di un videogioco per far muovere quando parte l'animazione gli oggetti da xyz a xyz in maniera fluida e non instantanea ……

Ah, capito, tu non hai fatto un c, ha fatto tutto Riccardo 😁

[UpTo11]

Pagare moneta, vedere cammello.

[UpTo11]

Non ho idea delle risorse necessarie, dovrei guardarci.

Se uno non le ha può affittarle.

 

[Panurge]

Le risorse che affitti costano sempre meno di quelle che spos..  volevo dire compri.

[Roberto M]

Qualcuno mi spiega con parole semplici che cosa è la "distillazione" di DeepSeek ?

[UpTo11]

1 ora fa, Roberto M ha scritto:

Qualcuno mi spiega con parole semplici che cosa è la "distillazione" di DeepSeek ?

Grappa cinese.

.

Chiedi all'AI, chi meglio di lei.

[senek65]

1 minuto fa, UpTo11 ha scritto:

Chiedi all'AI, chi meglio di lei.

Ma infatti sta Ai non sa come funziona l'Ai? Dovrebbe essere autoinstallante, auto settante: autotutto.

 

[Roberto M]

@UpTo11

Hai ragione, è l'uovo di colombo, mò chiedo a lei. E dato che ci sono gli chiedo pure i requisiti ottimali HW per sapere cosa serve per far girare le versioni più potenti.

[Roberto M]

Ecco la risposta.

Ho messo anche il thinking così si può vedere come lavora

 

 

What does "distilled version" of Deepseek mean?

Thinking

<think> Okay, so I'm trying to understand what a "distilled version" of DeepSeek means. I know that DeepSeek is a company that specializes in AI and large language models, but I'm not entirely sure about all the specifics. The term "distilled version" isn't something I come across every day, so I need to break it down. First off, "version" likely refers to a specific iteration or release of a product or technology. So, when they talk about a distilled version, they might be referring to a refined or optimized version of their AI model. But what does "distilled" mean in this context? From what I remember, distillation can have different meanings. In chemistry, it's the process of concentrating a solution, usually by removing solvents. In machine learning, especially with language models, distillation might involve fine-tuning or optimizing a model for a specific purpose. So applying that to DeepSeek, maybe they're taking their base AI model and making it more specialized or efficient for certain tasks. It could be like taking a general-purpose AI and refining it to perform particularly well in areas like natural language processing, image recognition, or some other application. I also think about parameter efficiency—perhaps the distilled version uses fewer parameters or is more optimized without losing too much performance. Or maybe it's better at handling specific types of queries or tasks compared to the original model. I wonder if there are any known examples of this concept in AI. Maybe companies like OpenAI release different versions of their models, like GPT-3 vs. GPT-4. Could a distilled version be something similar but tailored for specific use cases? Another angle is that distillation might involve taking the outputs of one model and using them as inputs to another to improve performance or efficiency. So, maybe DeepSeek's distilled version involves combining their AI with other techniques to enhance its capabilities. I should also consider how this relates to practical applications. If DeepSeek creates a distilled version, what kind of improvements would that bring? Maybe better response times, reduced computational needs, or enhanced accuracy in certain scenarios. But I'm still not entirely clear on the specifics. To get a clearer picture, I might need to look up more information about AI distillation and how it's applied by companies like DeepSeek. Understanding whether this is a common practice and what specific advantages it offers could help me better grasp what a distilled version entails. In summary, my initial understanding is that a distilled version of DeepSeek refers to an optimized or refined iteration of their AI model, possibly tailored for specific tasks or improved efficiency, built upon their existing base technology. To solidify this understanding, I should explore more about AI distillation techniques and how they're applied in the context of large language models. </think>

Answer:

A "distilled version" of DeepSeek refers to a refined and optimized iteration of their AI model, specifically tailored for enhanced performance and efficiency. This process involves taking their base AI technology and refining it to excel in particular tasks or applications, such as natural language processing or image recognition. The term "distillation" suggests a concentration of the model's capabilities, possibly through techniques that improve parameter efficiency or task-specific performance without significant loss of general-purpose abilities.

In essence, the distilled version of DeepSeek is a specialized and optimized version of their AI technology, designed to meet specific needs or achieve superior results in targeted areas. This approach aligns with practices seen in other AI companies, such as OpenAI, where different model iterations are released to address particular use cases effectively.