Un test di intelligenza artificiale locale su un Asus ProArt P16 RTX Spark da 7.000 dollari ha generato 220.202 token in poco meno di 13 minuti. L’esecuzione ha utilizzato il modello gpt-oss di OpenAI da 120 miliardi di parametri per esaminare 403 candidati nell’ambito di un progetto di ricerca più ampio.
Invece di usare un chatbot per domande singole, l’esperimento ha fatto elaborare al modello centinaia di potenziali punti dati, valutarli in modi diversi, mettere in discussione le proprie conclusioni e produrre un’analisi approfondita. Poiché il modello funzionava interamente sul laptop, l’esecuzione aggiuntiva non ha comportato un addebito separato per le API.
Questa differenza ha cambiato il modo in cui sono stati affrontati i test. Con l’IA basata sul cloud, ogni esperimento aggiuntivo solleva interrogativi sui costi dei token, tra cui se analizzare ogni candidato, aggiungere un altro elemento di confronto o ripetere il processo quando cambiano le informazioni. L’esecuzione in locale ha reso più facile condurre ricerche più ampie, ripetere le analisi e testare idee che potrebbero non produrre risultati utili.
L’esperienza ha inoltre evidenziato i costi ancora associati all’IA locale. Il laptop è costoso, e né l’elettricità né il tempo dedicato ai test sono gratuiti. Chi acquista hardware per evitare le fatture dell’IA cloud deve comunque tenere conto di queste spese.
Il principale vantaggio individuato nel test non consisteva semplicemente nel sostituire i carichi di lavoro cloud con un’opzione locale più economica. Una volta acquistato il computer, il costo incrementale dell’avvio di un’altra analisi di grandi dimensioni diventava relativamente contenuto. Ciò rendeva pratico tentare calcoli che altrimenti sarebbero stati abbandonati a causa degli addebiti per token.
L’approccio non elimina il valore dell’efficienza. I modelli più veloci possono far risparmiare tempo ed energia, mentre i modelli più piccoli possono essere più pratici per alcune attività. Anche produrre grandi volumi di output dell’IA non garantisce risultati utili. Tuttavia, i test suggeriscono che il vantaggio più ampio dell’IA locale potrebbe consistere nel consentire esperimenti e analisi ripetute che gli utenti non prenderebbero in considerazione se ogni token dovesse essere pagato separatamente.
Fonti: PCWorld.