Um teste de inteligência artificial local em um Asus ProArt P16 RTX Spark de US$ 7.000 gerou 220.202 tokens em pouco menos de 13 minutos. A execução usou o modelo gpt-oss da OpenAI, com 120 bilhões de parâmetros, para examinar 403 candidatos como parte de um projeto de pesquisa mais amplo.
Em vez de usar um chatbot para perguntas individuais, o experimento fez com que o modelo processasse centenas de possíveis pontos de dados, os avaliasse de diferentes maneiras, contestasse as próprias conclusões e produzisse uma análise extensa. Como o modelo foi executado inteiramente no laptop, a execução adicional não gerou uma cobrança separada de API.
Essa diferença mudou a forma como os testes foram conduzidos. Com a IA baseada na nuvem, cada experimento adicional levanta questões sobre os custos de tokens, incluindo se é necessário analisar todos os candidatos, adicionar outro elemento de contestação ou repetir o processo quando as informações mudam. Executar o modelo localmente facilitou a realização de buscas mais amplas, a repetição de análises e o teste de ideias que talvez não produzissem resultados úteis.
A experiência também revelou os custos que continuam associados à IA local. O próprio laptop é caro, e a eletricidade e o tempo de teste não são gratuitos. Quem compra hardware para evitar as contas de IA na nuvem ainda precisa levar essas despesas em consideração.
O principal benefício identificado no teste não foi simplesmente substituir cargas de trabalho na nuvem por uma opção local mais barata. Depois que o computador já havia sido comprado, o custo incremental de iniciar outra análise de grande porte tornou-se relativamente pequeno. Isso tornou prático tentar computações que, de outra forma, poderiam ser abandonadas por causa das cobranças por token.
A abordagem não elimina o valor da eficiência. Modelos mais rápidos podem economizar tempo e energia, enquanto modelos menores podem ser mais práticos para algumas tarefas. Produzir grandes volumes de resultados de IA também não garante resultados úteis. No entanto, os testes sugerem que a vantagem mais ampla da IA local pode ser possibilitar experimentos e análises repetidas que os usuários não considerariam se cada token tivesse de ser pago separadamente.
Fontes: PCWorld.