Una prueba de inteligencia artificial local en un Asus ProArt P16 RTX Spark de 7.000 dólares generó 220.202 tokens en algo menos de 13 minutos. La ejecución utilizó el modelo gpt-oss de OpenAI, con 120.000 millones de parámetros, para examinar 403 candidatos como parte de un proyecto de investigación más amplio.

En lugar de utilizar un chatbot para preguntas individuales, el experimento hizo que el modelo procesara cientos de posibles puntos de datos, los evaluara de distintas maneras, cuestionara sus propias conclusiones y produjera un análisis exhaustivo. Como el modelo se ejecutó íntegramente en el portátil, la ejecución adicional no generó un cargo independiente de la API.

Esa diferencia cambió la forma de abordar las pruebas. Con la IA basada en la nube, cada experimento adicional plantea preguntas sobre los costes de los tokens, incluido si se debe analizar a todos los candidatos, añadir otro evaluador o repetir el proceso cuando cambia la información. Ejecutar el modelo localmente facilitó realizar búsquedas más amplias, repetir análisis y probar ideas que quizá no produjeran resultados útiles.

La experiencia también puso de manifiesto los costes que siguen asociados a la IA local. El propio portátil es caro, y la electricidad y el tiempo de prueba no son gratuitos. Quien compre hardware para evitar las facturas de la IA en la nube aún debe tener en cuenta esos gastos.

El principal beneficio identificado en la prueba no fue simplemente sustituir las cargas de trabajo en la nube por una opción local más barata. Una vez comprado el ordenador, el coste incremental de iniciar otro análisis de gran tamaño se volvió relativamente pequeño. Eso hizo práctico intentar cálculos que, de otro modo, podrían abandonarse debido a los cargos por token.

El enfoque no elimina el valor de la eficiencia. Los modelos más rápidos pueden ahorrar tiempo y energía, mientras que los modelos más pequeños pueden resultar más prácticos para algunas tareas. Producir grandes volúmenes de resultados de IA tampoco garantiza que sean útiles. Sin embargo, las pruebas sugieren que la ventaja más amplia de la IA local podría ser permitir experimentos y análisis repetidos que los usuarios no considerarían si tuvieran que pagar por cada token por separado.

Fuentes: PCWorld.