Un test d’intelligence artificielle locale effectué sur un Asus ProArt P16 RTX Spark à 7 000 dollars a généré 220 202 tokens en un peu moins de 13 minutes. L’exécution a utilisé le modèle gpt-oss d’OpenAI, doté de 120 milliards de paramètres, pour examiner 403 candidats dans le cadre d’un projet de recherche plus vaste.
Au lieu d’utiliser un chatbot pour poser des questions individuelles, l’expérience a demandé au modèle de traiter des centaines de points de données potentiels, de les évaluer de différentes manières, de remettre en question ses propres conclusions et de produire une analyse approfondie. Comme le modèle fonctionnait entièrement sur l’ordinateur portable, cette exécution supplémentaire n’a pas entraîné de frais d’API distincts.
Cette différence a modifié la manière dont les tests ont été abordés. Avec une IA basée sur le cloud, chaque expérience supplémentaire soulève des questions concernant le coût des tokens : faut-il analyser chaque candidat, ajouter un autre contradicteur ou répéter le processus lorsque les informations évoluent ? L’exécution en local a facilité les recherches plus larges, la répétition des analyses et le test d’idées susceptibles de ne pas produire de résultats utiles.
L’expérience a également mis en évidence les coûts qui restent associés à l’IA locale. L’ordinateur portable lui-même est cher, et l’électricité ainsi que le temps consacré aux tests ne sont pas gratuits. Toute personne achetant du matériel pour éviter les factures liées à l’IA cloud doit quand même tenir compte de ces dépenses.
Le principal avantage relevé lors du test n’était pas simplement de remplacer les charges de travail cloud par une option locale moins coûteuse. Une fois l’ordinateur acheté, le coût marginal du lancement d’une nouvelle analyse de grande ampleur devenait relativement faible. Il devenait ainsi pratique d’entreprendre des calculs qui auraient autrement été abandonnés en raison de frais facturés pour chaque token.
Cette approche n’élimine pas l’intérêt de l’efficacité. Les modèles plus rapides peuvent faire gagner du temps et économiser de l’énergie, tandis que les modèles plus petits peuvent être plus adaptés à certaines tâches. Produire de grands volumes de contenu généré par l’IA ne garantit pas non plus l’obtention de résultats utiles. Toutefois, les tests suggèrent que l’avantage plus large de l’IA locale pourrait être de permettre des expériences et des analyses répétées que les utilisateurs n’envisageraient pas si chaque token devait être payé séparément.
Sources: PCWorld.