Ein Test lokaler künstlicher Intelligenz auf einem 7.000 US-Dollar teuren ASUS ProArt P16 RTX Spark erzeugte in knapp 13 Minuten 220.202 Token. Bei dem Durchlauf wurde OpenAIs gpt-oss-Modell mit 120 Milliarden Parametern eingesetzt, um 403 Kandidaten im Rahmen eines umfassenderen Forschungsprojekts zu untersuchen.

Anstatt einen Chatbot für einzelne Fragen zu verwenden, ließ das Experiment das Modell Hunderte potenzieller Datenpunkte verarbeiten, sie auf unterschiedliche Weise bewerten, seine eigenen Schlussfolgerungen hinterfragen und umfangreiche Analysen erstellen. Da das Modell vollständig auf dem Laptop lief, führte der zusätzliche Durchlauf zu keiner separaten API-Gebühr.

Dieser Unterschied veränderte die Herangehensweise an die Tests. Bei cloudbasierter KI wirft jedes zusätzliche Experiment Fragen zu den Token-Kosten auf, etwa ob jeder Kandidat analysiert, ein weiterer Gegenprüfer hinzugefügt oder der Prozess bei veränderten Informationen wiederholt werden soll. Die lokale Ausführung erleichterte umfassendere Suchen, wiederholte Analysen und das Testen von Ideen, die möglicherweise keine nützlichen Ergebnisse liefern würden.

Die Erfahrung machte auch die weiterhin mit lokaler KI verbundenen Kosten deutlich. Der Laptop selbst ist teuer, und Strom sowie Testzeit sind nicht kostenlos. Wer Hardware kauft, um Rechnungen für Cloud-KI zu vermeiden, muss diese Ausgaben weiterhin berücksichtigen.

Der wichtigste im Test festgestellte Vorteil bestand nicht einfach darin, Cloud-Arbeitslasten durch eine günstigere lokale Option zu ersetzen. Sobald der Computer bereits gekauft war, wurden die zusätzlichen Kosten für den Start einer weiteren umfangreichen Analyse relativ gering. Dadurch wurde es praktikabel, Berechnungen zu versuchen, die andernfalls wegen Gebühren pro Token aufgegeben werden könnten.

Der Ansatz beseitigt nicht den Wert von Effizienz. Schnellere Modelle können Zeit und Energie sparen, während kleinere Modelle für manche Aufgaben praktischer sein können. Die Erzeugung großer Mengen an KI-Ausgaben garantiert ebenfalls keine nützlichen Ergebnisse. Die Tests legen jedoch nahe, dass der größere Vorteil lokaler KI darin liegen könnte, Experimente und wiederholte Analysen zu ermöglichen, die Nutzer nicht in Betracht ziehen würden, wenn jeder Token separat bezahlt werden müsste.

Quellen: PCWorld.