Bevor ein Softwareteam Gemini 4 Hydrogen auf einen Fehler ansetzt, muss es entscheiden: Soll es die Denkstufe `high` beibehalten oder dem Modell mehr Aufwand erlauben? Google hat Hydrogen am 12. November in der Gemini API allgemein verfügbar gemacht. Die Versionshinweise nennen vier Stufen: `low`, `medium`, die Voreinstellung `high` und die neue Stufe `xhigh`.
Die Einstellung spielt auch bei einem kurzen Patch eine Rolle. Nach Googles Standardtarifen für die kostenpflichtige API kostet Hydrogen 1,50 US-Dollar je Million nicht zwischengespeicherter Eingabetokens und 7,50 US-Dollar je Million Ausgabetokens, einschließlich der Tokens für interne Denkschritte. Ein hypothetischer Versuch mit 20.000 nicht zwischengespeicherten Eingabetokens und 4.000 abrechenbaren Ausgabetokens kostet 6 US-Cent an Tokengebühren. Bei derselben Eingabemenge und 8.000 abrechenbaren Ausgabetokens wären es 9 US-Cent. Das sind Beispiele, keine Messwerte für eine der Stufen. Gesonderte Werkzeuggebühren sind nicht enthalten.
Ein Benchmark liefert einen Grund, die neue Stufe auszuprobieren. Artificial Analysis meldet 54 Punkte für Hydrogen auf `xhigh` im Intelligence Index, der neun Prüfungen zusammenfasst. Die Punktzahl beschreibt die Leistung bei dieser Mischung von Aufgaben. Sie verrät einem Team nicht, wie oft ein Patch die eigenen Tests besteht oder wie lange die Prüfung dauert.
Für einen aussagekräftigen Versuch könnte ein Team dieselben früheren Fehler auf beiden Stufen in einer isolierten Kopie des Repositorys nachstellen. Ausgangscode, Anweisungen, Werkzeuge und Zeitlimit sollten für jeden Versuch gleich sein. Legen Sie vorher fest, was als Behebung zählt: Der Fehler lässt sich nicht mehr reproduzieren, die vorhandenen Tests bestehen weiterhin, und eine prüfende Person würde die Änderung akzeptieren. Nach Möglichkeit sollte sie die Patches bewerten, ohne deren Denkstufe zu kennen.
Teilen Sie dann für jede Stufe die gesamten Tokengebühren einschließlich der fehlgeschlagenen Versuche durch die Zahl der akzeptierten Fehlerbehebungen. Erfassen Sie Laufzeit und menschliche Prüfzeit getrennt. Wenn beispielsweise 100 Versuche zu je 6 US-Cent zu 50 akzeptierten Behebungen führen, betragen die Tokenkosten 12 US-Cent je akzeptierter Behebung. Bei 9 US-Cent pro Versuch müssten dieselben 100 Fehler 75 akzeptierte Behebungen ergeben, um diesen Wert zu erreichen. Keine dieser Quoten ist eine Prognose. Bei schwierigen Fehlern kann sich der höhere Preis trotzdem lohnen, wenn genügend Prüfzeit entfällt. Der Versuch soll zeigen, wann das der Fall ist.