Studie warnt: Mehr Aufgaben machen ein Agenten-Ranking nicht immer zuverlässiger

Ein zuverlässiges Ranking hängt davon ab, was verglichen werden soll

Ein Platz in einem Ranking für Agenten mit künstlicher Intelligenz scheint eine einfache Frage zu beantworten: Welches System leistet mehr? Die Antwort kann sich jedoch ändern, je nachdem, was als „System“ gilt. Ein bereitgestellter Agent kombiniert ein Modell mit einem Scaffold – der Software und Konfiguration, die es umgeben – und wird anhand einer Reihe von Aufgaben getestet. Das beobachtete Ergebnis bezieht sich auf diese Kombination und die jeweiligen Bedingungen, nicht zwangsläufig auf das isolierte Modell.

Eine als Preprint auf arXiv veröffentlichte Studie untersucht diesen Unterschied anhand von 22 Benchmarks aus dem Holistic Agent Leaderboard und dem Harbor Index. Die Autoren vertreten die Auffassung, dass die Zuverlässigkeit einer Evaluation davon abhängt, welche Aussage sie stützen soll. Ein Ranking kann konkrete Systeme zuverlässig vergleichen, wenn Modell und Scaffold jeweils feststehen, und zugleich deutlich weniger darüber aussagen, welches zugrunde liegende Modell besser ist, wenn man von der Konfiguration abstrahiert.

Diese Unterscheidung ist wichtig, wenn man Schlagzeilen oder Kauf- und Einsatzentscheidungen einordnet. Geht es darum, zwischen zwei Produkten in ihrer angebotenen Form zu wählen, kann die Leistung der vollständigen Kombination der passende Vergleich sein. Soll dagegen die Aussage getroffen werden, ein Modell sei unabhängig von der umgebenden Software besser als ein anderes, braucht es Belege, anhand derer sich beide Effekte trennen lassen. Ein Ranking allein beantwortet nicht zwangsläufig beide Fragen.

Laut der Zusammenfassung der Studie liegt die Zuverlässigkeit von Rankings für Systeme mit festem Modell und festem Scaffold zwischen 0,935 und 0,994. Für Rankings der zugrunde liegenden Modelle wird eine deutlich größere und am unteren Ende niedrigere Spanne angegeben: 0,148 bis 0,841. Das sind im Paper berichtete Ergebnisbereiche, keine Garantie dafür, dass jeder Benchmark oder jeder konkrete Vergleich genau diese Werte erreicht.

Was die Analyse auseinanderhält: Modell, Scaffold und Aufgaben

Die Arbeit schlägt einen bayesianischen Varianzzerlegungsrahmen für Agenten-Rankings mit spärlichen oder unausgewogenen Daten vor. Der Zusammenfassung zufolge unterscheidet das Verfahren zwischen Signal – Leistungsunterschieden, die für die zu prüfende Aussage relevant sind – und Rauschen: Variation, die für diese Aussage nicht maßgeblich ist, aber die Reihenfolge der Systeme trotzdem verändern kann.

In der Praxis können sich Bewertungen unterscheiden, weil Modelle nicht gleich leistungsfähig sind, weil ein Scaffold ein bestimmtes Modell unterschiedlich unterstützt oder benachteiligt oder weil die ausgewählten Aufgaben den Bereich, über den man Schlussfolgerungen ziehen möchte, nicht angemessen abbilden. In der Zusammenfassung wird besonders hervorgehoben, dass die Wahl des Scaffolds die Schlussfolgerungen verändern kann und dass es je nach Evaluation erheblich variiert, ob die Reihenfolge der Modelle über verschiedene Scaffolds hinweg erhalten bleibt.

Das bedeutet weder, dass Scaffolds unwichtig sind, noch, dass es für jeden Einsatzzweck eine einzige „wahre“ Rangfolge von Modellen gibt. Es bedeutet, dass die Fragestellung klar definiert werden muss. Wird ein Agent bewertet, der mit einem bestimmten Tool ausgeliefert wird, gehört das Scaffold zum Bewertungsgegenstand. Sollen Fähigkeiten dem Modell selbst zugeschrieben werden, werden Unterschiede zwischen Scaffolds zu einer Variationsquelle, die gemessen oder kontrolliert werden muss.

Die vorliegende Zusammenfassung enthält keine Einzelheiten zu den Gleichungen, den Annahmen des bayesianischen Modells, den genauen Einheiten aller Koeffizienten oder den Unsicherheitsintervallen der einzelnen Schätzungen. Die genannten Spannen sollten daher als von den Autoren zusammengefasste Ergebnisse gelesen werden, nicht als vollständige Rekonstruktion der statistischen Analyse.

Warum zusätzliche Aufgaben die Unsicherheit nicht immer beseitigen

Eine naheliegende Reaktion auf eine instabile Evaluation ist, mehr Aufgaben hinzuzufügen. Das kann helfen, wenn die Unsicherheit auf einer begrenzten Aufgabenstichprobe beruht. Die Studie warnt jedoch davor, dass ein größerer Satz ähnlich konstruierter Aufgaben nicht jede Variationsquelle beseitigt. Wenn vor allem die geringe Abdeckung von Scaffolds das Problem ist, bleibt es weitgehend bestehen, wenn man die Zahl der Aufgaben unter ähnlichen Bedingungen vervielfacht.

Die Autoren schätzen der Zusammenfassung zufolge, dass die Zuverlässigkeit des Modell-Rankings eines Benchmarks selbst bei einer unbegrenzten Zahl ähnlich konstruierter Aufgaben höchstens um 0,097 steigen würde, wenn die Unsicherheit durch eine begrenzte Scaffold-Abdeckung dominiert wird. Diese Projektion gilt unter der Bedingung, dass diese Diagnose zutrifft und die Aufgaben so konstruiert sind, wie in der Arbeit beschrieben. Sie ist keine allgemeingültige Regel, die den möglichen Zugewinn jeder Evaluation auf diesen Wert begrenzt.

Die Analyse nennt außerdem eine Alternative: unterschiedliche Benchmarks zusammenzuführen, um Systeme über vielfältige agentische Aufgaben hinweg zu vergleichen. Der berichteten Projektion zufolge steigt die Zuverlässigkeit von Rankings über verschiedene Aufgaben hinweg durch das Bündeln von Benchmarks bei gleichem Aufgabenbudget von 0,44 auf 0,75. Die projizierten Kosten können dabei um bis zu 83 % sinken. Diese Werte beschreiben Projektionen der Studie und garantieren nicht, dass jede beliebige Kombination von Benchmarks denselben Zugewinn erzielt.

Die praktische Folgerung lautet, das Evaluationsbudget auf die jeweils relevante Unsicherheitsquelle auszurichten. Fehlen repräsentative Aufgaben, kann es sinnvoll sein, weitere Aufgaben einzubeziehen. Fehlt Vielfalt bei den Scaffolds, müssen zusätzliche Konfigurationen getestet werden. Soll auf eine breite Problemfamilie verallgemeinert werden, kann die Kombination unterschiedlicher Evaluationen informativer sein, als denselben einzelnen Benchmark immer weiter auszubauen.

Was über die Benchmarks bekannt ist – und was noch überprüft werden muss

Die Studie gibt an, ihren Rahmen auf 22 Benchmarks aus dem Holistic Agent Leaderboard und dem Harbor Index anzuwenden. Die verfügbare Zusammenfassung nennt weder alle 22 Benchmarks noch legt sie die genauen Kriterien für Auswahl, Ausschluss oder Gewichtung dar. Auch die Verteilung von Aufgaben und Scaffolds in den einzelnen Benchmarks lässt sich anhand der vorliegenden Informationen nicht rekonstruieren. Diese Detailgrenzen erschweren es, die Repräsentativität der Auswahl zu beurteilen.

Die Arbeit beschreibt das Problem als eines mit spärlichen und unausgewogenen Daten und stellt ihren Rahmen als Ansatz vor, um unter solchen Bedingungen Zuverlässigkeit zu schätzen. Aus der Zusammenfassung allein lässt sich jedoch nicht ableiten, dass alle Benchmarks dieselbe Zusammensetzung haben, dass ein Ungleichgewicht auf eine bestimmte Weise korrigiert wurde oder dass die Ergebnisse uneingeschränkt direkt miteinander vergleichbar sind.

Anhand der vorliegenden Informationen lässt sich auch nicht bestätigen, ob die Autoren Daten, Code und Analysen veröffentlicht haben, die für eine Reproduktion der Schätzungen ausreichen. Preprint und Zusammenfassung beschreiben die wichtigsten Ergebnisse, doch das für diesen Beitrag verfügbare Material verifiziert weder die Verfügbarkeit noch den Umfang solcher Ressourcen. Für eine umfassende Bewertung müsste man den vollständigen Text, die Anhänge und gegebenenfalls die Reproduktionsartefakte prüfen.

Welche Schlussfolgerungen vertretbar sind – und wofür weitere Belege nötig sind

Die zentrale Schlussfolgerung, die sich aus der Zusammenfassung ziehen lässt, ist methodischer Art: Ein Ranking muss im Verhältnis zu seinem Messziel interpretiert werden. Die Zuverlässigkeit beim Vergleich konfigurierter Produkte belegt nicht automatisch, dass der Einfluss ihrer Modelle isoliert wurde. Ebenso garantiert ein über Aufgaben aggregiertes Ergebnis nicht, dass die Rangfolge bei einer einzelnen Aufgabe bestehen bleibt.

Die berichteten Ergebnisse stützen außerdem zwei konkrete Warnhinweise: Das Scaffold kann Schlussfolgerungen verändern, und mehr Aufgaben zu ergänzen beseitigt nicht immer die dominierende Unsicherheit. Der Vorschlag, unterschiedliche Benchmarks zu kombinieren, ist als mögliche effizientere Nutzung des Budgets beachtenswert. Die Angaben zu Verbesserungen und Kosten sind jedoch Projektionen der Studie und keine Zusicherung, die sich ohne Prüfung auf jeden Anwendungsfall übertragen lässt.

Bevor man die Ergebnisse verallgemeinert, müsste man die vollständige Arbeit prüfen und die statistischen Annahmen, die genaue Definition von Zuverlässigkeit, die einbezogenen Benchmarks, die Abdeckung von Modellen und Scaffolds sowie die Kostenberechnung nachvollziehen. Außerdem wäre es sinnvoll, die Ergebnisse mit anderen Evaluationssammlungen zu reproduzieren und zu prüfen, ob die Schlussfolgerungen Änderungen bei der Auswahl von Aufgaben und Konfigurationen standhalten. Ohne diese Schritte ist eine eng gefasste Lesart am belastbarsten: Das Evaluationsdesign kann das Ranking beeinflussen, und welche Belege nötig sind, hängt von der angestrebten Aussage ab.

Wer neue Evaluationen verfolgt, sollte daher nicht nur fragen, wer auf Platz eins steht. Ebenso wichtig ist, was konstant gehalten und was variiert wurde, welche Aufgabenpopulation der Benchmark repräsentiert und welche Unsicherheit mit der Rangfolge verbunden ist. Diese Kriterien helfen, Rankings sorgfältig zu vergleichen, ohne die Leistung eines bereitgestellten Systems mit einer isolierten Messung seines Modells zu verwechseln.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.