Nano Banana 2 bei der schrittweisen Bildbearbeitung bewerten

Was wir wissen – und was die Dokumentation noch nicht belegt

Bei diesem Benchmark geht es nicht darum, ob ein Bild attraktiv wirkt oder ob das Modell in einem einzelnen Beispiel eine überzeugende Bearbeitung erzeugen kann. Die Frage ist konkreter: Wenn jemand in aufeinanderfolgenden Gesprächsschritten mehrere Änderungen anfordert, werden diese Änderungen dann umgesetzt, und bleiben zugleich die Bestandteile stabil, die nicht verändert werden sollten? Außerdem ist relevant, ob Fehler aus einem Bearbeitungsschritt in den nächsten übernommen werden und sich dort summieren.

Google stellt Nano Banana 2 in einer an Entwickler gerichteten Dokumentation vor und beschreibt Fähigkeiten rund um die Bildgenerierung, Bildbearbeitung und schnelle Iteration. Diese Beschreibung hilft, den angekündigten Einsatzzweck einzuordnen. Sie ist jedoch keine unabhängige Messung dafür, ob das Modell Details über mehrere Gesprächsschritte hinweg bewahrt. Die verfügbaren Quellen enthalten weder quantitative Ergebnisse für diese konkrete Aufgabe noch ein Prüfprotokoll, aus dem sich ein bestimmtes Leistungsniveau ableiten ließe.

Der folgende Text ist deshalb ein Vorschlag für eine Evaluation und kein Ergebnisbericht. Er schreibt dem Modell keine Erfolgsquote zu, erklärt es nicht für besser oder schlechter als eine Alternative und setzt nicht voraus, dass eine Bearbeitung den Zustand der vorherigen automatisch beibehält. Vor Beginn der Prüfung muss geklärt werden, welche genaue Modellversion verfügbar ist, über welche Schnittstelle sie aufgerufen wird und welche Steuerungsmöglichkeiten diese bietet.

Die konkrete Frage des Benchmarks

Der Anwendungsfall beginnt mit einem Bild, an dem nacheinander mehrere Änderungen angefordert werden. Beispielsweise soll zunächst die Farbe einer Jacke geändert, danach der Hintergrund ausgetauscht und schließlich ein Gegenstand auf einem Tisch ergänzt werden. Bei jedem Schritt sollte die Prüfung sowohl die angeforderte Änderung als auch die Bewahrung der davon unabhängigen Elemente beurteilen: Gesicht, Körperhaltung, nicht erwähnte Kleidungsstücke, Gegenstände, Bildausschnitt und wichtige Merkmale des Hintergrunds.

Die Evaluation muss zwei Pflichten getrennt betrachten. Erstens die Umsetzung: Ist die in diesem Schritt angeforderte Änderung im Ergebnis zu sehen? Zweitens die Bewahrung: Sind die zuvor als Kontrollen festgelegten Elemente ausreichend stabil geblieben? Ein Ergebnis kann eine dieser Anforderungen erfüllen und an der anderen scheitern. Wird nur die allgemeine Ähnlichkeit oder Attraktivität bewertet, können solche Fehler verborgen bleiben.

Erfasst werden sollte außerdem, ob das Ergebnis eines Schritts Mängel einführt, die die folgenden Schritte beeinflussen. Eine zu Beginn deformierte Hand kann auch später deformiert bleiben, selbst wenn sich die nächsten Anweisungen auf andere Elemente beziehen. Der Benchmark sollte diesen Mangel nicht automatisch der letzten Anweisung zuschreiben. Dafür müssen die Bilder aus jeder Phase aufbewahrt und der gesamte Bearbeitungsverlauf bewertet werden.

Aufgaben entwickeln und Bilder auswählen

Der Testsatz sollte unterschiedliche Ausgangsbilder enthalten: etwa Bilder mit Personen, Gegenständen, Innen- und Außenszenen sowie verschiedenen Komplexitätsgraden. Vielfalt belegt für sich genommen noch keine Repräsentativität. Sie hilft aber festzustellen, ob das beobachtete Verhalten vom Inhaltstyp abhängt. Schlussfolgerungen müssen auf die tatsächlich untersuchten Kategorien und Bedingungen beschränkt bleiben.

Für jedes Bild sollte vorab eine Folge von Anweisungen sowie eine Liste der Ziel- und Kontrollelemente erstellt werden. Ziele sind die Elemente, deren Änderung verlangt wird. Kontrollen sind Elemente, die durch die Anweisung nicht verändert werden sollen. Ein Aufgabenblatt kann festhalten, was sich ändern muss, was erhalten bleiben soll, welche Nebenänderungen relevant sind und welche Mehrdeutigkeiten zu unterschiedlichen Bewertungen führen könnten.

Die Anweisungen sollten konkret, aber nicht so restriktiv formuliert sein, dass der Benchmark nur eine einzige exakt festgelegte Antwort zulässt. Die Aufforderung, eine Tasse durch eine blaue Tasse zu ersetzen, lässt beispielsweise Spielraum bei Form und Oberflächenstruktur. Objektiver kann es sein, die Anzahl der Personen oder die ungefähre Position einer Lampe zu bewahren. Akzeptanzkriterien und Ausschlüsse müssen feststehen, bevor das Modell aufgerufen wird.

Bei der Auswahl der Fälle sollte vermieden werden, ausschließlich einfache oder besonders eindrucksvolle Beispiele zu verwenden. Es sollte dokumentiert werden, wie die Bilder zusammengestellt wurden, wie viele Aufgaben ausgeschlossen wurden und aus welchen Gründen. Werden Materialien mit Nutzungseinschränkungen oder personenbezogenen Daten verwendet, müssen Herkunft und relevante Schutzmaßnahmen dokumentiert werden. Die verfügbaren Quellen erlauben keine Aussage darüber, welche Trainingsdaten für das Modell verwendet wurden oder ob ein bestimmter Evaluationsdatensatz mit diesen Daten überlappt. Diese Unsicherheit muss ausdrücklich bestehen bleiben.

Durchführungsbedingungen und Vergleich

Vor der Durchführung muss das Team das genaue Modell und die genaue Version identifizieren, die über den ausgewählten Zugang verfügbar sind. Der Name, der auf einer Website oder in einer Benutzeroberfläche angezeigt wird, reicht nicht aus, wenn sich damit Nano Banana 2 nicht verlässlich von anderen Bildmodellen unterscheiden lässt. Außerdem sind Testdatum, Benutzeroberfläche oder API, verfügbare Parameter, Bildformat und Bildgröße sowie alle Systemanweisungen zu dokumentieren, die sich auf die Bearbeitung auswirken.

Eine zentrale Bedingung ist der Umgang mit dem Gesprächszustand zwischen den Schritten. Die Benutzeroberfläche kann den Gesprächskontext erhalten; möglicherweise muss die Person, die den Test ausführt, aber auch bei jedem Schritt das bearbeitete Bild erneut übermitteln. Diese Bedingungen sind nicht gleichwertig: Im zweiten Fall erhält das Modell bei jedem Schritt ein neues Bild als Eingabe. Das Protokoll muss festhalten, welcher Fall vorliegt, und alle gesendeten Anweisungen sowie die empfangenen und übermittelten Bilder sichern.

Als Referenz kann der iterative Ablauf mit einer Ein-Schritt-Bedingung verglichen werden: Eine einzige Anweisung bündelt die für die Abfolge geplanten Änderungen, und das Bild wird einmal bearbeitet. Aussagekräftig ist der Vergleich nur, wenn beide Abläufe – soweit der Zugang es zulässt – dasselbe Modell, dieselben Ausgangsbilder, dieselbe Eingabequalität, dieselben Parameter und dieselbe Zahl an Generierungsmöglichkeiten verwenden. Weichen diese Bedingungen voneinander ab, muss das offengelegt werden; der Unterschied darf dann nicht allein der Zahl der Schritte zugeschrieben werden.

Ein vollständig gleichwertiger Vergleich ist nicht immer möglich. Eine zusammengefasste Anweisung kann länger oder mehrdeutiger sein als mehrere aufeinanderfolgende Anweisungen; eine Sequenz kann außerdem Korrekturen ermöglichen, die es in einem einzigen Durchgang nicht gibt. Diese Unterschiede gehören zur praktischen Fragestellung, müssen aber genau beschrieben werden. Wenn der Zugang keine vergleichbare Bedingung zulässt, kann das Team den iterativen Ablauf dennoch prüfen und als solchen darstellen – ohne zu behaupten, damit einen Vorteil gegenüber einem einzelnen Durchgang bewiesen zu haben.

Metriken, menschliche Prüfung und Ergebnisse

Das Hauptergebnis sollte nicht ohne Erklärung in einer einzigen Punktzahl zusammengefasst werden, die mehrere Aspekte vermischt. Mindestens die Umsetzung jeder Änderung, die Bewahrung jeder Kontrolle, die Kohärenz mit dem Ausgangsbild sowie neue oder fortbestehende Fehler sind getrennt auszuweisen. Der Anteil erfüllter Kriterien kann berechnet werden; zusätzlich sollten jedoch Fallzahlen und Fehlerbeispiele erscheinen, damit die Zusammenfassung keine wichtigen Einzelfälle verdeckt.

Eine menschliche Bewertung ist sinnvoll, weil manche Kriterien – etwa die Bewahrung des Erscheinungsbilds einer Person – visuelles Urteilsvermögen erfordern können. Um Verzerrungen zu verringern, sollte die Bewertungsrubrik feststehen, bevor die Ausgaben angesehen werden. Wenn es praktikabel ist, sollten die bewertenden Personen nicht wissen, welche Bedingung das jeweilige Bild hervorgebracht hat. Bei mehreren Bewertenden sind Übereinstimmung und Umgang mit Meinungsverschiedenheiten anzugeben. Ein informeller Eindruck darf nicht als reproduzierbare Messung dargestellt werden.

Automatische Metriken können beim Vergleich von Bildern oder beim Erkennen von Änderungen helfen, die Prüfung der Anweisungsabsicht aber nicht ersetzen. Das Team muss angeben, welche Werkzeuge verwendet wurden und welchen Aspekt sie messen. Eine hohe Gesamtähnlichkeit kann beispielsweise mit einer falschen Änderung an einem kleinen Detail einhergehen. Umgekehrt kann eine große globale Abweichung erwartbar sein, wenn ausdrücklich der Hintergrund ersetzt werden soll.

Um die Variation zwischen Durchläufen zu beschreiben, sollten Fälle unter dokumentierten Bedingungen wiederholt werden, sofern der Zugang weitere Generierungen erlaubt. Die Zahl der Wiederholungen muss vor der Interpretation der Ergebnisse festgelegt und zusammen mit Fehlern, ungültigen Ausgaben und besonderen Vorkommnissen veröffentlicht werden. Es empfiehlt sich nicht, pro Fall nur die beste Ausgabe auszuwählen: Damit würde die Leistung nach Auswahl eines Ergebnisses gemessen, nicht die Zuverlässigkeit eines normalen einzelnen Durchlaufs.

Reproduzierbarkeit, Grenzen und Reichweite der Schlussfolgerungen

Ein reproduzierbarer Bericht sollte die Aufgabenliste, die genauen Anweisungen, Herkunft oder Beschreibung der Bilder, verfügbare Parameter, Zahl der Durchläufe und Bewertungsrubrik veröffentlichen. Auch fehlgeschlagene Ergebnisse sollten gezeigt und Ausschlüsse erklärt werden. Wenn Bilder aus Gründen wie Lizenz, Datenschutz oder anderen Einschränkungen nicht geteilt werden können, muss diese Grenze erläutert werden. Zusätzlich sollte genügend Beschreibung bereitgestellt werden, damit nachvollziehbar ist, wie die Fälle zusammengestellt wurden.

Die verfügbaren Vorarbeiten beantworten diese Evaluationsfrage nicht von selbst. Eine Studie zu Nano Banana Pro, die verschiedene visuelle Aufgaben untersucht, betrifft ein anderes Modell und ein anderes Prüfdesign. Ihre Schlussfolgerungen lassen sich nicht auf Nano Banana 2 oder auf die schrittweise dialoggestützte Bildbearbeitung übertragen. Ebenso ist ein Benchmark zu Nano Banana 2 Lite kein direkter Vergleich mit dem hier vorgeschlagenen exakten Modell. Eine Untersuchung zur Bildrestaurierung mit Nano Banana 2 kann Kontext zu einer verwandten Aufgabe liefern, misst aber nicht notwendigerweise, ob Elemente nach aufeinanderfolgenden Anweisungen erhalten bleiben.

Wird das Protokoll durchgeführt, müssen die Schlussfolgerungen auf die tatsächlich geprüften Versionen, Bedingungen, Bilder und Aufgaben beschränkt bleiben. Gute Ergebnisse bei einigen wenigen Szenen belegen keine Zuverlässigkeit für die gesamte visuelle Bildbearbeitung, andere Zugangswege oder professionelle Anwendungen mit abweichenden Anforderungen. Ebenso erlauben sie keine Aussagen über Aufgaben, die nicht Teil der Prüfung waren. Gibt es keinen überprüfbaren Zugang, mit dem sich das Modell identifizieren und die Bedingungen dokumentieren lassen, kann der Test als explorativ beschrieben werden, nicht als vollständig reproduzierbarer Vergleich.

Praktische Kriterien vor einer Entscheidung

Teams, die schrittweise Bildbearbeitung in einen Arbeitsablauf integrieren möchten, sollten ihre Entscheidung auf Aufgaben stützen, die der eigenen Nutzung nahekommen – nicht nur auf vom Anbieter ausgewählte Demonstrationsbilder. Vorrang sollten Elemente haben, deren Veränderung erhebliche Folgen hätte, etwa Identität, Text, Logos, Produktgegenstände oder wichtige Bestandteile einer Szene. Außerdem muss festgelegt werden, welches Ausmaß an unbeabsichtigten Änderungen akzeptabel wäre.

Bevor eine Punktzahl interpretiert wird, sollten vier Punkte geprüft werden: Ist das getestete Modell eindeutig identifiziert? Ist bekannt, wie der Zustand zwischen den Schritten übermittelt wird? Werden angeforderte Änderungen und zu bewahrende Elemente getrennt bewertet? Enthält der Bericht Angaben zu Variation, Fehlern und Grenzen? Fehlt einer dieser Punkte, ist die resultierende Evidenz schwächer; diese Unsicherheit sollte in die Entscheidung einfließen.

Die verfügbare Dokumentation rechtfertigt es, diese Evaluationsfrage zu stellen, nimmt die Antwort aber nicht vorweg. Der nächste Schritt besteht nicht darin, einen Sieger auszurufen, sondern einen kontrollierten Test durchzuführen, den vollständigen Ablauf zu dokumentieren und Ergebnisse zu veröffentlichen, die eine gelungene Einzelbearbeitung von einer tatsächlich stabilen Abfolge unterscheiden.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.