LifeVal: OpenAI misst Alltagsagenten – warum hohe Testwerte noch keinen echten Erfolg beweisen

OpenAI beginnt mit einer sinnvollen Frage: Welche Unterstützung wünschen Menschen wirklich? Für LifeVal greift das Unternehmen auf die American Time Use Survey und die Multinational Time Use Study zurück. Hinzu kommt eine nach OpenAI-Angaben demografisch repräsentative Befragung von 3.995 Personen. Die Aufgaben betreffen unter anderem Betreuung, Bildung, Haushaltsorganisation, persönliche Finanzen, Einkäufe und Behördenkontakte.

Die Verschiebung ist wichtig: Klassische Modelltests bewerten häufig Wissen, Mathematik oder Code. Eine Privatperson benötigt dagegen oft einen nachvollziehbaren Plan, den passenden Antrag oder eine verlässliche Entscheidungsvorbereitung. Die Quelle beschreibt LifeVal als Evaluation, mit der OpenAI seine Modelle entwickelt und Fortschritt verfolgt. Sie kündigt damit keinen universell verfügbaren Agenten an, der alle Beispiele selbstständig abschließen kann.

OpenAI nennt für die vorgestellte Aufgabe, passende Kindergärten nach einem Umzug zu vergleichen, 93,1 Prozent. Für die Organisation von Freiwilligen zur Hochwasservorbereitung werden 98,0 Prozent gezeigt; ein Beispiel zur Wohnungssuche erreicht in der Darstellung 100 Prozent. Solche Einzelwerte illustrieren den gewählten Bewertungsansatz, dürfen aber nicht als Gesamtwert für LifeVal oder als Erfolgswahrscheinlichkeit in beliebigen Haushalten gelesen werden.

Die Beispielantwort zur Kita bietet eine Vorauswahl und verweist ausdrücklich auf noch offene Entscheidungen der Eltern. Auch das Beispiel zu medizinisch geprägter Essensplanung führt zu einem Vorschlag und zur Abstimmung mit dem Behandlungsteam. Die entscheidende Lesart lautet: Das System unterstützt einen Prozess. Ob eine Einrichtung tatsächlich Plätze anbietet, eine reale Hilfe organisiert wurde oder ein Antrag erfolgreich eingereicht ist, folgt aus diesen Screenshots nicht.

Eine Evaluation kann eine Modellleistung an einem definierten Aufgabenfall messen. Ein echter Agent muss zusätzlich aktuelle Quellen abrufen, Berechtigungen einhalten, mit veränderten Webseiten umgehen, Termine bestätigen und Auswirkungen dokumentieren. Der Sprung zwischen beidem ist kein nebensächliches Detail, sondern die Differenz zwischen einer guten Assistenz und einem zuverlässig abgeschlossenen Auftrag.

Eine besonders hilfreiche Veröffentlichung würde daher die Aufgaben nicht nur nach Antwortqualität, sondern auch nach Aktionserfolg, Fehlerfolgen und erforderlichem menschlichem Eingriff aufschlüsseln. Diese Kennzahlen können wir aus der öffentlich präsentierten Kurzbeschreibung nicht als vollständige unabhängige End-to-End-Statistik ableiten. AgentenCode kennzeichnet diese Lücke ausdrücklich statt die hohen Beispielprozente zu überdehnen.

Gerade bei Betreuungsplätzen, Gesundheit, Geld und Behörden kann ein sprachlich überzeugender Vorschlag erhebliche Folgen haben. Ein Agent, der nur recherchiert, braucht andere Rechte als ein Agent, der Verträge abschließt, Zahlungen auslöst oder persönliche Dokumente übermittelt. Sinnvoll ist deshalb eine getrennte Freigabe je Wirkungsstufe: Informationen sammeln, Empfehlungen vorbereiten, reale Transaktionen ausführen.

Auch die Datensparsamkeit muss Teil des Tests sein. Familien- und Gesundheitsinformationen sollten nicht als vermeintlich harmlose Beispiele unkontrolliert in externe Werkzeuge gelangen. Vor einer produktiven Nutzung gehört dokumentiert, welche Daten an welche Dienste gehen, wie aktuell Quellen sind, wer vor kritischen Schritten bestätigt und wie Fehler zurückgenommen werden können.

Unsere Matrix ist keine von OpenAI veröffentlichte LifeVal-Wertung. Sie übersetzt die belegten Beispielaufgaben in prüfbare Freigabefragen. Damit wird aus einer interessanten Forschungsankündigung eine Entscheidungshilfe für Entwickler, Familien und Organisationen.

Die Trennlinie ist jeweils dieselbe: Eine gute Vorauswahl lässt sich häufig unter Aufsicht testen; reale Einschreibungen, Zahlungen oder Hilfseinsätze benötigen zusätzliche Verifikation. Erst ein nachweisbar korrektes Ergebnis außerhalb des Modells würde die Behauptung einer vollständig erledigten Aufgabe tragen.

Ein belastbarer Pilot braucht zunächst drei bis fünf klar abgegrenzte Aufgaben mit Einwilligung und geeigneten Testdaten. Für jeden Auftrag werden erwarteter Ausgang, erlaubte Werkzeuge, notwendige Freigaben und Abbruchbedingungen festgelegt. Dann prüft man nicht nur das Enddokument, sondern auch die verwendeten Quellen, Änderungen an externen Systemen und den Zeitaufwand für Korrekturen.

Anschließend werden reale Erfolgsfälle und Fehlschläge getrennt dokumentiert: Wurde die richtige Kita kontaktiert? War der Antrag gültig? Musste eine Person eingreifen? Ohne solche Logs bleibt eine Prozentzahl aus einer Modell-Evaluation ein Hinweis auf Fähigkeit, nicht der Beweis für verlässliche praktische Autonomie. Wir haben diese Tests selbst nicht durchgeführt.

LifeVal ist aus redaktioneller Sicht relevant, weil es die Diskussion weg von abstrakter Modellintelligenz hin zu menschlich nützlichen Aufgaben lenkt. Das ist ein Fortschritt bei der Wahl des Bewertungsgegenstands, keine Garantie, dass Agenten schon sicher im Alltag handeln.

Die nächste wichtige Frage lautet daher nicht nur, wie hoch der veröffentlichte Score ist, sondern welche Aufgaben mit echten Werkzeugen, korrekten Rechten, nachvollziehbarer menschlicher Zustimmung und überprüfbarem Ergebnis zuverlässig erledigt werden. Genau diese Grenze sollten Leser beim Vergleich von Alltagsagenten beachten.