Speisekarte
Krypto-Abschnitte
Der neue Benchmark für multimodale Wissensagenten testet, ob KI mit Bauplänen, Schaltplänen und klinischen Scans wie ein Arbeitsprofi umgehen kann
Dienstag, 10. November 2026 · 13:21 EST · 3 Minuten Lesezeit
In der KI
Aktie
Google DeepMind und Artificial Analysis haben einen neuen Maßstab für KI-Agenten veröffentlicht, der deutlich mehr auf Diagramme achtet als die meisten Benchmarks.
Der Multimodal Knowledge Agent Benchmark (MKA) bewertet autonome Agenten bei komplexer, visuell anspruchsvoller professioneller Arbeit. Quizfragen und das Lösen von Rätseln werden übersprungen. Es ähnelt eher einer Leistungsbeurteilung.
Was MKA tatsächlich testet
Die beiden Organisationen stellten MKA am 10. November 2026 vor. Die Veröffentlichung fiel mit einem DeepMind-Blogbeitrag und einem begleitenden technischen Dokument zusammen.
Der Benchmark umfasst 200 private Aufgaben, verteilt auf 10 Branchen. Jede Aufgabe wurde mit Beiträgen von Spezialisten aus 83 verschiedenen Berufen gestaltet.
Agenten müssen Architekturpläne, technische Pläne, klinische Scans und anderes umfangreiches visuelles Material interpretieren. Anschließend müssen die Agenten echte Ergebnisse erstellen, einschließlich Tabellenkalkulationen, Foliendecks und markierten Bildern.
Die Aufgaben sind mehrstufigen Projekten nachempfunden, für deren Erledigung menschliche Fachkräfte in der Regel 3 bis 8 Stunden benötigen.
Die Bewertung erfolgt nach strengen Expertenkriterien. Diese Rubriken legen Wert auf sachliche Genauigkeit und visuelles Design, sodass eine richtige Antwort, die in einem hässlichen, unleserlichen Dia-Deck vergraben ist, immer noch Punkte verliert.
Benotung der Bewerter
MKA basiert auf einem Agentic Autorater, einem KI-System, das die Ergebnisse anderer KI-Systeme bewertet.
Den Forschungsergebnissen zufolge erreichte der Autorater eine Übereinstimmungsrate von 96,2 % mit menschlichen Experten hinsichtlich der Bewertungskriterien.
KI, Technologie und die Märkte, die sie bewegen – in einem täglichen Briefing.
Täglich. Frei. Schließen Sie sich mehr als 34.000 Lesern aus den Bereichen Krypto, Finanzen und Politik an.
Wir respektieren Ihre Privatsphäre. Abmelden jederzeit möglich.
Auch der private Charakter der Aufgaben spielt eine Rolle. Da die 200 Aufgaben nicht öffentlich sind, können Entwickler ihre Modelle nicht einfach vorab anhand der Antworten trainieren.
Erste Ergebnisse: Qualität versus Kosten
Die erste Bestenliste enthält bereits einen bemerkenswerten Datenpunkt für Google. Gemini 4 Carbon (hoch) belegte bei MKA den zweiten Platz in der Qualität.
Die auffälligere Zahl ist die Effizienz. Gemini 4 Carbon (hoch) erledigte Aufgaben zu etwa sechsmal geringeren Kosten als das Modell, das den Spitzenplatz belegte.
Es lohnt sich, das Offensichtliche zu beachten. DeepMind hat den Benchmark mitentwickelt und sein eigenes Modell schnitt bei der kostenbereinigten Leistung gut ab. Das macht die Ergebnisse nicht ungültig, aber die Leser sollten sie unter Berücksichtigung dieses Zusammenhangs abwägen.
Warum visuelles Denken das fehlende Teil ist
Viele bestehende KI-Benchmarks basieren auf Nur-Text-Aufgaben. MKA soll diese Lücke schließen, indem es visuelle Argumente in die Bewertung selbst einbezieht.
Diese Lücke ist wichtig, denn professionelle Arbeit besteht selten aus reinem Text. Architekten arbeiten anhand von Zeichnungen, Ingenieure anhand von Schaltplänen und Kliniker anhand von Scans.
Indem MKA sowohl visuelles Verständnis als auch ausgefeilte Ergebnisse erfordert, testet MKA den gesamten Kreislauf der Wissensarbeit: komplexes Material aufnehmen, darüber nachdenken und ein brauchbares Produkt zurückgeben.
Was das für KI-Entwickler und Käufer bedeutet
Für Modellentwickler erhöht MKA den Einsatz multimodaler Fähigkeiten. Es bringt auch Designqualität ins Spiel. Entwickler können die Formatierung nicht länger als nachträglichen Gedanken betrachten, wenn Expertenrubriken unübersichtliche oder verwirrende Ergebnisse benachteiligen.
Zweihundert Aufgaben in 10 Sektoren sind für einen handkuratierten Benchmark zwar beträchtlich, decken aber immer noch einen Teil der professionellen Arbeit ab, und die Ergebnisse in einer Branche lassen sich möglicherweise nicht sauber auf eine andere übertragen.
Die 96,2-prozentige Übereinstimmung des Autors mit menschlichen Experten ist stark, die verbleibende Meinungsverschiedenheit könnte sich jedoch auf die schwierigsten oder subjektivsten Aufgaben konzentrieren.
Artificial Analysis bringt eine Bewertungsmarke eines Drittanbieters in das Projekt ein, während DeepMind die Forschungskraft und ein direktes Wettbewerbsinteresse einbringt. Wie andere Labore reagieren und ob sie Modelle einreichen und die Methodik akzeptieren, wird darüber entscheiden, ob MKA ein Industriestandard wird oder ein Maßstab unter vielen bleibt.
Offenlegung: Dieser Artikel wurde von Diego Almada Lopez bearbeitet. Weitere Informationen darüber, wie wir Inhalte erstellen und überprüfen, finden Sie in unserer Redaktionsrichtlinie.
Die Nachrichten über das, was Sie halten
Verfolgen Sie Ihre Aktien und Kryptowährungen. Lesen Sie die Neuigkeiten von Hunderten von Verlagen in Pro.
Datenschutzrichtlinie
