Apples neuer CEO zeigte sich zuletzt etwas unzufrieden mit den Fortschritten seiner eigenen KI.

Den neuesten Nachrichten von Bloomberg zufolge hat Apple-Chef John Ternus den Software-Direktor Federighi gebeten, das Tempo der KI-Entwicklung zu beschleunigen und mutigere Pläne auszuarbeiten. Er kann Siri nicht einfach um ein paar Funktionen aufrüsten.

Verglichen mit der Geschwindigkeit der KI-Implementierung von Apple übertrifft der Forschungsfortschritt von Apple tatsächlich viele Erwartungen, einschließlich der verkörperten Intelligenz. Apple untersucht auch, wie man der KI einen Körper geben kann, der in der realen Welt agieren kann.

Kürzlich veröffentlichte das Apple-Forschungsteam eine Studie über einen humanoiden Roboter namens HALO, der direkt Yushu G1 als Körper und einen Mac mini M4 Pro an der Rückseite verwendet, auf dem immer noch Alibabas Qianwen-Modell läuft.

Dieses scheinbar hybride System ermöglicht es Robotern bereits, selbstständig fremde Häuser zu betreten, Stühle zum Sitzen zu finden, unter Tische zu gelangen und Kisten wegzuschieben. Die durchschnittliche Erfolgsquote für 360 Tests in 6 realen Umgebungen, die noch nie zuvor gesehen und gescannt wurden, betrug 91 %.

Bild | Projektadresse: https://apple-aiml-research.github.io/ml-halo/

Noch interessanter ist, dass Apple nicht einmal jemanden gefunden hat, der den Roboter fernsteuert, um diese Trainingsdaten zu sammeln.

Das Forschungsteam verwendete Hunderte von GPUs, um Roboterbewegungs- und visuelle Daten in Tausenden von virtuellen Häusern stapelweise zu generieren, und übertrug die erlernten Fähigkeiten dann direkt in die reale Welt.

Dies bedeutet, dass humanoide Roboter, die ursprünglich eine manuelle Anleitung durch Menschen erforderten, nun die Möglichkeit haben, mithilfe von Rechenleistung zu lernen.

[demo-1080.mp4]

Um einem Roboter das Sitzen beizubringen, müssen Sie zunächst fotografieren, was er sieht.

Wenn wir „Setzen Sie sich auf einen Stuhl“ hören, schauen wir normalerweise auf die Stelle, an der sich der Stuhl befindet, gehen dann hinüber, drehen uns um und verlagern dann unser Körpergewicht auf den Sitz.

Für Roboter erfordert dieser Prozess ganz bestimmte Trainingsdaten. Eine gemeinsame Datenprobe muss nicht nur die gehörten Anweisungen und die Bilder aus der Ich-Perspektive enthalten, sondern auch die Aufzeichnungen darüber, wie sich die Gelenke des gesamten Körpers bei der Ausführung der Aufgabe bewegen. Da man sich bei der Entnahme auf die menschliche Fernbedienung verlässt, muss jedes Mal, wenn eine weitere Probe vorhanden ist, die Probe erneut durchgeführt werden.

Die Daten dieses gepaarten Roboters heißen „Vision-Language-Action, VLA“. Im Gegensatz zum Training großer Sprachmodelle, die unerschöpflichen Text im Internet nutzen können, gibt es in der realen Welt keine vorhandenen VLA-Korpusdaten.

Jedes Trainingsbeispiel muss speziell von jemandem erstellt werden: einem Remote-Betriebssystem (wie ALOHA) oder einem tragbaren Bewegungserfassungsgerät (wie UMI). Für die Produktion einer Stunde Daten ist mindestens eine Stunde Arbeitskraft erforderlich. Dies ist auch ein berühmter „Datenengpass“ im Bereich humanoider Roboter.

Die in Apples Papier HALO gegebene Lösung lautetKeine menschlichen Daten mehr, alles durch Simulation synthetisiert.

Das Forschungsteam verwendete ein Bewegungsdiffusionsmodell, um Ganzkörperbewegungen zu erzeugen, und nutzte einen programmierten Generator (INFINIGEN), um 1.000 virtuelle Häuser mit Wohnzimmern, Büros und Schlafzimmern mit zufälliger Möbeldichte zu erstellen. Anschließend fügten sie die Bewegungen in Isaac Sim in die Szene ein, renderten die Ego-Ansicht der Kopfkamera des Roboters und übergaben sie schließlich an den automatischen Verifizierer, um schlechte Proben auszusortieren, die Schimmel aufweisen oder verrutschen.

Beim Sitzen auf einem Stuhl bestimmten die Forscher beispielsweise zunächst die Phasen des Hinübergehens, des Umdrehens, des Hinsetzens und schließlich die Haltung des festen Sitzens.Das Aktionsgenerierungsmodell liefert darauf basierend mehrere Sätze von TrajektorienDas Programm prüft, ob die Fußsohlen verrutscht sind, ob der Körper den Boden durchdrungen hat und ob die Gelenke den Bewegungsbereich überschritten haben, und stellt dann die abgeschirmten Bewegungen und Stühle in den virtuellen Raum, um umliegende Möbel zu vermeiden.

Als nächstes erfasste der Simulator die Szene aus der Position der Kopfkamera des Roboters. Das Team arbeitete an etwa 1.000 prozedural generierten Räumen. 163.000 Artikel, fast 300 StundenBei gepaarten Stichproben ist die Datengröße nur durch die Rechenleistung begrenzt.

In dem Artikel wurde auch erwähnt, dass es 250 H100-GPUs und 9 Stunden dauerte, um allein 50.000 Proben der SIT-Fähigkeit (Sitz) zu generieren; Die Generierung aller 1.178 Räume dauerte etwa 300 GPUs und 26 Stunden.

Auch die Raumvielfalt selbst spielt eine Rolle. Das Forschungsteam ließ die Menge der Aktionsdaten unverändert und passte lediglich die Anzahl der Trainingsszenen an. In 100 unsichtbaren simulierten Räumen stieg die Erfolgsquote beim Sitzen auf einem Stuhl von 43 %, wenn nur 1 Raum für das Training genutzt wurde, auf 81 %, wenn 100 Räume genutzt wurden. Fügte man 1.000 weitere Szenen hinzu, stieg die Punktzahl auf 84 %.

Das Roboter-Ökosystem von Apple läuft auf eigenen Chips

Die Autonomie von HALO wird durch die Zusammenarbeit einer dreistufigen Struktur erreichtAlle laufen auf dem Roboterkörper, keine Internetverbindung, keine Fernbedienung, keine externe Bewegungserfassung erforderlich.

• Orchestrator (ca. 0,5 Hz): Ein visuelles Sprachmodell (die Standardeinstellung ist Qwen3.6-35B-A3B, das lokal ausgeführt wird) schaut alle zwei Sekunden auf den Bildschirm und kann kostenlose Anweisungen wie „Hilf mir, die Kiste auf den Tisch zu schieben“ in Unteraufgabensequenzen zerlegen;

• Bewegungsgenerator (3 Hz): Der eingefrorene Qwen3.5-2B VLM-Encoder plus ein von Grund auf trainierter Diffusionstransformator-Decoder generiert einen Ganzkörper-Bewegungsplan für die nächsten 5 Sekunden basierend auf dem aktuellen First-Person-View-Bild und den Unteraufgaben, d. h. 29 Gelenkwinkeln am Roboterkörper plus Beckenhaltung;

• Motion-Tracker (50 Hz): Kombiniert Tiefensicht und Propriozeption, um Bewegungspläne in echte gemeinsame Befehle umzusetzen. Es wurde einer dreistufigen Ausbildung unterzogen: „Privilegierte Expertenausbildung → Multi-Lehrer-Destillation → Feinabstimmung des multikritischen Verstärkungslernens“ und ist die niedrigste Stufe zur Lösung „physischer Probleme“.

Im Allgemeinen lösen die beiden oberen Ebenen das „semantische“ Problem, d. h. auf welchen Stuhl sich die Anweisung bezieht; Die untere Schicht löst das Problem, wie man dafür sorgt, dass der Hintern fest auf der Stuhloberfläche landet, ohne das Gleichgewicht zu verlieren.

Der interessante Teil dieser Anordnung ist die Mischung aus Software und Hardware. Es verwendet das Gehäuse des Yushu Unitree G1 mit einem Mac mini M4 Pro (64 GB einheitlicher Speicher) auf der Rückseite zum Denken, und der ursprüngliche Roboter Jetson Orin NX ist für die 50-Hz-Echtzeitsteuerung verantwortlich. Am Kopf ist eine 120°-Weitwinkelkamera installiert, und der gesamte Körper ist kabellos, ohne Kabel und ohne externe Bewegungserfassung.

Das Gehirn auf der Rückseite dieses Apple-Roboters, des Mac mini M4 Pro, verfügt über ein Open-Source-Modell von Alibaba. Natürlich behält sich der Orchestrator auch die Möglichkeit vor, das hochmoderne große Modell der Cloud aufzurufen, und verlässt sich im Offline-Modus vollständig auf das lokale Modell.

Der Mac mini bezieht seinen Strom direkt über den internen Strombus des Roboters (Yushu G1), ohne separate Batterie oder Netzteil.

Wenn die reale Maschine läuft, bestimmt der Mac mini auf der Rückseite, über welchen Stuhl die Person spricht und was zuerst zu tun ist. Das Aktionsmodell übernimmt den aktuellen Schritt und generiert für die nächsten 5 Sekunden Ganzkörperbewegungen auf Basis der Kameraaufnahmen, die etwa dreimal pro Sekunde aktualisiert werden.

Das Problem besteht darin, dass der Roboter möglicherweise bereits einen Fuß aufgestellt hat, während er auf einen neuen Plan wartet. Wenn der neue Plan befolgt und die Fußposition geändert wird, erfolgt die Bewegung plötzlich.

HALO verwendet asynchrones Denken + Präfixeinschränkungen für die Trainingszeit für den Bewegungsgenerator. Beim Erstellen eines neuen Plans werden die im alten Plan festgelegten Halbsekundenaktionen beibehalten und nur die nächsten 4,5 Sekunden neu berechnet. Auf diese Weise kann der Roboter weiterlaufen und den bereits begonnenen Aktionen können neue Pläne folgen.

Weiter unten kombiniert der mit G1 gelieferte Jetson-Chip die nach unten gerichtete Tiefenkamera und den Körperstatus, um das Positionsziel 50 Mal pro Sekunde für 29 Gelenke zu aktualisieren. Aus dem Satz „Hinsetzen“ im Oberstufenplan sind nun in der Realität eine Reihe von Handlungen geworden, unter anderem wie weit man die Knie beugen und wie man den Oberkörper stabilisieren soll. Wenn beim simulierten Stuhltest diese Ebene der Tiefeneingabe entfernt wird, sinkt die Erfolgsquote von 84 % auf 74 %.

Die meisten früheren ähnlichen Arbeiten wurden in zuvor gescannten Räumen getestet, während dies in der Evaluierungsumgebung von HALO der Fall war 6 echte Häuser, die nie im Training auftauchten und nie gescannt oder kartiert wurden。

In diesen Umgebungen erledigte der Roboter sechs Aufgaben: Hinsetzen, auf ein bestimmtes Objekt zugehen, seitwärts durch eine halboffene Tür gehen, unter dem Tisch hocken/kriechen und Kisten schieben. Die durchschnittliche Erfolgsquote von 360 physikalischen Experimenten betrug 91 %, was genau 91 % in der Simulation entspricht.

Wenn die Fähigkeiten zu kombinierten Aufgaben zusammengefasst werden (z. B. „über den Tisch bohren → zur Kiste gehen → die Kiste schieben“), sinkt die Erfolgsquote auf etwa 70 %. Der Grund für das Scheitern ist sehr interessant: Der Roboter blickte am Ende der vorherigen Aktion in die falsche Richtung, das nächste Ziel befand sich überhaupt nicht im Sichtfeld und der Roboter wurde von anderen Objekten „in die Irre geführt“. Die Lösung ist aber auch einfach. In dem Artikel wurde erwähnt, dass das Hinzufügen eines einfachen Wiederherstellungsverhaltens, bei dem man sich im Kreis dreht, um das Ziel zu finden, das Problem lindern kann.

Noch beeindruckender ist, dass in kontrollierten Experimenten die Erfolgsquote des Roboters von 43 % auf 81 % anstieg, als die Anzahl der Trainingsszenen von 1 auf 100 stieg; und stieg dann auf 1.000 und erreichte 84 %.

Dies ist nicht der erste Schritt von Apple

Obwohl Apples KI viele Male verzögert wurde, ist beim Durchsehen der öffentlichen Papiere von Apple in den letzten zwei Jahren der Aufbau der verkörperten Intelligenz allmählich klarer geworden:

• November 2024, RÜSTUNG(Kooperation mit CMU): Abdeckung der Arme von Fourier GR1 mit 40 kostengünstigen ToF-Radargeräten wie Haut, Lösung des Okklusionsproblems humanoider Roboter, die ihre eigenen Arme nicht sehen können, und Einrichtung einer Luftwahrnehmungsroute aus der ersten Perspektive;

• Januar 2025, ELEGNT: Der Pixar-Schreibtischlampenroboter, der den Bildschirm auffrischt, erforscht das Bewegungsdesign von „Funktion + Ausdruck“ und ermöglicht es dem Roboter, zu nicken, sich zu nähern und Lichter zu verwenden, um unsere Aufmerksamkeit zu lenken. Dies ist auch die Denkweise von Apple hinsichtlich der Form von Verbraucherrobotern;

• Mai 2025, EgoDex und PH2D: Vision Pro wurde verwendet, um 829 Stunden an First-Person-Geschicklichkeitsoperationsdaten zu sammeln, und ein menschlicher Trainer, der ein Headset trug, trainierte den humanoiden Roboter direkt.

HALO scheint ein kurzes Ende dieser Zeile zu sein. In Bezug auf die Wahrnehmung übernimmt es die Philosophie der Ich-Perspektive. Die Szene richtet sich an die in ELEGNT dargestellte Familie. In der kritischsten Datenverbindung verzichtete Apple dieses Mal auf die Sammlung menschlicher Daten und setzte auf Simulation.

Natürlich hat HALO noch einen langen Weg vor sich, bis es tatsächlich Tausende von Haushalten erreichen kann.

Es kann jetzt auf einem Stuhl sitzen, unter einen Tisch kriechen und Kisten schieben, aber es müssen noch viele Fähigkeiten erlernt werden, bevor es ein unordentliches Schlafzimmer aufräumen oder eine Flasche Getränk aus dem Kühlschrank holen kann. Auch wenn jede neue Fähigkeit hinzugefügt wird, müssen Forscher Bewegungshinweise und Keyframes manuell entwerfen.

Allerdings beweist HALO zumindest eines:Humanoide Roboter, die lernen, mit der realen Welt zu interagieren, könnten einen einfacheren Weg zur Skalierung haben。

Wenn Sie in der Vergangenheit wollten, dass ein Roboter 300 Stunden Erfahrung sammelt, musste das jemand mit Ihnen üben und aufzeichnen. Heutzutage können Forscher Hunderte von GPUs verwenden, um in etwas mehr als einem Tag die gleiche Menge an Trainingsdaten zu generieren und diese Erfahrung dann an einen Roboter weiterzugeben, der noch nie einen Fuß in ein echtes Zuhause gesetzt hat.

Noch interessanter ist, dass Apple dieses Mal nicht einmal über einen eigenen Roboterkörper verfügt. Yushus G1, Alibabas Qianwen, Nvidias Jetson und ein Mac mini bilden ein System, das autonom wahrnehmen und handeln kann.

Wenn das Robotertraining zunehmend auf Rechenleistung angewiesen ist, könnte sich der Wettbewerb in der humanoiden Roboterindustrie in Zukunft auch darauf erstrecken, wer flexibler ist und wer den Roboter schneller und kostengünstiger dazu bringen kann, Erfahrungen zu sammeln.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner: aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.