Le nouveau PDG d’Apple s’est récemment montré quelque peu mécontent des progrès de sa propre IA.

Selon les dernières nouvelles de Bloomberg, le PDG d'Apple, John Ternus, a demandé au directeur des logiciels Federighi d'accélérer le rythme du développement de l'IA et de proposer des plans plus audacieux. Il ne peut pas simplement mettre à niveau Siri avec quelques fonctions.

Comparés à la rapidité de mise en œuvre de l'IA d'Apple, les progrès de la recherche d'Apple dépassent en fait de nombreuses attentes, y compris en matière d'intelligence incorporée. Apple étudie également comment doter l’IA d’un corps capable d’agir dans le monde réel.

Récemment, l’équipe de recherche d’Apple a divulgué une étude sur un robot humanoïde appelé HALO, qui utilise directement Yushu G1 comme corps et un Mac mini M4 Pro attaché à l’arrière, qui exécute toujours le modèle Qianwen d’Alibaba.

Ce système apparemment hybride peut déjà permettre aux robots d’entrer de manière autonome dans des maisons étranges, de trouver des chaises sur lesquelles s’asseoir, de se mettre sous les tables et de repousser les cartons. Le taux de réussite moyen de 360 ​​tests dans 6 environnements réels jamais vus et non scannés au préalable était de 91 %.

Photo | Adresse du projet : https://apple-aiml-research.github.io/ml-halo/

Ce qui est encore plus intéressant, c’est qu’Apple n’a même pas trouvé quelqu’un pour contrôler à distance le robot afin de collecter ces données d’entraînement.

L’équipe de recherche a utilisé des centaines de GPU pour générer par lots des données visuelles et des mouvements de robots dans des milliers de maisons virtuelles, puis a directement transféré les compétences acquises dans le monde réel.

Cela signifie que les robots humanoïdes qui nécessitaient à l’origine une instruction manuelle par des humains ont désormais la possibilité d’apprendre en s’appuyant sur la puissance informatique.

[démo-1080.mp4]

Pour apprendre à un robot à s'asseoir, il faut d'abord photographier ce qu'il voit.

Lorsque nous entendons « va t'asseoir sur une chaise », nous regardons généralement où se trouve la chaise, puis nous nous dirigeons vers nous, nous retournons, puis mettons le poids de notre corps sur le siège.

Pour les robots, ce processus nécessite des données d’entraînement très spécifiques. Un échantillon de données commun doit inclure non seulement les instructions entendues et les images vues à la première personne, mais également les enregistrements de la façon dont les articulations de tout le corps bougent lors de l'exécution de la tâche. En s'appuyant sur une opération humaine à distance pour collecter, chaque fois qu'il y a un échantillon supplémentaire, il faut le refaire.

Les données de ce robot couplé sont appelées « Vision-Langage-Action, VLA ». Contrairement à la formation de grands modèles linguistiques capables d'utiliser un texte inépuisable sur Internet, il n'existe aucune donnée de corpus VLA dans le monde réel.

Chaque échantillon de formation doit être spécialement produit par quelqu'un : un système d'exploitation distant (tel qu'ALOHA) ou un appareil de capture de mouvement portable (tel qu'UMI). Produire une heure de données nécessite au moins une heure de main d’œuvre. Il s'agit également d'un fameux « goulot d'étranglement des données » dans le domaine des robots humanoïdes.

La solution proposée par l'article HALO d'Apple estFini les données humaines, toutes synthétisées par simulation.

L'équipe de recherche a utilisé un modèle de diffusion de mouvement pour générer des mouvements de tout le corps et un générateur programmé (INFINIGEN) pour créer 1 000 maisons virtuelles, avec des salons, des bureaux et des chambres, avec une densité de mobilier aléatoire. Ils ont ensuite mis les mouvements dans la scène dans Isaac Sim, ont rendu la vue à la première personne de la caméra frontale du robot et l'ont finalement remise au vérificateur automatique pour filtrer les mauvais échantillons qui portent des moisissures ou glissent.

Par exemple, en position assise sur une chaise, les chercheurs ont d’abord précisé les étapes consistant à marcher, se retourner, s’asseoir et la posture finale consistant à s’asseoir fermement.Le modèle de génération d'action donne plusieurs ensembles de trajectoires basées sur cela, le programme vérifie si la plante des pieds a glissé, si le corps a traversé le sol et si les articulations ont dépassé l'amplitude de mouvement, puis place les mouvements et les chaises filtrés dans la pièce virtuelle pour éviter les meubles environnants.

Ensuite, le simulateur a capturé la scène depuis la position de la caméra frontale du robot. L’équipe a travaillé sur environ 1 000 salles générées de manière procédurale. 163 000 références, près de 300 heuresÉchantillons appariés, la taille des données n'est limitée que par la puissance de calcul.

Le document mentionne également qu'il a fallu 250 GPU H100 et 9 heures pour générer 50 000 échantillons de la seule compétence SIT (s'asseoir) ; la génération des 1 178 salles a nécessité environ 300 GPU et 26 heures.

La variété des pièces elle-même joue également un rôle. L'équipe de recherche a maintenu la quantité de données d'action inchangée et a uniquement ajusté le nombre de scènes d'entraînement. Dans 100 salles simulées inédites, le taux de réussite du fait de s'asseoir sur une chaise est passé de 43 % lorsqu'une seule salle était utilisée pour la formation à 81 % lorsque 100 salles étaient utilisées. En ajoutant 1 000 scènes supplémentaires, le score est passé à 84 %.

L’écosystème robotique d’Apple fonctionne avec ses propres puces

L’autonomie de HALO s’accomplit grâce à la collaboration d’une structure à trois niveaux, etTous courent sur le corps du robot, pas de connexion internet, pas de télécommande, pas besoin de capture de mouvement externe.

• Orchestrateur (environ 0,5 Hz): Un modèle de langage visuel (la valeur par défaut est Qwen3.6-35B-A3B exécuté localement) examine l'écran toutes les deux secondes et peut décomposer des instructions gratuites telles que « aidez-moi à pousser la boîte vers la table » en séquences de sous-tâches ;

• Générateur de mouvement (3 Hz): L'encodeur Qwen3.5-2B VLM gelé plus un décodeur de transformateur de diffusion formé à partir de zéro génère un plan de mouvement de tout le corps pour les 5 prochaines secondes basé sur l'image actuelle de vue à la première personne et les sous-tâches, c'est-à-dire 29 angles d'articulation sur le corps du robot plus la posture pelvienne ;

• Suivi de mouvement (50 Hz): Combine vision en profondeur et proprioception pour mettre en œuvre des plans de mouvement dans de véritables commandements interarmées. Il a suivi une formation en trois étapes : « formation d'experts privilégiés → distillation multi-enseignants → apprentissage par renforcement multicritique et mise au point fine » et constitue le niveau le plus bas pour résoudre des « problèmes physiques ».

En général, les deux niveaux supérieurs résolvent le problème « sémantique », c'est-à-dire à quelle chaise l'instruction se réfère ; la couche inférieure résout le problème de savoir comment faire atterrir les fesses fermement sur la surface de la chaise sans perdre l'équilibre.

La partie intéressante de cet arrangement est le mélange de logiciels et de matériel. Il utilise le corps du Yushu Unitree G1, avec un Mac mini M4 Pro (mémoire unifiée de 64 Go) à l'arrière pour la réflexion, et le robot original Jetson Orin NX est responsable du contrôle en temps réel à 50 Hz. Une caméra grand angle de 120° est installée sur la tête, et tout le corps est sans fil, sans câbles et sans capture de mouvement externe.

Le cerveau à l'arrière de ce robot Apple, le Mac mini M4 Pro, arbore un modèle open source d'Alibaba. Bien entendu, l'orchestrateur se réserve également la possibilité d'appeler le grand modèle de pointe du cloud et s'appuie entièrement sur le modèle local lorsqu'il est hors ligne.

Le Mac mini est alimenté directement par le bus d'alimentation interne du robot (Yushu G1), sans batterie ni adaptateur secteur séparés.

Lorsque la vraie machine est en marche, le Mac mini situé à l'arrière déterminera de quelle chaise la personne parle et quoi faire en premier. Le modèle d'action reprend l'étape en cours et génère des mouvements de tout le corps pendant les 5 secondes suivantes en fonction des images de la caméra, mises à jour environ 3 fois par seconde.

Le problème est que pendant que le robot attend un nouveau plan, il a peut-être déjà levé un pied. Si le nouveau plan suit et que le placement des pieds est modifié, le mouvement sera soudain.

HALO utilise un raisonnement asynchrone + des contraintes de préfixe de temps de formation pour le générateur de mouvement. Lors de la génération d'un nouveau plan, il conservera les actions d'une demi-seconde qui ont été décidées dans l'ancien plan et ne recalculera que les 4,5 secondes suivantes. De cette façon, le robot peut continuer à marcher et de nouveaux plans peuvent suivre les actions qu'il a déjà commencées.

Plus bas, la puce Jetson fournie avec le G1 combine la caméra de profondeur orientée vers le bas et l'état du corps pour mettre à jour la position cible 50 fois par seconde pour 29 articulations. La phrase « s'asseoir » dans le plan de niveau supérieur s'est maintenant transformée en une série d'actions concrètes, notamment la manière de plier les genoux et la manière de stabiliser le torse. Dans le test de chaise simulé, si cette couche de profondeur est supprimée, le taux de réussite passera de 84 % à 74 %.

La plupart des travaux similaires antérieurs ont été testés dans des salles préalablement numérisées, tandis que l'environnement d'évaluation de HALO était 6 vraies maisons qui ne sont jamais apparues dans la formation et n'ont jamais été numérisées ou cartographiées。

Dans ces environnements, le robot accomplissait six tâches : s'asseoir, marcher vers un objet désigné, franchir latéralement une porte entrouverte, s'accroupir/ramper sous la table et pousser des cartons. Le taux de réussite moyen de 360 ​​expériences physiques était 91%, ce qui équivaut exactement à 91 % dans la simulation.

Lorsque les compétences sont regroupées dans des tâches combinées (telles que « percer à travers la table → marcher jusqu'à la boîte → pousser la boîte »), le taux de réussite tombe à environ 70 %. La raison de l'échec est très intéressante : le robot était orienté dans la mauvaise direction à la fin de l'action précédente, la cible suivante n'était pas du tout dans le champ de vision et le robot a été « égaré » par d'autres objets. Mais la solution est également simple. Le document mentionne que l'ajout d'un simple comportement de récupération consistant à "tourner en rond pour trouver la cible" peut atténuer le problème.

Ce qui est encore plus impressionnant, c'est que lors d'expériences contrôlées, lorsque le nombre de scènes d'entraînement est passé de 1 à 100, le taux de réussite du robot est passé de 43 % à 81 % ; puis est passé à 1 000, pour atteindre 84 %.

Ce n’est pas le premier geste d’Apple

Bien que l’IA d’Apple ait été retardée à plusieurs reprises, en parcourant les documents publics d’Apple au cours des deux dernières années, la structure de l’intelligence incarnée est progressivement devenue plus claire :

• Novembre 2024, ARMURE(Coopération avec la CMU) : Couvrir les bras du Fourier GR1 avec 40 radars ToF à faible coût comme la peau, résoudre le problème d'occlusion des robots humanoïdes qui ne peuvent pas voir leurs propres bras et établir une route de perception aéroportée en première perspective ;

• Janvier 2025, ELEGNT: Le robot lampe de bureau Pixar qui rafraîchit l'écran explore la conception animée de « fonction + expression », permettant au robot de hocher la tête, de s'approcher et d'utiliser les lumières pour guider notre attention. C'est aussi la réflexion d'Apple sur la forme des robots grand public ;

• Mai 2025, EgoDex et PH2D: Vision Pro a été utilisé pour collecter 829 heures de données d'opération de dextérité à la première personne, et un entraîneur humain portant un casque a directement entraîné le robot humanoïde.

HALO ressemble à une brève fin à cette ligne. Sur le plan perceptuel, il hérite de la philosophie de la perspective à la première personne. La scène est destinée à la famille représentée dans ELEGNT. Dans le maillon de données le plus critique, Apple a cette fois renoncé à la collecte humaine et a parié sur la simulation.

Bien entendu, HALO a encore un long chemin à parcourir avant de pouvoir véritablement pénétrer dans des milliers de foyers.

Il peut désormais s'asseoir sur une chaise, ramper sous une table et pousser des cartons, mais il lui reste encore beaucoup de compétences à acquérir avant de pouvoir ranger une chambre en désordre ou sortir une bouteille de boisson du réfrigérateur. Même avec chaque nouvelle compétence ajoutée, les chercheurs doivent toujours concevoir manuellement des signaux de mouvement et des images clés.

Cependant, HALO prouve au moins une chose :Les robots humanoïdes apprenant à interagir avec le monde réel pourraient avoir un chemin plus facile à mettre à l'échelle。

Dans le passé, si vous vouliez qu’un robot accumule 300 heures d’expérience, quelqu’un devait s’entraîner et l’enregistrer avec vous. Aujourd’hui, les chercheurs peuvent utiliser des centaines de GPU pour générer la même quantité de données d’entraînement en un peu plus d’une journée, puis transmettre cette expérience à un robot qui n’a jamais mis les pieds dans une vraie maison.

Ce qui est encore plus intéressant, c’est qu’Apple n’a même pas son propre corps de robot cette fois-ci. Le G1 de Yushu, le Qianwen d'Alibaba, le Jetson de Nvidia et un Mac mini forment un système capable de percevoir et d'agir de manière autonome.

Lorsque la formation des robots commencera à s'appuyer de plus en plus sur la puissance de calcul, la concurrence dans l'industrie des robots humanoïdes à l'avenir pourrait également s'étendre de celui qui a le corps le plus flexible à celui qui peut permettre au robot d'accumuler de l'expérience plus rapidement et à moindre coût.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (WeChat ID : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.