El nuevo CEO de Apple se ha mostrado recientemente un poco insatisfecho con el progreso de su propia IA.
Según las últimas noticias de Bloomberg, el director ejecutivo de Apple, John Ternus, ha pedido al director de software, Federighi, que acelere el ritmo del desarrollo de la IA y presente planes más audaces. No puede simplemente actualizar Siri con algunas funciones.
En comparación con la velocidad de implementación de la IA de Apple, el progreso de la investigación de Apple en realidad supera muchas expectativas, incluida la inteligencia incorporada. Apple también está estudiando cómo darle a la IA un cuerpo que pueda actuar en el mundo real.
Recientemente, el equipo de investigación de Apple reveló un estudio sobre un robot humanoide llamado HALO, que utiliza directamente Yushu G1 como cuerpo y un Mac mini M4 Pro atado a la parte trasera, que todavía ejecuta el modelo Qianwen de Alibaba.
Este sistema aparentemente híbrido ya puede permitir a los robots entrar en casas extrañas de forma autónoma, encontrar sillas para sentarse, meterse debajo de las mesas y empujar cajas. La tasa media de éxito de pruebas 360 en 6 entornos de la vida real que nunca habían sido vistos ni escaneados con antelación fue del 91%.
Imagen | Dirección del proyecto: https://apple-aiml-research.github.io/ml-halo/Lo que es aún más interesante es que Apple ni siquiera encontró a alguien que controlara remotamente el robot para recopilar estos datos de entrenamiento.
El equipo de investigación utilizó cientos de GPU para generar por lotes datos visuales y de movimiento de robots en miles de hogares virtuales, y luego trasladó directamente las habilidades aprendidas al mundo real.
Esto significa que los robots humanoides que originalmente requerían instrucción manual por parte de humanos ahora tienen la oportunidad de aprender confiando en la potencia informática.
[demostración-1080.mp4]
Para enseñarle a un robot a sentarse, primero debes fotografiar lo que ve.
Cuando escuchamos "ve a sentarte en una silla", generalmente miramos dónde está la silla, luego nos acercamos, nos damos la vuelta y luego apoyamos el peso de nuestro cuerpo en el asiento.
Para los robots, este proceso requiere datos de entrenamiento muy específicos. Una muestra de datos común debe incluir no sólo las instrucciones que escuchó y las imágenes vistas en primera persona, sino también los registros de cómo se mueven las articulaciones de todo el cuerpo al completar la tarea. Al depender de la operación remota humana para recolectar, cada vez que hay una muestra adicional, se debe volver a realizar.
Los datos de este robot emparejado se denominan "Visión-Lenguaje-Acción, VLA". A diferencia del entrenamiento de modelos de lenguaje grandes que pueden usar texto inagotable en Internet, no existen datos de corpus VLA en el mundo real.
Cada muestra de entrenamiento debe ser producida especialmente por alguien: un sistema operativo remoto (como ALOHA) o un dispositivo portátil de captura de movimiento (como UMI). Producir una hora de datos requiere al menos una hora de mano de obra. Este es también un famoso "cuello de botella de datos" en el campo de los robots humanoides.
La solución dada por el artículo HALO de Apple esNo más datos humanos, todos sintetizados mediante simulación.
El equipo de investigación utilizó un modelo de difusión de movimiento para generar movimientos de todo el cuerpo y utilizó un generador programado (INFINIGEN) para crear 1.000 hogares virtuales, con salas de estar, oficinas y dormitorios, con densidad de muebles aleatoria. Luego pusieron los movimientos en la escena en Isaac Sim, renderizaron la vista en primera persona de la cámara de la cabeza del robot y finalmente la entregaron al verificador automático para descartar muestras defectuosas que desgastan moldes o resbalan.
Por ejemplo, al sentarse en una silla, los investigadores primero especificaron las etapas de caminar, darse la vuelta, sentarse y la postura final de sentarse firmemente.El modelo de generación de acciones ofrece múltiples conjuntos de trayectorias basadas en esto., el programa verifica si las plantas de los pies se han resbalado, si el cuerpo ha atravesado el suelo y si las articulaciones han excedido el rango de movimiento, y luego coloca los movimientos protegidos y las sillas en la sala virtual para evitar los muebles circundantes.
A continuación, el simulador capturó la escena desde la posición de la cámara de la cabeza del robot. El equipo trabajó en aproximadamente 1000 salas generadas por procedimientos. 163.000 artículos, casi 300 horasMuestras emparejadas, el tamaño de los datos solo está limitado por la potencia informática.
El documento también menciona que se necesitaron 250 GPU H100 y 9 horas para generar 50.000 muestras solo de la habilidad SIT (sentarse); La generación de las 1.178 salas requirió alrededor de 300 GPU y 26 horas.
La variedad de habitaciones también influye. El equipo de investigación mantuvo sin cambios la cantidad de datos de acción y solo ajustó la cantidad de escenas de entrenamiento. En 100 salas simuladas no vistas, la tasa de éxito al sentarse en una silla aumentó del 43% cuando solo se usó una sala para el entrenamiento al 81% cuando se usaron 100 salas. Al agregar 1.000 escenas más, la puntuación aumentó al 84%.
El ecosistema robótico de Apple funciona con sus propios chips
La autonomía de HALO se logra mediante la colaboración de una estructura de tres niveles, yTodos corren sobre el cuerpo del robot., sin conexión a Internet, sin control remoto, sin necesidad de captura de movimiento externa.
- Orquestador (aprox. 0,5 Hz): Un modelo de lenguaje visual (el valor predeterminado es Qwen3.6-35B-A3B que se ejecuta localmente) mira la pantalla cada dos segundos y puede dividir instrucciones gratuitas como "ayúdame a empujar la caja hacia la mesa" en secuencias de subtareas;
- Generador de movimiento (3 Hz): El codificador VLM Qwen3.5-2B congelado más un decodificador Transformer de difusión entrenado desde cero genera un plan de movimiento de todo el cuerpo durante los siguientes 5 segundos basado en la imagen actual en primera persona y las subtareas, es decir, 29 ángulos de articulación en el cuerpo del robot más la postura pélvica;
- Seguimiento de movimiento (50 Hz): Combina visión profunda y propiocepción para implementar planes de movimiento en comandos conjuntos reales. Se ha sometido a una formación de tres etapas: "formación de expertos privilegiados → destilación de varios profesores → ajuste del aprendizaje por refuerzo multicrítico" y es el nivel más bajo para resolver "problemas físicos".
En general, los dos niveles superiores resuelven el problema "semántico", es decir, a qué silla se refiere la instrucción; la capa inferior resuelve el problema de cómo hacer que la culata aterrice firmemente sobre la superficie de la silla sin perder el equilibrio.
La parte interesante de este arreglo es la combinación de software y hardware. Utiliza el cuerpo de Yushu Unitree G1, con una Mac mini M4 Pro (memoria unificada de 64 GB) en la parte posterior para pensar, y el robot original Jetson Orin NX es responsable del control en tiempo real de 50 Hz. Se instala una cámara gran angular de 120 ° en la cabeza y todo el cuerpo es inalámbrico, sin cables y sin captura de movimiento externo.
El cerebro en la parte posterior de este robot de Apple, el Mac mini M4 Pro, tiene un modelo de código abierto de Alibaba. Por supuesto, el orquestador también se reserva la opción de llamar al modelo grande de vanguardia de la nube y depende completamente del modelo local cuando está fuera de línea.
El Mac mini obtiene energía directamente del bus de energía interno del robot (Yushu G1), sin batería ni adaptador de corriente separados.
Cuando la máquina real está funcionando, el Mac mini en la parte posterior determinará de qué silla está hablando la persona y qué hacer primero. El modelo de acción toma el paso actual y genera movimientos de cuerpo completo durante los siguientes 5 segundos según el metraje de la cámara, actualizándose aproximadamente 3 veces por segundo.
El problema es que mientras el robot espera un nuevo plan, es posible que ya haya puesto un pie en alto. Si se sigue el nuevo plan y se cambia la colocación del pie, el movimiento será repentino.
HALO utiliza razonamiento asincrónico + restricciones de prefijo de tiempo de entrenamiento para el generador de movimiento. Al generar un nuevo plan, retendrá las acciones de medio segundo que se decidieron en el plan anterior y solo volverá a calcular los siguientes 4,5 segundos. De esta forma, el robot puede seguir caminando y nuevos planes pueden seguir las acciones que ya ha iniciado.
Más abajo, el chip Jetson que viene con el G1 combina la cámara de profundidad que mira hacia abajo y el estado del cuerpo para actualizar la posición objetivo 50 veces por segundo para 29 articulaciones. La frase "sentarse" en el plan del nivel superior ahora se ha convertido en una serie de acciones en la realidad que incluyen cuánto doblar las rodillas y cómo estabilizar el torso. En la prueba de silla simulada, si se elimina esta capa de entrada de profundidad, la tasa de éxito caerá del 84% al 74%.
La mayoría de trabajos similares anteriores se probaron en salas que habían sido escaneadas previamente, mientras que el entorno de evaluación de HALO era 6 casas reales que nunca aparecieron en la capacitación y nunca fueron escaneadas ni mapeadas。
En estos entornos, el robot completó seis tareas: sentarse, caminar hacia un objeto designado, de lado a través de una puerta entreabierta, ponerse en cuclillas o gatear debajo de la mesa y empujar cajas. La tasa de éxito promedio de 360 experimentos físicos fue 91%, que es exactamente igual al 91% en la simulación.
Cuando las habilidades se unen en tareas combinadas (como "perforar la mesa → caminar hacia la caja → empujar la caja"), la tasa de éxito cae a aproximadamente el 70%. El motivo del fallo es muy interesante: el robot estaba orientado en la dirección equivocada al final de la acción anterior, el siguiente objetivo no estaba en el campo de visión y el robot fue "desviado" por otros objetos. Pero la solución también es sencilla. El documento menciona que agregar un comportamiento de recuperación simple de "girar en círculos para encontrar el objetivo" puede aliviar el problema.
Aún más impresionante es que en experimentos controlados, cuando el número de escenas de entrenamiento aumentó de 1 a 100, la tasa de éxito del robot se disparó del 43% al 81%; y luego aumentó a 1.000, alcanzando el 84%.
Este no es el primer movimiento de Apple
Aunque la IA de Apple se ha retrasado muchas veces, al revisar los documentos públicos de Apple en los últimos dos años, el diseño de la inteligencia incorporada se ha ido volviendo cada vez más claro:
- Noviembre 2024, ARMADURA(Cooperando con CMU): Cubrir los brazos de Fourier GR1 con 40 radares ToF de bajo costo como si fueran piel, resolviendo el problema de oclusión de los robots humanoides que no pueden ver sus propios brazos y estableciendo una ruta de percepción aérea de primera perspectiva;
- Enero 2025, ELEGANTE: El robot lámpara de escritorio de Pixar que actualiza la pantalla explora el diseño de movimiento de "función + expresión", lo que permite al robot asentir, acercarse y usar luces para guiar nuestra atención. Este es también el pensamiento de Apple sobre la forma de los robots de consumo;
- Mayo de 2025, EgoDex y PH2D: Se utilizó Vision Pro para recopilar 829 horas de datos de operación de destreza en primera persona, y un entrenador humano que usaba auriculares entrenó directamente al robot humanoide.
HALO parece un breve final para esta línea. Perceptualmente, hereda la filosofía de la perspectiva en primera persona. La escena está dirigida a la familia representada en ELEGNT. En el eslabón de datos más crítico, Apple renunció esta vez a la recopilación humana y apostó por la simulación.
Por supuesto, HALO todavía tiene un largo camino por recorrer antes de que realmente pueda llegar a miles de hogares.
Ahora puede sentarse en una silla, gatear debajo de una mesa y empujar cajas, pero todavía hay muchas habilidades que necesita aprender antes de poder ordenar una habitación desordenada o sacar una botella de bebida del refrigerador. Incluso con cada nueva habilidad agregada, los investigadores aún necesitan diseñar manualmente señales de movimiento y fotogramas clave.
Sin embargo, HALO al menos demuestra una cosa:Los robots humanoides que aprenden a interactuar con el mundo real podrían tener un camino más fácil para escalar。
Antiguamente, si querías que un robot acumulara 300 horas de experiencia, alguien tenía que practicar y grabarlo contigo. Hoy en día, los investigadores pueden utilizar cientos de GPU para generar la misma cantidad de datos de entrenamiento en poco más de un día y luego entregar esa experiencia a un robot que nunca ha puesto un pie en una casa real.
Lo que es aún más interesante es que esta vez Apple ni siquiera tiene su propio cuerpo de robot. El G1 de Yushu, el Qianwen de Alibaba, el Jetson de Nvidia y un Mac mini forman un sistema que puede percibir y actuar de forma autónoma.
Cuando el entrenamiento de robots comience a depender cada vez más de la potencia informática, la competencia en la industria de los robots humanoides en el futuro también puede extenderse desde quién es el cuerpo más flexible hasta quién puede hacer que el robot acumule experiencia de manera más rápida y económica.
# Bienvenido a seguir la cuenta pública oficial de WeChat de aifaner: aifaner (ID de WeChat: ifanr). Se le proporcionará contenido más interesante lo antes posible.
