O novo CEO da Apple recentemente ficou um pouco insatisfeito com o progresso de sua própria IA.
De acordo com as últimas notícias da Bloomberg, o CEO da Apple, John Ternus, pediu ao diretor de software Federighi que acelerasse o ritmo de desenvolvimento de IA e apresentasse planos mais ousados. Ele não pode simplesmente atualizar o Siri com algumas funções.
Comparado com a velocidade de implementação da IA da Apple, o progresso da pesquisa da Apple realmente excede muitas expectativas, incluindo a inteligência incorporada. A Apple também está estudando como dar à IA um corpo que possa atuar no mundo real.
Recentemente, a equipe de pesquisa da Apple divulgou um estudo sobre um robô humanóide chamado HALO, que usa diretamente o Yushu G1 como corpo e um Mac mini M4 Pro amarrado na parte traseira, que ainda roda o modelo Qianwen do Alibaba.
Este sistema aparentemente híbrido já pode permitir que robôs entrem em casas estranhas de forma autônoma, encontrem cadeiras para sentar, fiquem embaixo das mesas e empurrem caixas. A taxa média de sucesso para 360 testes em 6 ambientes da vida real que nunca haviam sido vistos e não digitalizados antecipadamente foi de 91%.
Foto | Endereço do projeto: https://apple-aiml-research.github.io/ml-halo/O que é ainda mais interessante é que a Apple nem encontrou alguém para controlar remotamente o robô para coletar esses dados de treinamento.
A equipe de pesquisa usou centenas de GPUs para gerar em lote dados visuais e de movimento de robôs em milhares de casas virtuais e, em seguida, transferiu diretamente as habilidades aprendidas para o mundo real.
Isso significa que os robôs humanóides que originalmente exigiam instrução manual por humanos agora têm a oportunidade de aprender confiando no poder da computação.
[demo-1080.mp4]
Para ensinar um robô a sentar, primeiro você precisa fotografar o que ele vê.
Quando ouvimos “vá sentar em uma cadeira”, geralmente olhamos para onde está a cadeira, depois caminhamos, viramos e colocamos o peso do nosso corpo no assento.
Para robôs, esse processo requer dados de treinamento muito específicos. Uma amostra de dados comum deve incluir não apenas as instruções ouvidas e as imagens visualizadas em primeira pessoa, mas também os registros de como as articulações de todo o corpo se movem ao completar a tarefa. Contando com a operação remota humana para coletar, toda vez que houver uma amostra adicional, ela deverá ser feita novamente.
Os dados deste robô emparelhado são chamados de "Visão-Linguagem-Ação, VLA". Ao contrário do treinamento de grandes modelos de linguagem que podem usar texto inesgotável na Internet, não existem dados de corpus VLA no mundo real.
Cada amostra de treinamento deve ser produzida especialmente por alguém: um sistema operacional remoto (como ALOHA) ou um dispositivo vestível de captura de movimento (como UMI). Produzir uma hora de dados requer pelo menos uma hora de mão de obra. Este também é um famoso “gargalo de dados” no campo dos robôs humanóides.
A solução dada pelo artigo HALO da Apple éChega de dados humanos, todos sintetizados por simulação.
A equipe de pesquisa utilizou um modelo de difusão de movimento para gerar movimentos de corpo inteiro e utilizou um gerador programado (INFINIGEN) para criar 1.000 casas virtuais, com salas de estar, escritórios e quartos, com densidade aleatória de móveis. Eles então colocaram os movimentos em cena em Isaac Sim, renderizaram a visão em primeira pessoa da câmera principal do robô e, finalmente, entregaram-na ao verificador automático para filtrar amostras ruins que desgastam mofos ou escorregam.
Tomando como exemplo o ato de sentar na cadeira, os pesquisadores primeiro especificaram as etapas de caminhar, virar, sentar e a postura final de sentar com firmeza.O modelo de geração de ação fornece vários conjuntos de trajetórias com base neste, o programa verifica se as solas dos pés escorregaram, se o corpo passou pelo chão e se as articulações ultrapassaram a amplitude de movimento e, em seguida, coloca os movimentos e cadeiras selecionados na sala virtual para evitar móveis ao redor.
Em seguida, o simulador capturou a cena a partir da posição da câmera frontal do robô. A equipe trabalhou em aproximadamente 1.000 salas geradas processualmente. 163.000 itens, quase 300 horasAmostras emparelhadas, o tamanho dos dados é limitado apenas pelo poder de computação.
O artigo também mencionou que foram necessárias 250 GPUs H100 e 9 horas para gerar 50.000 amostras apenas da habilidade SIT (sit down); a geração de todas as 1.178 salas levou cerca de 300 GPUs e 26 horas.
A própria variedade de quartos também desempenha um papel. A equipe de pesquisa manteve inalterada a quantidade de dados de ação e ajustou apenas o número de cenas de treinamento. Em 100 salas simuladas invisíveis, a taxa de sucesso de sentar em uma cadeira aumentou de 43% quando apenas 1 sala foi usada para treinamento para 81% quando 100 salas foram usadas. Somando mais 1.000 cenas, a pontuação subiu para 84%.
O ecossistema de robôs da Apple funciona com seus próprios chips
A autonomia da HALO é alcançada através da colaboração de uma estrutura de três níveis, eTodos correm no corpo do robô, sem conexão com a Internet, sem controle remoto, sem necessidade de captura de movimento externa.
- Orquestrador (aprox. 0,5 Hz): um modelo de linguagem visual (o padrão é Qwen3.6-35B-A3B executado localmente) olha para a tela a cada dois segundos e pode dividir instruções gratuitas como "ajude-me a empurrar a caixa para a mesa" em sequências de subtarefas;
- Gerador de movimento (3 Hz): O codificador VLM Qwen3.5-2B congelado mais um decodificador Transformer de difusão treinado do zero gera um plano de movimento de corpo inteiro para os próximos 5 segundos com base na imagem atual de visão em primeira pessoa e subtarefas, ou seja, 29 ângulos articulares no corpo do robô mais postura pélvica;
- Rastreador de movimento (50 Hz): Combina visão profunda e propriocepção para implementar planos de movimento em comandos articulares reais. Ele passou por um treinamento em três estágios de "treinamento especializado privilegiado → destilação multiprofessor → ajuste fino de aprendizagem por reforço multicrítico" e é o nível mais baixo para resolver "problemas físicos".
Em geral, os dois níveis superiores resolvem o problema “semântico”, ou seja, a que cadeira se refere a instrução; a camada inferior resolve o problema de como fazer o bumbum pousar firmemente na superfície da cadeira sem perder o equilíbrio.
A parte interessante desse arranjo é a mistura de software e hardware. Ele usa o corpo do Yushu Unitree G1, com um Mac mini M4 Pro (memória unificada de 64 GB) na parte traseira para pensar, e o robô original Jetson Orin NX é responsável pelo controle em tempo real de 50 Hz. Uma câmera grande angular de 120° está instalada na cabeça e todo o corpo é sem fio, sem cabos e sem captura de movimento externa.
O cérebro na parte de trás deste robô da Apple, o Mac mini M4 Pro, apresenta um modelo de código aberto do Alibaba. É claro que o orquestrador também reserva a opção de chamar o grande modelo de ponta da nuvem e depende totalmente do modelo local quando estiver offline.
O Mac mini obtém energia diretamente do barramento de energia interno do robô (Yushu G1), sem bateria ou adaptador de energia separado.
Quando a máquina real estiver funcionando, o Mac mini na parte traseira determinará de qual cadeira a pessoa está falando e o que fazer primeiro. O modelo de ação assume a etapa atual e gera movimentos de corpo inteiro durante os próximos 5 segundos com base na filmagem da câmera, atualizando aproximadamente 3 vezes por segundo.
O problema é que enquanto o robô espera por um novo plano, ele já pode ter colocado um pé no chão. Se o novo plano seguir e a colocação dos pés for alterada, o movimento será repentino.
HALO usa raciocínio assíncrono + restrições de prefixo de tempo de treinamento para o gerador de movimento. Ao gerar um novo plano, ele irá reter as ações de meio segundo que foram decididas no plano antigo e recalcular apenas os próximos 4,5 segundos. Desta forma, o robô pode continuar caminhando, e novos planos podem seguir as ações que já iniciou.
Mais abaixo, o chip Jetson que vem com o G1 combina a câmera de profundidade voltada para baixo e o status do corpo para atualizar o alvo de posição 50 vezes por segundo para 29 articulações. A frase “sentar” no plano de nível superior agora se transformou em uma série de ações na realidade, incluindo quanto dobrar os joelhos e como estabilizar o tronco. No teste simulado da cadeira, se essa camada de entrada de profundidade for removida, a taxa de sucesso cairá de 84% para 74%.
A maioria dos trabalhos semelhantes anteriores foi testada em salas que foram digitalizadas antecipadamente, enquanto o ambiente de avaliação do HALO foi 6 casas reais que nunca apareceram no treinamento e nunca foram digitalizadas ou mapeadas。
Nestes ambientes, o robô completou seis tarefas: sentar-se, caminhar em direção a um objeto designado, passar de lado por uma porta entreaberta, agachar-se/rastejar por baixo da mesa e empurrar caixas. A taxa média de sucesso de 360 experimentos físicos foi 91%, que é exatamente igual a 91% na simulação.
Quando as habilidades são agrupadas em tarefas combinadas (como “perfurar a mesa → caminhar até a caixa → empurrar a caixa”), a taxa de sucesso cai para cerca de 70%. O motivo da falha é muito interessante: o robô estava voltado na direção errada no final da ação anterior, o próximo alvo não estava no campo de visão e o robô foi "desviado" por outros objetos. Mas a solução também é fácil. O artigo mencionou que adicionar um comportamento de recuperação simples de “girar em círculos para encontrar o alvo” pode aliviar o problema.
Ainda mais impressionante é que em experimentos controlados, quando o número de cenas de treinamento aumentou de 1 para 100, a taxa de sucesso do robô disparou de 43% para 81%; e depois aumentou para 1.000, atingindo 84%.
Este não é o primeiro movimento da Apple
Embora a IA da Apple tenha sido adiada muitas vezes, olhando os documentos públicos da Apple nos últimos dois anos, o layout da inteligência incorporada tornou-se gradualmente mais claro:
- Novembro de 2024, ARMADURA(Cooperando com CMU): Cobrindo os braços do Fourier GR1 com 40 radares ToF de baixo custo como pele, resolvendo o problema de oclusão de robôs humanóides que não podem ver seus próprios braços e estabelecendo uma rota de percepção aérea de primeira perspectiva;
- Janeiro de 2025, ELEGNT: O robô luminária de mesa da Pixar que atualiza a tela explora o design de movimento de "função + expressão", permitindo que o robô acene, se aproxime e use luzes para guiar nossa atenção. Este é também o pensamento da Apple sobre a forma dos robôs de consumo;
- Maio de 2025, EgoDex e PH2D: O Vision Pro foi usado para coletar 829 horas de dados de operação de destreza em primeira pessoa, e um treinador humano usando um fone de ouvido treinou diretamente o robô humanóide.
HALO parece um breve final para esta linha. Perceptivamente, herda a filosofia da perspectiva em primeira pessoa. A cena é voltada para a família retratada em ELEGNT. No elo mais crítico dos dados, desta vez a Apple abriu mão da coleta humana e apostou na simulação.
É claro que o HALO ainda tem um longo caminho a percorrer antes de poder realmente entrar em milhares de lares.
Agora ele pode sentar em uma cadeira, rastejar para baixo de uma mesa e empurrar caixas, mas ainda há muitas habilidades que ele precisa aprender antes de arrumar um quarto bagunçado ou pegar uma garrafa de bebida na geladeira. Mesmo com cada nova habilidade adicionada, os pesquisadores ainda precisam projetar manualmente sinais de movimento e quadros-chave.
No entanto, HALO prova pelo menos uma coisa:Robôs humanóides aprendendo como interagir com o mundo real poderiam ter um caminho mais fácil para escalar。
Antigamente, se você quisesse que um robô acumulasse 300 horas de experiência, alguém tinha que praticar e gravar com você. Hoje, os pesquisadores podem usar centenas de GPUs para gerar a mesma quantidade de dados de treinamento em pouco mais de um dia e depois entregar essa experiência a um robô que nunca pôs os pés em uma casa real.
O que é ainda mais interessante é que desta vez a Apple nem tem seu próprio corpo de robô. O G1 de Yushu, o Qianwen do Alibaba, o Jetson da Nvidia e um Mac mini formam um sistema que pode perceber e agir de forma autônoma.
Quando o treinamento de robôs começar a depender cada vez mais do poder da computação, a competição na indústria de robôs humanóides no futuro também poderá se estender desde cujo corpo é mais flexível até quem pode fazer o robô acumular experiência de forma mais rápida e barata.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Conteúdo mais interessante será fornecido a você o mais rápido possível.




