Apple의 새로운 CEO는 최근 자신의 AI 발전에 약간 불만족스러워했습니다.
Bloomberg의 최신 뉴스에 따르면, Apple CEO인 John Ternus는 소프트웨어 디렉터인 Federighi에게 AI 개발 속도를 높이고 보다 과감한 계획을 마련해 줄 것을 요청했습니다. 그는 몇 가지 기능만으로 Siri를 업그레이드할 수는 없습니다.
Apple의 AI 구현 속도와 비교하면 Apple의 연구 진행은 실제로 구현 지능을 포함하여 많은 기대를 뛰어 넘습니다. 애플은 또한 AI에게 현실 세계에서 행동할 수 있는 신체를 부여하는 방법을 연구하고 있습니다.
최근 애플 연구팀은 Yushu G1을 본체로 직접 사용하고 Mac mini M4 Pro를 등에 고정하고 여전히 Alibaba의 Qianwen 모델을 사용하는 휴머노이드 로봇 HALO에 대한 연구를 공개했습니다.
하이브리드처럼 보이는 이 시스템은 이미 로봇이 낯선 집에 자율적으로 들어가 앉을 의자를 찾고, 테이블 아래로 들어가고, 상자를 밀어내는 것을 가능하게 해줍니다. 한 번도 본 적 없고, 사전에 스캔하지 않은 6가지 실제 환경에서 360번의 테스트에 대한 평균 성공률은 91%였습니다.
그림 | 프로젝트 주소: https://apple-aiml-research.github.io/ml-halo/더욱 흥미로운 점은 Apple이 이러한 훈련 데이터를 수집하기 위해 로봇을 원격으로 제어할 사람조차 찾지 못했다는 것입니다.
연구팀은 수백 개의 GPU를 사용하여 수천 개의 가상 가정에서 로봇 모션 및 시각적 데이터를 일괄 생성한 다음 학습된 기술을 현실 세계로 직접 옮겼습니다.
이는 원래 인간의 수동 지시가 필요했던 휴머노이드 로봇이 이제 컴퓨팅 능력에 의존하여 학습할 수 있는 기회를 갖게 되었음을 의미합니다.
[데모-1080.mp4]
로봇에게 앉는 법을 가르치려면 먼저 로봇이 보는 것을 사진으로 찍어야 합니다.
우리는 "가서 의자에 앉아라"라는 말을 들으면 보통 의자가 어디에 있는지 살펴본 다음, 걸어가다가 뒤돌아서 몸의 무게를 의자에 싣는다.
로봇의 경우 이 프로세스에는 매우 구체적인 훈련 데이터가 필요합니다. 공통 데이터 샘플에는 들은 지시 사항과 1인칭 시점 이미지뿐만 아니라 작업을 완료할 때 몸 전체의 관절이 어떻게 움직이는지에 대한 기록도 포함되어야 합니다. 인간의 원격 조작에 의존하여 수집하고, 추가 샘플이 있을 때마다 다시 수집해야 합니다.
이 페어링된 로봇의 데이터를 "Vision-Language-Action, VLA"라고 합니다. 인터넷에서 무한한 텍스트를 사용할 수 있는 대규모 언어 모델을 훈련하는 것과 달리 현실 세계에는 기존 VLA 코퍼스 데이터가 없습니다.
각 훈련 샘플은 원격 운영 체제(예: ALOHA) 또는 웨어러블 모션 캡처 장치(예: UMI)를 통해 특별히 제작되어야 합니다. 1시간의 데이터를 생산하려면 최소한 1시간의 인력이 필요합니다. 이는 휴머노이드 로봇 분야에서도 유명한 '데이터 병목현상'이다.
Apple의 논문 HALO에서 제공하는 솔루션은 다음과 같습니다.더 이상 인간 데이터가 없으며 모두 시뮬레이션으로 합성됩니다.
연구팀은 모션 확산 모델을 사용하여 전신 움직임을 생성하고 프로그래밍된 생성기(INFINIGEN)를 사용하여 가구 밀도가 무작위인 거실, 사무실, 침실이 포함된 가상 주택 1,000개를 만들었습니다. 그런 다음 Isaac Sim의 장면에 움직임을 넣고 로봇 머리 카메라의 1인칭 뷰를 렌더링한 다음 마지막으로 이를 자동 검증 장치에 넘겨 곰팡이가 생기거나 미끄러지는 불량 샘플을 걸러냈습니다.
예를 들어, 의자에 앉을 때 연구자들은 먼저 걷기, 뒤돌아보기, 앉기의 단계를 구체적으로 명시하고, 마지막으로 굳게 앉는 자세를 지정했다.액션 생성 모델은 이를 기반으로 여러 궤적 세트를 제공합니다., 발바닥이 미끄러졌는지, 몸이 지면을 통과했는지, 관절이 가동 범위를 벗어났는지 등을 확인하고, 선별된 동작과 의자를 가상 공간에 배치해 주변 가구를 피하는 프로그램이다.
다음으로 시뮬레이터는 로봇의 머리 카메라 위치에서 장면을 캡처했습니다. 팀은 절차적으로 생성된 약 1,000개의 방을 작업했습니다. 항목 163,000개, 거의 300시간쌍을 이루는 샘플의 경우 데이터 크기는 컴퓨팅 성능에 의해서만 제한됩니다.
또한 이 논문에서는 SIT(Sit Down) 스킬만 50,000개의 샘플을 생성하는 데 250개의 H100 GPU와 9시간이 걸렸다고 언급했습니다. 1,178개의 방을 모두 생성하는 데 약 300개의 GPU와 26시간이 걸렸습니다.
객실 다양성 자체도 중요한 역할을 합니다. 연구팀은 액션 데이터의 양을 그대로 유지하고 훈련 장면 수만 조정했다. 보이지 않는 100개의 시뮬레이션 공간에서 의자에 앉는 성공률은 1개의 방만 훈련에 사용한 경우 43%에서 100개의 방을 사용한 경우 81%로 증가했습니다. 1,000개의 장면을 더 추가하면 점수가 84%로 상승했습니다.
Apple의 로봇 생태계는 자체 칩으로 실행됩니다.
HALO의 자율성은 3계층 구조의 협업을 통해 달성되며,모두 로봇 본체에서 실행됩니다., 인터넷 연결 없음, 원격 제어 없음, 외부 모션 캡처 필요 없음.
- 오케스트레이터(약 0.5Hz): 시각적 언어 모델(기본값은 로컬로 실행되는 Qwen3.6-35B-A3B)은 2초마다 화면을 보고 "상자를 테이블로 밀어넣는 데 도움을 주세요"와 같은 무료 지침을 하위 작업 순서로 나눌 수 있습니다.
- 모션 생성기(3Hz): 동결된 Qwen3.5-2B VLM 인코더와 처음부터 훈련된 확산 트랜스포머 디코더는 현재 1인칭 시점 이미지와 하위 작업, 즉 로봇 본체의 29개 관절 각도와 골반 자세를 기반으로 다음 5초 동안 전신 동작 계획을 생성합니다.
- 동작 추적기(50Hz): 심도 비전과 고유 감각을 결합하여 실제 합동 명령으로 이동 계획을 구현합니다. '특권 전문가 양성 → 다중 교사 증류 → 다중 평론가 강화 학습 미세 조정'의 3단계 훈련을 거쳐 '물리적 문제' 해결을 위한 최하위 수준이다.
일반적으로 상위 두 수준은 "의미론적" 문제, 즉 지침이 어느 의자를 참조하는지를 해결합니다. 하단 레이어는 균형을 잃지 않고 엉덩이가 의자 표면에 단단히 착지하도록 하는 방법에 대한 문제를 해결합니다.
이 배열에서 흥미로운 부분은 소프트웨어와 하드웨어의 혼합입니다. Yushu Unitree G1의 본체를 사용하고 후면에 Mac mini M4 Pro(64GB 통합 메모리)를 탑재하여 사고를 수행하며, 원래 로봇인 Jetson Orin NX가 50Hz 실시간 제어를 담당합니다. 머리에는 120° 광각 카메라가 장착되어 있으며, 몸 전체가 무선이며 케이블도 없고 외부 모션 캡처도 없습니다.
이 Apple 로봇 Mac mini M4 Pro의 뒷면에 있는 두뇌는 Alibaba의 오픈 소스 모델을 자랑합니다. 물론 오케스트레이터는 클라우드의 최첨단 대형 모델을 호출할 수 있는 옵션도 보유하고 있으며 오프라인에서는 로컬 모델에 전적으로 의존합니다.
Mac mini는 별도의 배터리나 전원 어댑터 없이 로봇(Yushu G1) 내부 전원 버스에서 직접 전원을 공급받습니다.
실제 기계가 작동 중이면 뒤에 있는 Mac mini가 그 사람이 어느 의자에 대해 이야기하고 있는지, 무엇을 먼저 해야 할지 판단합니다. 액션 모델은 현재 단계를 이어받아 카메라 영상을 기반으로 다음 5초 동안 전신 움직임을 생성하며 초당 약 3회 업데이트됩니다.
문제는 로봇이 새로운 계획을 기다리는 동안 이미 한 발을 내딛었을 수도 있다는 것입니다. 새로운 계획에 따라 발 위치가 변경되면 움직임이 갑자기 발생합니다.
HALO는 모션 생성기에 대해 비동기 추론 + 훈련 시간 접두사 제약 조건을 사용합니다. 새로운 계획을 생성할 때 이전 계획에서 결정된 0.5초의 동작을 유지하고 다음 4.5초만 다시 계산합니다. 이러한 방식으로 로봇은 계속해서 걸을 수 있으며, 이미 시작한 작업을 새로운 계획으로 따를 수 있습니다.
더 아래로 내려가면 G1과 함께 제공되는 Jetson 칩은 하향 깊이 카메라와 신체 상태를 결합하여 29개 관절에 대해 초당 50회 위치 목표를 업데이트합니다. 상위 계획의 '앉다'라는 문장은 이제 실제로 무릎을 얼마나 구부릴지, 몸통을 어떻게 안정시킬지 등 일련의 동작으로 바뀌었다. 시뮬레이션 의자 테스트에서 이 깊이 입력 레이어가 제거되면 성공률은 84%에서 74%로 떨어집니다.
이전의 유사한 작업은 대부분 사전에 스캔한 방에서 테스트한 반면, HALO의 평가 환경은 훈련에 한 번도 등장하지 않았고, 스캔되거나 매핑된 적도 없는 실제 주택 6곳。
이러한 환경에서 로봇은 앉기, 지정된 물체를 향해 걷기, 반쯤 열린 문을 통해 옆으로 걷기, 테이블 아래에 쪼그려 앉기/기기, 상자 밀기 등 6가지 작업을 완료했습니다. 360회의 물리적 실험의 평균 성공률은 91%이는 시뮬레이션의 91%와 정확히 동일합니다.
기술이 결합된 작업(예: "테이블 가로질러 드릴 → 상자로 걸어가기 → 상자 밀기")으로 결합되면 성공률은 약 70%로 떨어집니다. 실패 이유는 매우 흥미롭습니다. 로봇은 이전 작업이 끝날 때 잘못된 방향을 향하고 있었고, 다음 목표는 시야에 전혀 없었으며, 로봇은 다른 물체에 의해 "길을 잃었습니다". 하지만 해결 방법도 쉽습니다. 논문에서는 '원을 그리며 대상을 찾는' 간단한 회복 동작을 추가하면 문제를 완화할 수 있다고 언급했다.
더욱 인상적인 것은 통제된 실험에서 훈련 장면의 수가 1에서 100으로 증가했을 때 로봇의 성공률이 43%에서 81%로 치솟았다는 것입니다. 이후 1,000명으로 늘어나 84%에 이르렀습니다.
이것은 애플의 첫 번째 움직임이 아니다
Apple의 AI는 여러 차례 지연되었지만 지난 2년 동안 Apple의 공개 문서를 살펴보면 구체화된 지능의 레이아웃이 점차 명확해졌습니다.
- 2024년 11월, ARMOR(CMU와 협력): 푸리에 GR1의 팔을 40개의 저가형 ToF 레이더로 피부처럼 덮고, 자신의 팔을 볼 수 없는 휴머노이드 로봇의 폐색 문제를 해결하고, 최초의 관점의 공중 인식 경로를 구축합니다.
- 2025년 1월, 엘레강트: 화면을 상쾌하게 해주는 픽사 책상 램프 로봇은 '기능+표현'의 모션 디자인을 탐구하여 로봇이 고개를 끄덕이고 다가가며 조명을 사용하여 우리의 주의를 유도합니다. 이는 소비자 로봇의 형태에 대한 Apple의 생각이기도 합니다.
- 2025년 5월, EgoDex 및 PH2D: Vision Pro를 이용하여 829시간의 1인칭 손재주 조작 데이터를 수집하였으며, 헤드셋을 착용한 인간 트레이너가 휴머노이드 로봇을 직접 훈련시켰습니다.
HALO는 이 라인의 짧은 끝처럼 보입니다. 지각적으로는 1인칭 시점 철학을 계승하고 있습니다. 이 장면은 ELEGNT에 묘사된 가족을 겨냥한 것입니다. 데이터의 가장 중요한 연결고리에서 애플은 이번에는 인간 수집을 포기하고 시뮬레이션에 베팅했다.
물론 HALO가 수천 가구에 실제로 적용되기까지는 아직 갈 길이 멀습니다.
이제 의자에 앉을 수도 있고, 테이블 아래로 기어갈 수도 있고, 상자를 밀 수도 있지만, 지저분한 침실을 정리하거나 냉장고에서 음료수 한 병을 꺼내려면 아직 배워야 할 기술이 많이 남아 있습니다. 각각의 새로운 기술이 추가되더라도 연구원은 여전히 모션 큐와 키프레임을 수동으로 디자인해야 합니다.
그러나 HALO는 적어도 한 가지를 증명합니다.현실 세계와 상호 작용하는 방법을 배우는 휴머노이드 로봇은 확장하기 더 쉬운 경로를 가질 수 있습니다.。
과거에는 로봇이 300시간의 경험을 축적하려면 누군가가 함께 연습하고 기록해야 했습니다. 오늘날 연구자들은 수백 개의 GPU를 사용하여 하루 만에 동일한 양의 훈련 데이터를 생성한 다음 실제 집에 한 번도 발을 디딘 적이 없는 로봇에게 그 경험을 전달할 수 있습니다.
더욱 흥미로운 점은 애플이 이번에는 자체 로봇 본체조차 갖고 있지 않다는 점이다. Yushu의 G1, Alibaba의 Qianwen, Nvidia의 Jetson 및 Mac mini는 자율적으로 인식하고 행동할 수 있는 시스템을 구성합니다.
로봇 훈련이 점점 더 컴퓨팅 능력에 의존하기 시작하면, 미래 휴머노이드 로봇 산업의 경쟁은 누구의 몸이 더 유연한가에서 누가 로봇의 경험을 더 빠르고 저렴하게 축적할 수 있는가로 확대될 수도 있습니다.
# aifaner의 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr)를 팔로우하는 것을 환영합니다. 최대한 빨리 더 흥미로운 콘텐츠를 제공해 드리겠습니다.
