Appleの新CEOは最近、自身のAIの進歩に少し不満を抱いている。
ブルームバーグの最新ニュースによると、アップルのジョン・ターナス最高経営責任者（CEO）は、ソフトウェアディレクターのフェデリギに対し、AI開発のペースを速め、より大胆な計画を立てるよう要請したという。 Siri をいくつかの機能だけアップグレードすることはできません。
Apple の AI 実装のスピードと比較すると、Apple の研究の進歩は、身体化されたインテリジェンスを含め、実際に多くの予想を上回っています。アップルはAIに現実世界で行動できる体を与える方法も研究している。
最近、Apple 研究チームは、HALO と呼ばれる人型ロボットに関する研究を明らかにしました。このロボットは、胴体として Yushu G1 を直接使用し、背中にストラップで固定された Mac mini M4 Pro を使用しており、現在も Alibaba の Qianwen モデルを実行しています。
この一見ハイブリッドなシステムでは、ロボットが自律的に見知らぬ家に侵入し、座る椅子を見つけ、テーブルの下に入り、箱を押しのけることがすでに可能になっています。事前にスキャンも行ったこともなかった 6 つの実際の環境での 360 件のテストの平均成功率は 91% でした。
写真 |プロジェクトアドレス: https://apple-aiml-research.github.io/ml-halo/さらに興味深いのは、Apple がこれらのトレーニング データを収集するためにロボットを遠隔制御する人を見つけさえしなかったことです。
研究チームは数百の GPU を使用して、数千の仮想住宅でロボットの動作と視覚データをバッチ生成し、学習したスキルを現実世界に直接移行しました。
これは、もともと人間による手動の指示が必要だった人型ロボットが、コンピューティング能力に依存して学習する機会を得たことを意味します。
[デモ-1080.mp4]
ロボットに座り方を教えるには、まずロボットが見ているものを写真に撮る必要があります。
「椅子に座りなさい」と聞くと、私たちは通常、椅子の位置を見て、そこまで歩いて向きを変え、椅子に体の体重を置きます。
ロボットの場合、このプロセスには非常に特殊なトレーニング データが必要です。共通データサンプルには、聞いた指示や一人称視点の映像だけでなく、課題を遂行する際の全身の関節の動きの記録も含める必要がある。人間の遠隔操作に頼って採取すると、サンプルが追加されるたびに採取をやり直す必要があります。
このペアになったロボットのデータは「Vision-Language-Action、VLA」と呼ばれます。インターネット上の無尽蔵のテキストを使用できる大規模な言語モデルのトレーニングとは異なり、現実世界には既存の VLA コーパス データは存在しません。
各トレーニング サンプルは、リモート オペレーティング システム (ALOHA など) またはウェアラブル モーション キャプチャ デバイス (UMI など) によって特別に作成される必要があります。 1 時間のデータを作成するには、少なくとも 1 時間の人手が必要です。これは人型ロボットの分野では有名な「データボトルネック」でもあります。
Apple の論文 HALO が示した解決策は次のとおりです。人間のデータはもう必要なく、すべてシミュレーションによって合成されます。
研究チームは、モーション拡散モデルを使用して全身の動きを生成し、プログラムされたジェネレーター (INFINIGEN) を使用して、リビングルーム、オフィス、寝室があり、家具の密度がランダムな 1,000 の仮想住宅を作成しました。次に、その動きを Isaac Sim のシーンに組み込み、ロボットのヘッド カメラの一人称視点をレンダリングし、最後にそれを自動検証装置に渡して、型が摩耗したりスリップしたりする不良サンプルを選別しました。
たとえば、椅子に座る場合、研究者らはまず、歩き回る、向きを変える、座るという段階と、しっかりと座る最終的な姿勢を特定しました。アクション生成モデルは、これに基づいて複数の軌道セットを提供します。、プログラムは足の裏が滑っていないか、体が地面を通過していないか、関節が可動範囲を超えていないかをチェックし、スクリーンされた動きと椅子を仮想部屋に配置し、周囲の家具を避けます。
次に、シミュレーターはロボットの頭部カメラの位置からシーンをキャプチャしました。チームは、プロシージャルに生成された約 1,000 の部屋に取り組みました。 163,000 アイテム、約 300 時間ペアになったサンプルの場合、データ サイズは計算能力によってのみ制限されます。
この論文では、SIT (座る) スキルだけで 50,000 個のサンプルを生成するのに 250 個の H100 GPU と 9 時間かかったとも述べられています。 1,178 部屋すべての生成には、約 300 個の GPU と 26 時間かかりました。
部屋の多様性自体も重要な役割を果たします。研究チームはアクションデータの量を変更せず、トレーニングシーンの数のみを調整しました。 100 の未確認の模擬部屋で椅子に座る成功率は、トレーニングに 1 部屋だけを使用した場合の 43% から、100 部屋を使用した場合は 81% に増加しました。さらに 1,000 シーンを追加すると、スコアは 84% に上昇しました。
Appleのロボットエコシステムは独自のチップで動作する
HALO の自律性は、3 層構造のコラボレーションによって実現されます。すべてロボット本体上で動作します、インターネット接続、リモコン、外部モーション キャプチャは必要ありません。
- オーケストレーター（約0.5Hz）: 視覚言語モデル (デフォルトはローカルで実行されている Qwen3.6-35B-A3B) は 2 秒ごとに画面を確認し、「箱をテーブルに押すのを手伝ってください」などの自由な指示をサブタスク シーケンスに分解できます。
- モーションジェネレーター（3Hz）: フリーズされた Qwen3.5-2B VLM エンコーダとゼロからトレーニングされた拡散 Transformer デコーダは、現在の一人称視点の画像とサブタスク、つまりロボット本体の 29 の関節角度と骨盤の姿勢に基づいて、次の 5 秒間の全身動作計画を生成します。
- モーショントラッカー（50Hz）: 深度視覚と固有受容を組み合わせて、動作計画を実際の関節コマンドに実装します。 「特権エキスパートトレーニング→マルチティーチャー蒸留→マルチクリティカル強化学習ファインチューニング」の3段階のトレーニングを経ており、「物理的な問題」を解決するための最低レベルです。
一般に、上の 2 つのレベルは、「意味論的」問題、つまり命令がどの椅子を参照しているかを解決します。最下層は、バランスを崩さずにお尻を椅子の表面にしっかりと着地させる方法の問題を解決します。
この配置の興味深い点は、ソフトウェアとハードウェアが混在していることです。優秀Unitree G1のボディを使用し、背面に思考用のMac mini M4 Pro（64GBユニファイドメモリ）を搭載し、オリジナルロボットJetson Orin NXが50Hzのリアルタイム制御を担当する。頭部には120°の広角カメラが搭載されており、全身はワイヤレスでケーブルや外部モーションキャプチャーも不要です。
この Apple ロボットの背面にある脳、Mac mini M4 Pro には、アリババのオープンソース モデルが搭載されています。もちろん、オーケストレーターはクラウドの最先端の大規模モデルを呼び出すオプションも留保しており、オフライン時にはローカル モデルに完全に依存します。
Mac mini は、別個のバッテリーや電源アダプターを必要とせず、ロボット (Yushu G1) の内部電源バスから直接電力を供給します。
実機が動作しているときは、背面の Mac mini がその人がどの椅子について話しているのか、最初に何をするのかを判断します。アクション モデルは現在のステップを引き継ぎ、カメラ映像に基づいて次の 5 秒間の全身の動きを生成し、1 秒あたり約 3 回更新します。
問題は、ロボットが新しい計画を待っている間に、すでに片足を上げている可能性があることです。新しい計画に従って足の置き場が変わると、動きが急になります。
HALO は、モーション ジェネレーターに非同期推論とトレーニング時のプレフィックス制約を使用します。新しい計画を生成すると、古い計画で決定された 0.5 秒のアクションが保持され、次の 4.5 秒だけが再計算されます。このようにして、ロボットは歩き続けることができ、すでに開始したアクションに続いて新しい計画を立てることができます。
さらにその下では、G1 に付属の Jetson チップが下向きの深度カメラと体のステータスを組み合わせて、29 の関節の位置ターゲットを 1 秒あたり 50 回更新します。上位計画にあった「座る」という文言が、実際には膝をどれだけ曲げるか、体幹をどのように安定させるかなどの一連の動作となった。模擬椅子テストでは、この深度入力の層が削除されると、成功率は 84% から 74% に低下します。
これまでの同様の作業のほとんどは、事前にスキャンされた部屋でテストされましたが、HALO の評価環境は トレーニングには登場せず、スキャンやマッピングも行われなかった 6 つの実際の家。
これらの環境で、ロボットは 6 つのタスクを完了しました。座る、指定された物体に向かって歩く、半開きのドアを横に通過する、テーブルの下にしゃがむ/這う、箱を押すというものです。 360 回の物理実験の平均成功率は、 91%, これはシミュレーションの 91% とまったく同じです。
スキルを組み合わせてタスクを組み合わせた場合 (「テーブルをドリルで横切る→ボックスまで歩く→ボックスを押す」など)、成功率は約 70% に低下します。失敗の理由は非常に興味深いものです。前のアクションの終了時にロボットが間違った方向を向いていたこと、次のターゲットがまったく視野に入っていなかったこと、そしてロボットが他の物体に「誘導された」ことです。しかし、解決策も簡単です。論文では、「回転してターゲットを見つける」という単純な回復動作を追加することで問題を軽減できると述べています。
さらに印象的なのは、対照実験において、トレーニング シーンの数が 1 から 100 に増加すると、ロボットの成功率が 43% から 81% に急上昇したことです。その後 1,000 に増加し、84% に達しました。
これはAppleの最初の動きではない
Apple の AI は何度も遅れてきましたが、過去 2 年間の Apple の公開論文に目を通すと、身体化されたインテリジェンスの配置が徐々に明らかになってきました。
- 2024年11月、アーマー(CMUと協力): フーリエGR1の腕を40個の低コストToFレーダーで皮膚のように覆い、自分の腕が見えない人型ロボットの遮蔽問題を解決し、第一視点の空中認識ルートを確立する。
- 2025年1月、ELEGNT: 画面をリフレッシュするピクサーのデスクランプロボットは、うなずいたり、近づいたり、光を使って注意を誘導したりする「機能+表現」のモーションデザインを追求しています。これは、消費者向けロボットの形状に関する Apple の考えでもあります。
- 2025 年 5 月、EgoDex と PH2D: Vision Pro を使用して 829 時間の一人称の器用さの操作データを収集し、ヘッドセットを装着した人間のトレーナーが人型ロボットを直接トレーニングしました。
HALO はこの路線の短い終焉を迎えたようだ。知覚的には、一人称視点の哲学を継承しています。このシーンはELEGNTで描かれた家族に向けられています。最も重要なデータのつながりにおいて、Appleは今回人間による収集を諦め、シミュレーションに賭けた。
もちろん、HALO が実際に数千世帯に導入されるまでには、まだ長い道のりがあります。
椅子に座ったり、テーブルの下に潜ったり、箱を押したりできるようになりましたが、散らかった寝室を片付けたり、冷蔵庫から飲み物のボトルを取り出したりできるようになるまでには、学ぶ必要のあるスキルがまだたくさんあります。新しいスキルが追加されるたびに、研究者は依然としてモーション キューとキーフレームを手動で設計する必要があります。
ただし、HALO は少なくとも 1 つのことを証明します。現実世界と対話する方法を学習する人型ロボットは、より簡単に拡張できる可能性がある。
以前は、ロボットに 300 時間の経験を蓄積させたい場合は、誰かが一緒に練習して記録する必要がありました。現在、研究者は数百の GPU を使用して、同じ量のトレーニング データを 1 日強で生成し、その経験を実際の家に足を踏み入れたことのないロボットに渡すことができます。
さらに興味深いのは、今回 Apple は独自のロボット本体さえ持っていないということです。 Yushu の G1、Alibaba の Qianwen、Nvidia の Jetson、および Mac mini は、自律的に認識して動作できるシステムを形成します。
ロボットのトレーニングがコンピューティング能力にますます依存し始めると、将来の人型ロボット業界における競争は、誰の体がより柔軟かという問題から、誰がロボットにより早くより安価に経験を蓄積させることができるかにまで及ぶ可能性があります。
＃aifanerの公式WeChat公開アカウント：aifaner（WeChat ID：ifanr）のフォローを歓迎します。さらにエキサイティングなコンテンツをできるだけ早くお届けします。
