كان الرئيس التنفيذي الجديد لشركة Apple مؤخرًا غير راضٍ بعض الشيء عن التقدم الذي أحرزه الذكاء الاصطناعي الخاص به.

وفقًا لآخر الأخبار الواردة من بلومبرج، طلب الرئيس التنفيذي لشركة أبل، جون تيرنوس، من مدير البرمجيات فيديريغي تسريع وتيرة تطوير الذكاء الاصطناعي والتوصل إلى خطط أكثر جرأة. لا يمكنه فقط ترقية سيري ببعض الوظائف.

بالمقارنة مع سرعة تطبيق الذكاء الاصطناعي من Apple، فإن التقدم البحثي الذي حققته Apple يتجاوز في الواقع العديد من التوقعات، بما في ذلك الذكاء المتجسد. تدرس شركة Apple أيضًا كيفية منح الذكاء الاصطناعي جسمًا يمكنه التصرف في العالم الحقيقي.

في الآونة الأخيرة، كشف فريق أبحاث Apple عن دراسة حول روبوت يشبه الإنسان يُدعى HALO، والذي يستخدم Yushu G1 بشكل مباشر كجسم وجهاز Mac mini M4 Pro مربوط بالخلف، والذي لا يزال يشغل نموذج Qianwen الخاص بشركة علي بابا.

يمكن لهذا النظام الذي يبدو هجينًا أن يسمح للروبوتات بالدخول إلى المنازل الغريبة بشكل مستقل، والعثور على الكراسي للجلوس عليها، والنزول تحت الطاولات، ودفع الصناديق بعيدًا. بلغ متوسط ​​معدل النجاح لـ 360 اختبارًا في 6 بيئات واقعية لم تتم رؤيتها من قبل ولم يتم فحصها مسبقًا 91%.

صورة | عنوان المشروع: https://apple-aiml-research.github.io/ml-halo/

والأمر الأكثر إثارة للاهتمام هو أن شركة Apple لم تجد حتى شخصًا للتحكم عن بعد في الروبوت لجمع بيانات التدريب هذه.

استخدم فريق البحث المئات من وحدات معالجة الرسوميات لتوليد بيانات الحركة والبيانات المرئية للروبوت في آلاف المنازل الافتراضية، ثم نقل المهارات المكتسبة مباشرة إلى العالم الحقيقي.

وهذا يعني أن الروبوتات البشرية التي كانت تتطلب في الأصل تعليمات يدوية من قبل البشر لديها الآن فرصة التعلم من خلال الاعتماد على القوة الحاسوبية.

[تجريبي-1080.mp4]

لتعليم الروبوت كيفية الجلوس، عليك أولاً تصوير ما يراه.

عندما نسمع "اذهب واجلس على كرسي"، فإننا عادةً ما ننظر إلى مكان الكرسي، ثم نسير، ونستدير، ثم نضع وزن جسمنا على المقعد.

بالنسبة للروبوتات، تتطلب هذه العملية بيانات تدريب محددة للغاية. يجب أن تتضمن عينة البيانات المشتركة ليس فقط التعليمات التي سمعتها وصور المشاهدة من منظور الشخص الأول، ولكن أيضًا سجلات كيفية تحرك مفاصل الجسم بالكامل عند إكمال المهمة. الاعتماد على العملية البشرية عن بعد لجمعها، في كل مرة تكون هناك عينة إضافية، يجب القيام بذلك مرة أخرى.

تسمى بيانات هذا الروبوت المقترن "Vision-Language-Action, VLA". على عكس تدريب النماذج اللغوية الكبيرة التي يمكنها استخدام نص لا ينضب على الإنترنت، لا توجد بيانات موجودة في مجموعة VLA في العالم الحقيقي.

يجب أن يتم إنتاج كل عينة تدريبية خصيصًا بواسطة شخص ما: نظام تشغيل عن بعد (مثل ALOHA) أو جهاز التقاط حركة يمكن ارتداؤه (مثل UMI). يتطلب إنتاج ساعة واحدة من البيانات ساعة واحدة على الأقل من القوى العاملة. يعد هذا أيضًا "عنق الزجاجة" الشهير في مجال الروبوتات البشرية.

الحل الذي قدمته ورقة HALO من Apple هولا مزيد من البيانات البشرية، كلها تم تجميعها عن طريق المحاكاة.

واستخدم الفريق البحثي نموذج انتشار الحركة لتوليد حركات لكامل الجسم، واستخدم مولدًا مبرمجًا (INFINIGEN) لإنشاء 1000 منزل افتراضي، مع غرف معيشة ومكاتب وغرف نوم، بكثافة أثاث عشوائية. ثم قاموا بوضع الحركات في المشهد في إسحاق سيم، وقدموا رؤية الشخص الأول لكاميرا رأس الروبوت، وسلموها أخيرًا إلى جهاز التحقق التلقائي لفحص العينات السيئة التي تلبس القوالب أو تنزلق.

على سبيل المثال، عند الجلوس على كرسي، حدد الباحثون أولاً مراحل المشي، والالتفاف، والجلوس، والوضعية النهائية للجلوس بثبات.يعطي نموذج توليد العمل مجموعات متعددة من المسارات بناءً على ذلكويتحقق البرنامج مما إذا كانت باطن القدمين قد انزلقت، وما إذا كان الجسم قد مر عبر الأرض، وما إذا كانت المفاصل قد تجاوزت نطاق الحركة، ثم يتم وضع الحركات والكراسي المفحوصة في الغرفة الافتراضية لتجنب الأثاث المحيط.

بعد ذلك، التقط جهاز المحاكاة المشهد من موضع الكاميرا الرئيسية للروبوت. عمل الفريق على ما يقرب من 1000 غرفة تم إنشاؤها إجرائيًا. 163.000 مادة، ما يقرب من 300 ساعةالعينات المقترنة، يقتصر حجم البيانات فقط على قوة الحوسبة.

وذكرت الورقة أيضًا أن الأمر استغرق 250 وحدة معالجة رسوميات H100 و9 ساعات لإنشاء 50000 عينة من مهارة SIT (الجلوس) وحدها؛ استغرق إنشاء جميع الغرف البالغ عددها 1178 حوالي 300 وحدة معالجة رسوميات و26 ساعة.

يلعب تنوع الغرف نفسه دورًا أيضًا. أبقى فريق البحث كمية بيانات العمل دون تغيير وقام فقط بتعديل عدد مشاهد التدريب. في 100 غرفة محاكاة غير مرئية، ارتفع معدل نجاح الجلوس على الكرسي من 43% عند استخدام غرفة واحدة فقط للتدريب إلى 81% عند استخدام 100 غرفة. وبإضافة 1000 مشهد آخر، ارتفعت النتيجة إلى 84%.

يعمل النظام البيئي للروبوتات الخاص بشركة Apple على رقائقه الخاصة

يتم تحقيق استقلالية HALO من خلال التعاون بين هيكل ثلاثي المستويات، وكل ذلك يعمل على جسم الروبوت، لا يوجد اتصال بالإنترنت، لا يوجد جهاز تحكم عن بعد، لا حاجة لالتقاط الحركة الخارجية.

• منسق (حوالي 0.5 هرتز): نموذج اللغة المرئية (الافتراضي هو Qwen3.6-35B-A3B الذي يعمل محليًا) ينظر إلى الشاشة كل ثانيتين ويمكنه تقسيم التعليمات المجانية مثل "ساعدني في دفع الصندوق إلى الطاولة" إلى تسلسلات مهام فرعية؛

• مولد الحركة (3 هرتز): يقوم جهاز التشفير Qwen3.5-2B VLM المجمد بالإضافة إلى وحدة فك ترميز محول الانتشار المدربة من الصفر بإنشاء خطة حركة لكامل الجسم لمدة 5 ثوانٍ تالية بناءً على صورة عرض الشخص الأول الحالية والمهام الفرعية، أي 29 زاوية مشتركة على جسم الروبوت بالإضافة إلى وضع الحوض؛

• تعقب الحركة (50 هرتز): يجمع بين الرؤية العميقة واستقبال الحس العميق لتنفيذ خطط الحركة في أوامر مشتركة حقيقية. لقد خضع لتدريب على ثلاث مراحل من "تدريب الخبراء المتميز ← التقطير متعدد المعلمين ← الضبط الدقيق للتعلم المعزز متعدد النقاد" وهو أدنى مستوى لحل "المشكلات الجسدية".

وبشكل عام، فإن المستويين العلويين يحلان المشكلة "الدلالية"، أي الكرسي الذي يشير إليه التعليم؛ تحل الطبقة السفلية مشكلة كيفية جعل المؤخرة تهبط بقوة على سطح الكرسي دون فقدان التوازن.

الجزء المثير للاهتمام من هذا الترتيب هو مزيج من البرامج والأجهزة. ويستخدم جسم Yushu Unitree G1، مع جهاز Mac mini M4 Pro (ذاكرة موحدة سعة 64 جيجابايت) في الخلف للتفكير، والروبوت الأصلي Jetson Orin NX مسؤول عن التحكم في الوقت الفعلي بمعدل 50 هرتز. يتم تثبيت كاميرا بزاوية واسعة 120 درجة على الرأس، والجسم كله لاسلكي، ولا توجد كابلات، ولا التقاط حركة خارجية.

العقل الموجود في الجزء الخلفي من روبوت Apple هذا، Mac mini M4 Pro، يتميز بنموذج مفتوح المصدر من Alibaba. بالطبع، يحتفظ المنسق أيضًا بخيار استدعاء النموذج الكبير المتطور للسحابة، ويعتمد بشكل كامل على النموذج المحلي عند عدم الاتصال بالإنترنت.

يستمد جهاز Mac mini الطاقة مباشرة من ناقل الطاقة الداخلي للروبوت (Yushu G1)، بدون بطارية منفصلة أو محول طاقة.

عندما يكون الجهاز الحقيقي قيد التشغيل، سيحدد جهاز Mac mini الموجود في الخلف الكرسي الذي يتحدث عنه الشخص وما يجب فعله أولاً. يتولى نموذج الحركة الخطوة الحالية ويولد حركات لكامل الجسم لمدة الثواني الخمس التالية بناءً على لقطات الكاميرا، ويتم تحديثها حوالي 3 مرات في الثانية.

المشكلة هي أنه بينما ينتظر الروبوت خطة جديدة، ربما يكون قد وضع قدمًا بالفعل. إذا اتبعت الخطة الجديدة وتم تغيير موضع القدم، فستكون الحركة مفاجئة.

يستخدم HALO المنطق غير المتزامن + قيود بادئة وقت التدريب لمولد الحركة. عند إنشاء خطة جديدة، ستحتفظ بإجراءات نصف الثانية التي تم تحديدها في الخطة القديمة وإعادة حساب الـ 4.5 ثانية التالية فقط. بهذه الطريقة، يمكن للروبوت أن يستمر في المشي، ويمكن للخطط الجديدة أن تتبع الإجراءات التي بدأها بالفعل.

علاوة على ذلك، تجمع شريحة Jetson التي تأتي مع G1 بين كاميرا العمق المتجه نحو الأسفل وحالة الجسم لتحديث الموضع المستهدف 50 مرة في الثانية لـ 29 مفصلاً. لقد تحولت الآن جملة "اجلس" ​​في خطة المستوى العلوي إلى سلسلة من الإجراءات في الواقع بما في ذلك مقدار ثني الركبتين وكيفية تثبيت الجذع. في اختبار الكرسي المحاكى، إذا تمت إزالة طبقة مدخلات العمق هذه، فسوف ينخفض ​​معدل النجاح من 84% إلى 74%.

تم اختبار معظم الأعمال المماثلة السابقة في غرف تم فحصها مسبقًا، بينما تم اختبار بيئة التقييم الخاصة بـ HALO 6 منازل حقيقية لم تظهر مطلقًا في التدريب ولم يتم مسحها أو رسم خرائط لها مطلقًا。

في هذه البيئات، أكمل الروبوت ست مهام: الجلوس، والمشي نحو جسم محدد، والدخول الجانبي عبر باب نصف مفتوح، والجلوس/الزحف تحت الطاولة، ودفع الصناديق. وكان متوسط ​​معدل نجاح 360 تجربة فيزيائية 91%، وهي بالضبط نفس نسبة 91% في المحاكاة.

عندما يتم دمج المهارات معًا في مهام مجمعة (مثل "التمرين عبر الطاولة ← المشي إلى الصندوق ← دفع الصندوق")، ينخفض ​​معدل النجاح إلى حوالي 70%. سبب الفشل مثير للاهتمام للغاية: كان الروبوت يواجه الاتجاه الخاطئ في نهاية الإجراء السابق، ولم يكن الهدف التالي في مجال الرؤية على الإطلاق، و"ضلل" الروبوت بأشياء أخرى. لكن الحل سهل أيضاً. وذكرت الورقة أن إضافة سلوك استرداد بسيط يتمثل في "الدوران في الدوائر للعثور على الهدف" يمكن أن يخفف من المشكلة.

والأكثر إثارة للإعجاب هو أنه في التجارب الخاضعة للرقابة، عندما زاد عدد مشاهد التدريب من 1 إلى 100، ارتفع معدل نجاح الروبوت من 43% إلى 81%؛ ثم ارتفع إلى 1000 ليصل إلى 84%.

هذه ليست الخطوة الأولى لشركة Apple

على الرغم من تأخير الذكاء الاصطناعي الخاص بشركة أبل عدة مرات، وبالنظر إلى الأوراق العامة لشركة أبل في العامين الماضيين، أصبح مخطط الذكاء المتجسد أكثر وضوحًا تدريجيًا:

• نوفمبر 2024, ارمور(التعاون مع CMU): تغطية أذرع Fourier GR1 بـ 40 رادار ToF منخفض التكلفة مثل الجلد، وحل مشكلة انسداد الروبوتات البشرية التي لا تستطيع رؤية أذرعها، وإنشاء مسار إدراك محمول جواً من المنظور الأول؛

• يناير 2025, إليجنت: يستكشف روبوت المصباح المكتبي من Pixar الذي يعمل على تحديث الشاشة تصميم الحركة لـ "الوظيفة + التعبير"، مما يسمح للروبوت بالإيماءة والاقتراب واستخدام الأضواء لتوجيه انتباهنا. وهذا أيضًا هو تفكير أبل في شكل الروبوتات الاستهلاكية؛

• مايو 2025، EgoDex وPH2D: تم استخدام Vision Pro لجمع 829 ساعة من بيانات عملية براعة الشخص الأول، وقام مدرب بشري يرتدي سماعة رأس بتدريب الروبوت البشري مباشرة.

HALO تبدو وكأنها نهاية مختصرة لهذا الخط. من الناحية الإدراكية، فهي ترث فلسفة منظور الشخص الأول. المشهد يستهدف العائلة المصورة في ELEGNT. وفي الرابط الأكثر أهمية للبيانات، تخلت شركة آبل هذه المرة عن التجميع البشري وراهنت على المحاكاة.

وبطبيعة الحال، لا يزال أمام HALO طريق طويل لتقطعه قبل أن تتمكن من دخول آلاف الأسر حقًا.

يمكنه الآن الجلوس على كرسي، والزحف تحت الطاولة، ودفع الصناديق، ولكن لا يزال هناك الكثير من المهارات التي يحتاج إلى تعلمها قبل أن يتمكن من ترتيب غرفة نوم فوضوية أو الحصول على زجاجة مشروب من الثلاجة. حتى مع إضافة كل مهارة جديدة، لا يزال الباحثون بحاجة إلى تصميم إشارات الحركة والإطارات الرئيسية يدويًا.

ومع ذلك، HALO على الأقل يثبت شيئًا واحدًا:يمكن للروبوتات البشرية التي تتعلم كيفية التفاعل مع العالم الحقيقي أن يكون لها طريق أسهل للتوسع。

في الماضي، إذا كنت تريد أن يجمع الروبوت 300 ساعة من الخبرة، كان على شخص ما أن يتدرب عليها ويسجلها معك. اليوم، يمكن للباحثين استخدام المئات من وحدات معالجة الرسومات لتوليد نفس الكمية من بيانات التدريب في ما يزيد قليلاً عن يوم واحد، ثم تسليم هذه التجربة إلى روبوت لم تطأ قدمه منزلًا حقيقيًا من قبل.

والأمر الأكثر إثارة للاهتمام هو أن شركة Apple لا تمتلك حتى جسم الروبوت الخاص بها هذه المرة. تشكل أجهزة Yushu's G1 وQianwen من Alibaba وJetson من Nvidia وMac mini نظامًا يمكنه الإدراك والتصرف بشكل مستقل.

عندما يبدأ تدريب الروبوت في الاعتماد أكثر فأكثر على القوة الحاسوبية، قد تمتد المنافسة في صناعة الروبوتات البشرية في المستقبل أيضًا من من يتمتع بجسم أكثر مرونة إلى من يمكنه جعل الروبوت يتراكم الخبرة بشكل أسرع وأرخص.

# مرحبًا بكم في متابعة حساب WeChat العام الرسمي لـ aifaner: aifaner (معرف WeChat: ifanr). سيتم توفير المزيد من المحتوى المثير لك في أقرب وقت ممكن.