Новый генеральный директор Apple в последнее время был немного недоволен прогрессом своего собственного ИИ.
Согласно последним новостям Bloomberg, генеральный директор Apple Джон Тернус попросил директора по программному обеспечению Федериги ускорить темпы разработки ИИ и выдвинуть более смелые планы. Он не может просто обновить Siri несколькими функциями.
По сравнению со скоростью внедрения искусственного интеллекта Apple, прогресс исследований Apple фактически превосходит многие ожидания, включая воплощенный интеллект. Apple также изучает, как дать ИИ тело, способное действовать в реальном мире.
Недавно исследовательская группа Apple опубликовала результаты исследования робота-гуманоида под названием HALO, который напрямую использует Yushu G1 в качестве тела и прикрепленный к спине Mac mini M4 Pro, на котором до сих пор работает модель Qianwen от Alibaba.
Эта, казалось бы, гибридная система уже позволяет роботам самостоятельно заходить в чужие дома, находить стулья, на которых можно сесть, забираться под столы и отодвигать коробки. Средний показатель успеха 360 тестов в 6 реальных средах, которые никогда не наблюдались и не сканировались заранее, составил 91%.
Изображение | Адрес проекта: https://apple-aiml-research.github.io/ml-halo/Что еще интереснее, Apple даже не нашла человека, который бы удаленно управлял роботом и собирал эти обучающие данные.
Исследовательская группа использовала сотни графических процессоров для пакетной генерации данных о движениях роботов и визуальных данных в тысячах виртуальных домов, а затем напрямую перенесла полученные навыки в реальный мир.
Это означает, что роботы-гуманоиды, которым изначально требовалось ручное управление людьми, теперь имеют возможность учиться, полагаясь на вычислительные мощности.
[демо-1080.mp4]
Чтобы научить робота садиться, сначала нужно сфотографировать то, что он видит.
Когда мы слышим «иди, сядь на стул», мы обычно смотрим, где находится стул, затем подходим, разворачиваемся и переносим вес своего тела на сиденье.
Для роботов этот процесс требует очень специфических обучающих данных. Общая выборка данных должна включать не только услышанные инструкции и изображения от первого лица, но и записи того, как двигаются суставы всего тела при выполнении задания. Полагаясь на удаленное управление человеком при сборе, каждый раз, когда появляется дополнительный образец, его нужно делать снова.
Данные этого парного робота называются «Видение-Язык-Действие, VLA». В отличие от обучения больших языковых моделей, которые могут использовать неисчерпаемый текст в Интернете, в реальном мире не существует данных корпуса VLA.
Каждый обучающий образец должен быть кем-то специально создан: удаленной операционной системой (например, ALOHA) или носимым устройством захвата движения (например, UMI). Для получения одного часа данных требуется как минимум один час рабочей силы. Это также известное «узкое место в данных» в области человекоподобных роботов.
Решение, данное в статье Apple HALO, таково:Никаких больше человеческих данных, все они синтезируются с помощью моделирования.
Исследовательская группа использовала модель диффузии движения для генерации движений всего тела и использовала программный генератор (INFINIGEN) для создания 1000 виртуальных домов с гостиными, офисами и спальнями со случайной плотностью мебели. Затем они добавили движения в сцену в «Исааке Симе», визуализировали вид от первого лица с головной камеры робота и, наконец, передали его автоматической верификатору для отсеивания плохих образцов, которые изнашиваются или скользят.
Например, сидя на стуле, исследователи сначала определяли этапы ходьбы, поворота, сидения и конечной позы твердого сидения.Модель генерации действий дает несколько наборов траекторий, основанных на этом.Программа проверяет, не соскользнули ли подошвы ног, не прошло ли тело сквозь землю и не превысили ли суставы диапазон движения, а затем помещает экранированные движения и стулья в виртуальную комнату, чтобы избежать окружающей мебели.
Далее симулятор заснял сцену с позиции головной камеры робота. Команда работала примерно над 1000 процедурно сгенерированными комнатами. 163 000 предметов, почти 300 часовВ парных выборках размер данных ограничен только вычислительной мощностью.
В документе также упоминается, что для создания 50 000 образцов одного только навыка SIT (сидеть) потребовалось 250 графических процессоров H100 и 9 часов; генерация всех 1178 комнат заняла около 300 графических процессоров и 26 часов.
Разнообразие помещений тоже играет роль. Исследовательская группа сохранила количество данных о действиях без изменений и лишь скорректировала количество тренировочных сцен. В 100 невидимых смоделированных комнатах вероятность успешного сидения на стуле увеличилась с 43%, когда для тренировок использовалась только одна комната, до 81%, когда использовалось 100 комнат. Если добавить еще 1000 сцен, результат вырос до 84%.
Экосистема роботов Apple работает на собственных чипах
Автономия HALO достигается за счет сотрудничества трехуровневой структуры.Все работает на теле робота, без подключения к Интернету, без дистанционного управления, без необходимости внешнего захвата движения.
- Оркестратор (ок. 0,5 Гц): модель визуального языка (по умолчанию Qwen3.6-35B-A3B, работающая локально) смотрит на экран каждые две секунды и может разбивать свободные инструкции, такие как «помогите мне подтолкнуть коробку к столу», на последовательности подзадач;
- Генератор движения (3 Гц): замороженный кодер Qwen3.5-2B VLM плюс декодер диффузионного трансформатора, обученный с нуля, генерирует план движения всего тела в течение следующих 5 секунд на основе текущего изображения вида от первого лица и подзадач, то есть 29 углов суставов тела робота плюс положение таза;
- Трекер движения (50 Гц): Сочетает глубинное зрение и проприоцепцию для реализации планов движения в настоящие совместные команды. Он прошел трехэтапное обучение «подготовка привилегированных экспертов → дистилляция с участием нескольких преподавателей → точная настройка обучения с подкреплением с множеством критиков» и является самым низким уровнем для решения «физических проблем».
В общем, два верхних уровня решают «смысловую» проблему, т. е. к какому креслу относится инструкция; нижний слой решает задачу, как добиться того, чтобы попа плотно приземлилась на поверхность стула, не теряя при этом равновесия.
Интересной частью этой схемы является сочетание программного и аппаратного обеспечения. Он использует корпус Yushu Unitree G1, Mac mini M4 Pro (объединенная память 64 ГБ) сзади для мышления, а оригинальный робот Jetson Orin NX отвечает за управление в реальном времени с частотой 50 Гц. На голове установлена широкоугольная камера 120°, а все тело беспроводное, без кабелей и внешнего захвата движения.
Мозг робота Apple, Mac mini M4 Pro, оснащен моделью с открытым исходным кодом от Alibaba. Конечно, оркестратор также оставляет за собой возможность вызвать новейшую большую модель облака и полностью полагается на локальную модель в автономном режиме.
Mac mini получает питание непосредственно от внутренней шины питания робота (Yushu G1), без необходимости использования отдельной батареи или адаптера питания.
Когда настоящая машина работает, Mac mini на задней панели определит, о каком кресле говорит человек и что делать в первую очередь. Модель действия берет на себя текущий шаг и генерирует движения всего тела в течение следующих 5 секунд на основе видеозаписи с камеры, обновляющейся примерно 3 раза в секунду.
Беда в том, что пока робот ждет нового плана, он, возможно, уже поднял одну ногу. Если следовать новому плану и изменить постановку ног, движение будет внезапным.
HALO использует асинхронные рассуждения + ограничения префикса времени обучения для генератора движения. При создании нового плана он сохранит действия в полсекунды, которые были определены в старом плане, и пересчитает только следующие 4,5 секунды. Таким образом, робот может продолжать идти, а новые планы могут следовать за уже начатыми действиями.
Далее, чип Jetson, поставляемый с G1, объединяет направленную вниз камеру глубины и статус тела, чтобы обновлять целевое положение 50 раз в секунду для 29 суставов. Предложение «сесть» в плане верхнего уровня теперь превратилось в серию действий в реальности, в том числе, насколько согнуть колени и как стабилизировать туловище. Если в тесте с имитацией стула убрать этот уровень глубины, вероятность успеха упадет с 84% до 74%.
Большая часть предыдущих подобных работ тестировалась в комнатах, которые были заранее просканированы, тогда как среда оценки HALO была 6 реальных домов, которые никогда не появлялись на тренинге и никогда не сканировались и не наносились на карту。
В этих условиях робот выполнял шесть задач: садился, шел к назначенному объекту, боком через полуоткрытую дверь, приседал/ползал под столом и толкал коробки. Средняя вероятность успеха 360 физических экспериментов составила 91%, что точно соответствует 91% в моделировании.
Когда навыки объединяются в комбинированные задачи (например, «тренировка по столу → подойти к коробке → толкнуть коробку»), вероятность успеха падает примерно до 70%. Причина неудачи очень интересна: в конце предыдущего действия робот смотрел не в том направлении, следующая цель вообще не находилась в поле зрения, а робот был «сбит с пути» другими объектами. Но решение также простое. В документе упоминается, что добавление простого режима восстановления «поворот кругами, чтобы найти цель» может облегчить проблему.
Еще более впечатляющим является то, что в контролируемых экспериментах, когда количество обучающих сцен увеличивалось с 1 до 100, вероятность успеха робота взлетела с 43% до 81%; а затем увеличилось до 1000, достигнув 84%.
Это не первый шаг Apple
Хотя внедрение искусственного интеллекта Apple много раз откладывалось, просматривая публичные документы Apple за последние два года, структура воплощенного интеллекта постепенно стала яснее:
- Ноябрь 2024, БРОНЯ(Сотрудничество с CMU): покрытие рук Fourier GR1 40 недорогими радарами ToF, такими как кожа, решение проблемы окклюзии гуманоидных роботов, которые не могут видеть свои собственные руки, и создание первого перспективного маршрута воздушного восприятия;
- Январь 2025, ЭЛЕГНТ: робот Pixar с настольной лампой, который обновляет экран, исследует дизайн движения «функция + выражение», позволяя роботу кивать, приближаться и использовать свет, чтобы направлять наше внимание. Это также взгляд Apple на потребительских роботов;
- Май 2025 г., EgoDex и PH2D.: Vision Pro использовалась для сбора 829 часов данных о ловкости от первого лица, а человек-тренер с гарнитурой непосредственно обучал робота-гуманоида.
HALO выглядит как краткое завершение этой линейки. По восприятию он наследует философию перспективы от первого лица. Сцена нацелена на семью, изображенную в ELEGNT. На этот раз Apple отказалась от сбора данных человеком и сделала ставку на моделирование.
Конечно, HALO еще предстоит пройти долгий путь, прежде чем он действительно сможет проникнуть в тысячи домохозяйств.
Теперь он может сидеть на стуле, ползать под столом и толкать коробки, но ему еще предстоит освоить множество навыков, прежде чем он сможет навести порядок в грязной спальне или достать бутылку напитка из холодильника. Даже с добавлением каждого нового навыка исследователям по-прежнему приходится вручную создавать сигналы движения и ключевые кадры.
Однако HALO, по крайней мере, доказывает одно:Гуманоидные роботы, обучающиеся взаимодействовать с реальным миром, могут иметь более простой путь к масштабированию。
Раньше, если вы хотели, чтобы робот накопил 300 часов опыта, кто-то должен был практиковаться и записывать этот опыт вместе с вами. Сегодня исследователи могут использовать сотни графических процессоров для создания такого же объема обучающих данных всего за день, а затем передать этот опыт роботу, который никогда не ступал в реальный дом.
Что еще более интересно, на этот раз у Apple даже нет собственного тела робота. G1 Юшу, Qianwen от Alibaba, Jetson от Nvidia и Mac mini образуют систему, которая может воспринимать и действовать автономно.
Когда обучение роботов начнет все больше полагаться на вычислительные мощности, конкуренция в индустрии гуманоидных роботов в будущем также может распространиться от того, чье тело более гибкое, до того, кто сможет заставить робота накапливать опыт быстрее и дешевле.
# Добро пожаловать на официальную общедоступную учетную запись WeChat aifaner: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
