Claude Fable 5.2가 출시된 같은 날인 11월 10일 Ant Lingbo Technology는 기본 촉각 모델 LingBot-Touch를 오픈 소스로 공개했습니다. 디지털 세계를 위한 일반 대형 모델과 폐쇄 루프 물리적 운영을 위한 구현된 기본 모델이 같은 날 대중에게 공개되었습니다.

이 두 가지 기술 경로 사이의 관계는 구현된 지능 산업에서 현재 논의의 초점입니다. Ant Lingbo의 관점에서 일반 대형 모델과 구현된 기본 모델은 1+1>2 시너지 관계에 더 가깝습니다. 전자는 작업과 환경에 대한 이해와 추론을 향상시키고, 후자는 물리적 인식과 폐쇄 루프 작동 기능을 보완합니다. 두 가지가 서로 손을 잡을 때에만 구체화된 산업의 성숙도를 공동으로 가속화할 수 있습니다.

오픈 소스 LingBot-Touch는 거의 5,000시간에 달하는 실제 촉각 데이터 사전 훈련을 기반으로 하며 자기 촉각, 시각 촉각 및 압저항의 세 가지 주요 감지 원리를 다루고 있습니다. 이는 서로 다른 손재주와 행동 모델이 사용할 수 있도록 서로 다른 신호를 동일한 촉각 표현 세트로 변환할 수 있어 로봇이 "명확하게 보고 명확하게 생각할 수 있도록" 하는 동시에 정밀한 작업에 필요한 촉각 인식을 더욱 보완할 수 있습니다.

이전에 Ant Lingbo의 보편적 두뇌는 고정밀 공간 인식, 매우 역동적인 환경 상호 작용 및 일반화 가능한 민첩한 작업을 다루었습니다. 이번에는 LingBot-Touch가 LingBot-VLA에 연결되어 감지 기능을 "손끝"까지 확장하여 로봇을 "더 민감하게" 만들고 기본 보편적 두뇌의 손과 눈의 조정 능력이 더욱 향상되었습니다.

26번의 실제 머신 테스트, 미션 성공률 14~26%포인트 증가

범용 대형 모델이 계속 발전함에 따라 복잡한 작업과 작업 단계에 대한 이유를 이해하는 로봇의 능력이 향상되고 있습니다. 하지만 실제 물리적 세계에서는 로봇이 동작을 수행할 때마다 사물과 환경의 변화를 감지하고 다음 동작을 수정해야 합니다. 많은 섬세한 작업에서 로봇은 물체가 어디에 있는지 명확하게 볼 수 있고 올바른 위치로 손을 뻗을 수 있지만 작업을 성공적으로 완료하지 못할 수도 있습니다. 손가락이 물체에 닿은 후에는 힘이 적절한지, 물체가 미끄러지는지 판단하기 어렵습니다. 시각만으로는 판단하기 어려우며 그 자리를 채우려면 터치가 필요합니다.

손으로 병뚜껑을 능숙하게 조이는 경우를 예로 들면, 깊이 정보는 손가락이 병뚜껑을 정렬하는 데 도움이 될 수 있습니다. 돌리기 시작한 후 병 뚜껑이 느슨해지거나 손가락 끝이 뚜껑 벽을 따라 미끄러질 수 있습니다. 두 상황은 그림에서 유사하지만 다른 움직임 조정이 필요합니다. 손가락 끝의 접촉 위치, 힘의 크기 및 그 변화는 손가락이나 물체에 의해 가려지는 경우가 많아 시야 확보가 어렵지만 동작 모델을 판단하는 데 중요한 기초가 됩니다.

실제 작업에서 촉각 표현의 도움을 검증하기 위해 Ant Lingbo는 책 페이지 넘기기, 병 뚜껑 비틀기, 마작 타일 식별과 같은 미세한 작업을 다루는 두 개의 능숙한 손인 Sharpa Wave와 XHand1에 대해 26개의 실제 기계 테스트를 수행했습니다. LingBot-Touch에 액세스한 후 LingBot-VLA, π0.5, Diffusion Policy 및 T-Rex의 4가지 동작 모델의 평균 작업 성공률은 터치가 없는 경우에 비해 약 14~26% 포인트 증가합니다. 병뚜껑을 비틀기 위해 Sharpa Wave를 제어하는 ​​T-Rex를 예로 들면, 촉각을 사용하지 않고 작업 성공률은 56.25%, 센서의 원래 신호를 직접 입력하는 경우는 62.5%입니다. LingBot-Touch 촉각 표현에 연결한 후 성공률은 90%에 이릅니다.

(설명: LingBot-Touch에 접속한 후 능숙한 두 손으로 4가지 액션 모델의 성공률이 최고 수준에 도달했습니다.)

촉각 표현을 통합하고 하드웨어, 모델, 작업 전반에 걸쳐 "느낌"을 재사용합니다.

로봇에 촉각 센서를 장착한다고 해서 로봇의 촉각을 잘 활용할 수 있는 것은 아닙니다. 현재 상업용 촉각 센서는 전체적으로 아직 초기 개발 단계에 있습니다. 광촉각, 자기촉각, 압저항과 같은 주류 경로에는 고유한 장점과 한계가 있습니다. 다양한 비용 및 사용 시나리오의 경우 여러 기술 경로가 오랫동안 공존할 수 있습니다. 더욱 문제가 되는 점은 이러한 센서에 의해 수집된 데이터를 직접적으로 일반화하기가 어렵다는 것입니다. 동일한 접촉이 서로 다른 감지 원리 및 접촉 레이아웃에 따라 서로 다른 원본 신호를 형성합니다. 모델이 그 중 하나만 해석하는 방법을 학습하면 센서나 능숙한 손을 교체한 후 기존 데이터와 촉각 경험을 재사용하기 어려울 수 있으므로 재획득, 훈련 및 적응이 필요할 수 있습니다.

따라서 햅틱의 대규모 구현의 핵심은 특정 센서의 물리적 신호에 대한 의존성에서 촉각 이해를 자유롭게 하여 다양한 소스의 데이터를 훈련에 공동으로 사용할 수 있고 축적된 촉각 기능을 센서, 능숙한 손, 모델 및 작업 전반에 걸쳐 재사용할 수 있도록 하는 것입니다.

이를 위해 LingBot-Touch는 감지 원리에 따라 코딩 입구를 설정하고 먼저 서로 다른 원본 신호를 처리한 다음 서로 다른 레이아웃의 접점을 통합된 손가락 끝 좌표 공간에 매핑합니다. 공유 모델은 접촉 위치, 힘 및 시간에 따른 변화를 학습하고 통합된 촉각 토큰을 출력합니다. 결과적으로 촉각 장갑과 원격 조작이 가능한 손을 착용한 사람들이 수집한 데이터를 함께 훈련에 사용할 수 있으며, 다양한 동작 모델이 훈련된 모델을 직접 호출하여 접촉 특징을 추출할 수도 있습니다. 또한 이 아키텍처는 향후 새로운 촉각 센서에 액세스할 수 있도록 확장할 여지를 남겨둡니다.

(캡션: LingBot-Touch는 다양한 동작 모델에서 사용할 수 있도록 자기 촉각, 시각 촉각 및 압저항 촉각 신호를 통합 촉각 토큰으로 인코딩합니다.)

XHand1에서 팀은 하드웨어 전반에 걸쳐 촉각 기능의 재사용을 추가로 확인했습니다. XHand1에서 사용하는 자기 촉각 센서 모델은 사전 훈련 데이터에 없으며 모델에서 학습한 자기 촉각 경험은 모두 장갑을 낀 사람이 수집한 데이터에서 나온 것입니다. 이 능숙한 손으로 전환한 후 팀은 LingBot-Touch 매개변수를 변경하지 않고 그대로 유지하고 XHand의 작동 시연 훈련 동작 모델만 사용하여 마이그레이션을 완료했습니다. 동시에 LingBot-Touch는 이 실제 기계 테스트에서 네 가지 다른 동작 모델에 연결되며 Ant Lingbo 자체 개발 모델에 구속되지 않습니다. 특정 하드웨어나 특정 전략을 위한 전용 모듈이 아닌 촉각 센서와 동작 모델 간의 보편적인 인식 기능을 제공합니다. 업계의 경우 센서 및 손재주 제조업체는 비용 및 작업 요구 사항에 따라 하드웨어를 선택할 수 있으며 전체 기계 팀도 자체 실행 전략을 유지할 수 있으므로 하드웨어와 알고리즘 조합이 교체될 때마다 촉각 기능을 재개발하는 데 반복되는 투자를 줄일 수 있습니다.

인식 기능과 최종 컴퓨팅 성능을 모두 고려하기 위해 Ant Lingbo는 두 가지 기능을 갖춘 모델을 제공합니다. 26개의 실제 기계 테스트는 모두 약 530만 개의 매개변수가 있는 경량 버전의 LingBot-Touch-Tiny를 사용하여 완료되었습니다. LingBot-VLA, π0.5 및 T-Rex에 액세스한 후 모델 매개변수 수는 약 0.13%에서 0.16%까지만 증가했습니다. 더 큰 용량의 LingBot-Touch-Small 이는 지각 테스트에서 추가 개선 가능성을 보여줍니다. 사전 훈련 데이터가 거의 5,000시간으로 증가해도 모델은 여전히 ​​새로운 데이터의 이점을 누릴 수 있으며, 이는 촉각 사전 훈련의 지속적인 확장과 개선의 여지가 있음을 나타냅니다.

구현된 고유성을 고수하고 일반 대형 모델과의 조화를 도모합니다.

Fable 5.2는 LingBot-Touch와 같은 날 공개되었으며, 이는 어느 정도 현재 구현된 지능 기술 경로 진화의 축소판입니다. Ant Lingbo의 CEO인 Zhu Xing은 일반 대형 모델의 가속화된 진화가 로봇의 "두뇌" 경로에 미치는 영향에 대해 "Claude Fable 5.2 및 GPT-6 Astra를 통해 디지털 세계의 대형 언어 모델의 발전으로 로봇은 실제로 복잡한 작업 추론 및 물리적 작업을 더 잘 수행할 수 있게 되었습니다. 우리는 이에 대해 매우 우려하고 적극적으로 흡수하고 있습니다. 그러나 업계 관행은 운영의 폐쇄 루프, 즉 어려운 너트를 실제로 돌파해야 한다는 것을 말해줍니다. 물리적 조작 일반화는 여전히 우회할 수 없으며, 여전히 구현된 기본 모델 자체의 획기적인 발전에 달려 있습니다."

그의 생각에 일반 대형 모델과 구체화된 기본 모델은 1+1>2의 시너지 관계에 더 가깝습니다. 전자는 작업과 환경에 대한 이해와 추론을 향상시키고, 후자는 물리적 인식과 폐쇄 루프 작동 능력을 향상시킵니다. 두 사람은 서로를 돌파하고 서로를 촉진하여 구현 지능 산업의 성숙을 공동으로 가속화합니다.

"모달 입력의 품질은 액션 출력의 품질을 크게 결정합니다. 즉, 좋은 입력이 없으면 좋은 출력도 없습니다." Zhu Xing은 Ant Lingbo가 구현된 기본 경로를 고수하고, 물리적 작동의 일반화를 위한 새로운 상한선을 계속 탐색하고, 로봇 산업을 위한 교차 구성 범용 두뇌를 만들고, 통합 모델에서 시각, 깊이, 촉각, 심지어 온도와 같은 더 많은 물리적 양상의 정렬을 촉진하고, 상용화를 촉진하는 동시에 커뮤니티에 소스를 계속 공개할 것이라고 말했습니다.

현재 LingBot-Touch의 기술 보고서, 모델 및 코드는 오픈 소스이며 개발자는 Hugging Face, GitHub 및 Magic Community에서 액세스하고 다운로드할 수 있습니다.

Leifeng.com Leifeng.com (공개 계정: Leifeng.com)

편집하다

이메일 재전송 이메일 수정