Em 10 de novembro, mesmo dia em que Claude Fable 5.2 foi lançado, a Ant Lingbo Technology abriu o código-fonte do modelo tátil básico LingBot-Touch. Um grande modelo geral para o mundo digital e um modelo básico incorporado para operações físicas de circuito fechado foram tornados públicos no mesmo dia.
A relação entre estas duas rotas técnicas é o foco das discussões atuais na indústria da inteligência incorporada. Na opinião de Ant Lingbo, o grande modelo geral e o modelo básico incorporado estão mais próximos de uma relação sinérgica 1+1>2: o primeiro melhora a compreensão e o raciocínio de tarefas e ambientes, e o último complementa a percepção física e as capacidades de operação em circuito fechado. Somente quando os dois andam de mãos dadas é que poderão acelerar conjuntamente a maturidade da indústria incorporada.
O LingBot-Touch de código aberto é baseado em quase 5.000 horas de pré-treinamento de dados táteis reais e cobre três princípios de detecção convencionais: tátil magnético, tátil visual e piezoresistivo. Ele pode converter diferentes sinais no mesmo conjunto de representações táteis para uso por diferentes mãos hábeis e modelos de ação, permitindo ao robô “ver claramente e pensar com clareza”, ao mesmo tempo que complementa ainda mais a percepção tátil necessária para operações finas.
Anteriormente, o cérebro universal de Ant Lingbo cobria percepção espacial de alta precisão, interação ambiental altamente dinâmica e operações hábeis generalizáveis. Desta vez, o LingBot-Touch foi conectado ao LingBot-VLA, estendendo as capacidades de detecção às "pontas dos dedos", tornando o robô "mais sensível ao toque", e a capacidade de coordenação olho-mão do cérebro universal nativo foi melhorada ainda mais.
26 testes de máquinas reais, taxa de sucesso da missão aumentada de 14 a 26 pontos percentuais
À medida que grandes modelos de uso geral continuam a avançar, a capacidade dos robôs de compreender tarefas complexas e raciocinar sobre as etapas da operação está aumentando. Mas no mundo físico real, sempre que um robô executa uma ação, ele deve sentir mudanças nos objetos e no ambiente e depois corrigir a próxima ação. Em muitas operações delicadas, o robô pode ver claramente onde o objeto está e pode colocar a mão na posição correta, mas pode não ser capaz de concluir a tarefa com êxito. Depois que o dedo toca o objeto, é difícil julgar se a força é apropriada e se o objeto está escorregando. É difícil julgar apenas pela visão e requer toque para preencher a posição.
Tomando como exemplo o aperto manual de uma tampa de garrafa, as informações de profundidade podem ajudar o dedo a alinhar a tampa do frasco; depois de começar a girar, a tampa do frasco pode ter se soltado ou a ponta do dedo pode estar escorregando ao longo da parede da tampa. As duas situações são semelhantes na imagem, mas exigem ajustes de movimento diferentes. A posição de contato das pontas dos dedos, a magnitude da força e suas alterações são muitas vezes obscurecidas pelos dedos e objetos, dificultando a obtenção da visão, mas são bases importantes para o julgamento dos modelos de ação.
Para verificar a ajuda da representação tátil em operações reais, Ant Lingbo conduziu 26 testes de máquinas reais em duas mãos hábeis, Sharpa Wave e XHand1, cobrindo operações finas, como virar páginas de livros, torcer tampas de garrafas e identificar peças de mahjong. Depois de acessar o LingBot-Touch, a taxa média de sucesso da tarefa dos quatro modelos de ação do LingBot-VLA, π0,5, Diffusion Policy e T-Rex aumentou cerca de 14 a 26 pontos percentuais em comparação com aquele sem toque. Tomando como exemplo o T-Rex para controlar Sharpa Wave para torcer tampas de garrafas, a taxa de sucesso da tarefa é de 56,25% sem usar sensação tátil, e o sinal original do sensor é inserido diretamente em 62,5%. Após conectar-se à representação tátil do LingBot-Touch, a taxa de sucesso chega a 90%.
(Legenda: Depois de acessar o LingBot-Touch, as taxas de sucesso dos quatro modelos de ação nas duas mãos hábeis atingiram seus níveis mais altos)
Unifique a representação tátil e reutilize a "sensação" em hardware, modelos e tarefas
Instalar um sensor tátil em um robô não significa que ele possa fazer bom uso do sentido do tato. Atualmente, os sensores táteis comerciais ainda estão em um estágio inicial de desenvolvimento como um todo. As rotas convencionais, como optotátil, tátil magnética e piezoresistiva, têm seus próprios pontos fortes e limitações. Para diferentes custos e cenários de utilização, múltiplas rotas técnicas podem coexistir por um longo período. O que é ainda mais problemático é que os dados coletados por esses sensores são difíceis de generalizar diretamente: o mesmo contato formará diferentes sinais originais sob diferentes princípios de detecção e layouts de contato. Uma vez que o modelo aprende a interpretar apenas um deles, após a substituição do sensor ou da mão hábil, os dados existentes e a experiência tátil podem ser difíceis de reutilizar, exigindo reaquisição, treinamento e adaptação.
Portanto, a chave para a implementação em larga escala da sensação ao toque é libertar a compreensão tátil da dependência de sinais físicos de sensores específicos, de modo que os dados de diferentes fontes possam ser usados em conjunto para treinamento, e as capacidades táteis acumuladas possam ser reutilizadas em sensores, mãos hábeis, modelos e tarefas.
Para este fim, o LingBot-Touch configura entradas de codificação de acordo com o princípio de detecção, primeiro processa diferentes sinais originais e, em seguida, mapeia os contatos de diferentes layouts para um espaço unificado de coordenadas na ponta do dedo. O modelo compartilhado aprende a posição de contato, a força e suas mudanças ao longo do tempo e gera um token tátil unificado. Como resultado, os dados coletados por pessoas usando luvas táteis e mãos hábeis teleoperadas podem ser usados para treinamento conjunto, e diferentes modelos de ação também podem chamar diretamente modelos treinados para extrair características de contato. Essa arquitetura também deixa espaço para expansão no futuro para acesso a novos sensores táteis.
(Ilustração: LingBot-Touch codifica sinais táteis magnéticos, táteis visuais e táteis piezoresistivos em um token tátil unificado para uso por diferentes modelos de ação)
No XHand1, a equipe verificou ainda a reutilização de recursos táteis em hardware: o modelo de sensor tátil magnético usado pelo XHand1 não está nos dados de pré-treinamento, e a experiência tátil magnética aprendida pelo modelo vem de dados coletados por pessoas usando luvas. Depois de mudar para esta mão hábil, a equipe manteve os parâmetros do LingBot-Touch inalterados e usou apenas o modelo de ação de treinamento de demonstração de operação do XHand para concluir a migração. Ao mesmo tempo, o LingBot-Touch está conectado a quatro modelos de ação diferentes neste teste de máquina real e não está vinculado ao modelo desenvolvido pelo próprio Ant Lingbo. Ele fornece uma capacidade de percepção universal entre o sensor tátil e o modelo de ação, em vez de um módulo dedicado para um determinado hardware ou uma determinada estratégia. Para a indústria, os fabricantes de sensores e de mãos hábeis podem selecionar hardware com base nos requisitos de custo e tarefa, e toda a equipe da máquina também pode manter sua própria estratégia de ação, reduzindo assim o investimento repetido no redesenvolvimento de capacidades táteis sempre que uma combinação de hardware e algoritmo é substituída.
Para levar em conta as capacidades de percepção e o poder de computação final, o Ant Lingbo fornece modelos com duas capacidades: Os 26 testes de máquinas reais foram todos concluídos usando a versão leve do LingBot-Touch-Tiny com aproximadamente 5,3 milhões de parâmetros. Depois de acessar LingBot-VLA, π0,5 e T-Rex, o número de parâmetros do modelo aumentou apenas aproximadamente 0,13% para 0,16%; o LingBot-Touch-Small de maior capacidade mostra o potencial para melhorias adicionais no teste de percepção - quando os dados de pré-treinamento aumentam para quase 5.000 horas, o modelo ainda pode se beneficiar dos novos dados, indicando que há espaço para expansão contínua e melhoria no pré-treinamento tátil.
Aderir à natividade incorporada e avançar em coordenação com grandes modelos gerais
O Fable 5.2 foi lançado no mesmo dia que o LingBot-Touch, que até certo ponto é um microcosmo da evolução da atual rota da tecnologia de inteligência incorporada. Em relação ao impacto da evolução acelerada de grandes modelos gerais na rota do “cérebro” do robô, Zhu Xing, CEO da Ant Lingbo, disse: “Com Claude Fable 5.2 e GPT-6 Astra O avanço do grande modelo de linguagem do mundo digital realmente tornou os robôs mais capazes de raciocínio de tarefas complexas e operações físicas. a generalização da operação ainda não pode ser contornada e ainda depende do avanço do próprio modelo básico incorporado.
Na sua opinião, o grande modelo geral e o modelo básico incorporado estão mais próximos da relação sinérgica de 1+1>2: o primeiro melhora a compreensão e o raciocínio de tarefas e ambientes, e o último melhora a percepção física e as capacidades de operação em circuito fechado. Os dois rompem-se e promovem-se mutuamente, acelerando conjuntamente a maturidade da indústria de inteligência incorporada.
"A qualidade dos insumos modais determina em grande parte a qualidade dos resultados da ação. Em outras palavras, sem bons insumos, não haverá bons resultados." Zhu Xing disse que Ant Lingbo aderirá à rota nativa incorporada, continuará a explorar novos limites superiores para a generalização das operações físicas, criará um cérebro universal de configuração cruzada para a indústria de robôs, promoverá o alinhamento de mais modalidades físicas, como visão, profundidade, toque e até mesmo temperatura em um modelo unificado, e continuará a abrir o código-fonte para a comunidade enquanto promove a comercialização.
Atualmente, os relatórios técnicos, modelos e códigos do LingBot-Touch são de código aberto e os desenvolvedores podem acessá-los e baixá-los no Hugging Face, GitHub e Magic Community.
Leifeng.com Leifeng.com (conta pública: Leifeng.com)
editar
Reenviar e-mail Modificar e-mail




