El 10 de noviembre, el mismo día en que se lanzó Claude Fable 5.2, Ant Lingbo Technology abrió el modelo táctil básico LingBot-Touch. El mismo día salieron a la luz pública un gran modelo general para el mundo digital y un modelo básico incorporado para operaciones físicas de circuito cerrado.

La relación entre estas dos rutas técnicas es el foco de las discusiones actuales en la industria de la inteligencia incorporada. En opinión de Ant Lingbo, el modelo general grande y el modelo básico incorporado están más cerca de una relación sinérgica 1+1>2: el primero mejora la comprensión y el razonamiento de las tareas y entornos, y el segundo complementa la percepción física y las capacidades operativas de circuito cerrado. Sólo cuando los dos vayan de la mano podrán acelerar conjuntamente la madurez de la industria incorporada.

El LingBot-Touch de código abierto se basa en casi 5000 horas de preentrenamiento de datos táctiles reales y cubre tres principios de detección convencionales: táctil magnético, táctil visual y piezoresistivo. Puede convertir diferentes señales en el mismo conjunto de representaciones táctiles para que las utilicen diferentes manos diestras y modelos de acción, lo que permite al robot "ver y pensar con claridad" y, al mismo tiempo, complementar aún más la percepción táctil necesaria para las operaciones precisas.

Anteriormente, el cerebro universal de Ant Lingbo cubría la percepción espacial de alta precisión, la interacción ambiental altamente dinámica y las operaciones diestras generalizables. Esta vez, LingBot-Touch se ha conectado a LingBot-VLA, extendiendo las capacidades de detección a las "puntas de los dedos", haciendo que el robot "toque más sensible" y se ha mejorado aún más la capacidad de coordinación ojo-mano del cerebro universal nativo.

26 pruebas de máquinas reales, la tasa de éxito de la misión aumentó entre 14 y 26 puntos porcentuales

A medida que continúan avanzando los grandes modelos de propósito general, aumenta la capacidad de los robots para comprender tareas complejas y razonar sobre los pasos de operación. Pero en el mundo físico real, cada vez que un robot realiza una acción, debe detectar cambios en los objetos y el entorno y luego corregir la siguiente acción. En muchas operaciones delicadas, el robot puede ver claramente dónde está el objeto y puede alcanzar la posición correcta con la mano, pero es posible que no pueda completar la tarea con éxito. Después de que el dedo toca el objeto, es difícil juzgar si la fuerza es adecuada y si el objeto se desliza. Es difícil juzgar sólo con la vista y requiere el tacto para ocupar el puesto.

Tomando como ejemplo el hábil ajuste manual de la tapa de una botella, la información de profundidad puede ayudar al dedo a alinear la tapa de la botella; Después de comenzar a girar, es posible que la tapa de la botella se haya aflojado o que la yema del dedo se esté deslizando a lo largo de la pared de la tapa. Las dos situaciones son similares en la imagen, pero requieren diferentes ajustes de movimiento. La posición de contacto de las yemas de los dedos, la magnitud de la fuerza y ​​sus cambios a menudo quedan oscurecidos por los dedos y los objetos, lo que dificulta la visión, pero son una base importante para juzgar los modelos de acción.

Para verificar la ayuda de la representación táctil en operaciones reales, Ant Lingbo realizó 26 pruebas de máquinas reales en dos manos diestras, Sharpa Wave y XHand1, que abarcaron operaciones finas como pasar páginas de libros, torcer tapas de botellas e identificar fichas de mahjong. Después de acceder a LingBot-Touch, la tasa promedio de éxito de las tareas de los cuatro modelos de acción de LingBot-VLA, π0.5, Diffusion Policy y T-Rex aumenta entre 14 y 26 puntos porcentuales en comparación con la situación sin contacto. Tomando como ejemplo al T-Rex para controlar Sharpa Wave para girar tapas de botellas, la tasa de éxito de la tarea es del 56,25% sin utilizar la sensación táctil, y la señal original del sensor se ingresa directamente al 62,5%. Después de conectarse a la representación táctil LingBot-Touch, la tasa de éxito alcanza el 90%.

(Subtítulo: Después de acceder a LingBot-Touch, las tasas de éxito de los cuatro modelos de acción en las dos manos diestras han alcanzado sus niveles más altos)

Unifique la representación táctil y reutilice la "sensación" en hardware, modelos y tareas.

Instalar un sensor táctil en un robot no significa que pueda hacer un buen uso de su sentido del tacto. En la actualidad, los sensores táctiles comerciales se encuentran todavía en una fase temprana de desarrollo en su conjunto. Las rutas convencionales, como la optotáctil, la táctil magnética y la piezoresistiva, tienen sus propias fortalezas y limitaciones. Para diferentes costos y escenarios de uso, pueden coexistir múltiples rutas técnicas durante mucho tiempo. Lo que es aún más problemático es que los datos recopilados por estos sensores son difíciles de generalizar directamente: el mismo contacto formará diferentes señales originales bajo diferentes principios de detección y diseños de contacto. Una vez que el modelo solo aprende a interpretar uno de ellos, después de reemplazar el sensor o la mano diestra, los datos existentes y la experiencia táctil pueden ser difíciles de reutilizar, lo que requiere readquisición, entrenamiento y adaptación.

Por lo tanto, la clave para la implementación a gran escala de la háptica es liberar la comprensión táctil de la dependencia de señales físicas de sensores específicos, de modo que los datos de diferentes fuentes puedan usarse conjuntamente para el entrenamiento y las capacidades táctiles acumuladas puedan reutilizarse en sensores, manos diestras, modelos y tareas.

Con este fin, LingBot-Touch configura entradas de codificación de acuerdo con el principio de detección, primero procesa diferentes señales originales y luego asigna los contactos de diferentes diseños a un espacio de coordenadas unificado con la punta del dedo. El modelo compartido aprende la posición de contacto, la fuerza y ​​sus cambios a lo largo del tiempo, y genera una ficha táctil unificada. Como resultado, los datos recopilados por personas que usan guantes táctiles y manos diestras teleoperadas se pueden usar para entrenar juntos, y diferentes modelos de acción también pueden llamar directamente a modelos entrenados para extraer características de contacto. Esta arquitectura también deja margen de expansión en el futuro para acceder a nuevos sensores táctiles.

(Subtítulo: LingBot-Touch codifica señales táctiles magnéticas, táctiles visuales y táctiles piezoresistivas en una ficha táctil unificada para uso de diferentes modelos de acción)

En XHand1, el equipo verificó aún más la reutilización de capacidades táctiles en todo el hardware: el modelo de sensor táctil magnético utilizado por XHand1 no está en los datos previos al entrenamiento, y la experiencia táctil magnética aprendida por el modelo proviene de datos recopilados por personas que usan guantes. Después de cambiar a esta diestra mano, el equipo mantuvo los parámetros de LingBot-Touch sin cambios y solo utilizó el modelo de acción de entrenamiento de demostración de operación de XHand para completar la migración. Al mismo tiempo, LingBot-Touch está conectado a cuatro modelos de acción diferentes en esta prueba de máquina real y no está vinculado al modelo de desarrollo propio de Ant Lingbo. Proporciona una capacidad de percepción universal entre el sensor táctil y el modelo de acción, en lugar de un módulo dedicado para un determinado hardware o una determinada estrategia. Para la industria, los fabricantes de sensores y manos diestras pueden seleccionar hardware en función del costo y los requisitos de la tarea, y todo el equipo de la máquina también puede conservar su propia estrategia de acción, reduciendo así la inversión repetida en el desarrollo de capacidades táctiles cada vez que se reemplaza una combinación de hardware y algoritmo.

Para tener en cuenta tanto las capacidades de percepción como la potencia informática final, Ant Lingbo proporciona modelos con dos capacidades: las 26 pruebas de máquinas reales se completaron utilizando la versión liviana de LingBot-Touch-Tiny con aproximadamente 5,3 millones de parámetros. Después de acceder a LingBot-VLA, π0.5 y T-Rex, el número de parámetros del modelo solo aumentó aproximadamente entre un 0,13% y un 0,16%; el LingBot-Touch-Small de mayor capacidad muestra el potencial de una mayor mejora en la prueba de percepción: cuando los datos de preentrenamiento aumentan a casi 5000 horas, el modelo aún puede beneficiarse de los nuevos datos, lo que indica que hay espacio para una expansión y mejora continuas en el preentrenamiento táctil.

Adherirse a la natividad encarnada y avanzar en coordinación con modelos grandes generales.

Fable 5.2 se presentó el mismo día que LingBot-Touch, que hasta cierto punto es un microcosmos de la evolución de la ruta actual de la tecnología de inteligencia incorporada. Con respecto al impacto de la evolución acelerada de los grandes modelos generales en la ruta del "cerebro" del robot, Zhu Xing, director ejecutivo de Ant Lingbo, dijo: "Con Claude Fable 5.2 y GPT-6 Astra, el avance del gran modelo de lenguaje del mundo digital ha hecho que los robots sean más capaces de realizar razonamientos de tareas complejas y operaciones físicas. Estamos muy preocupados por esto y lo estamos absorbiendo activamente. Sin embargo, la práctica en la industria nos dice que para romper verdaderamente el circuito cerrado de operaciones, la tuerca dura de la física La generalización de la operación todavía no se puede pasar por alto y todavía depende del avance del modelo básico incorporado ".

En su opinión, el modelo general grande y el modelo básico incorporado están más cerca de la relación sinérgica de 1+1>2: el primero mejora la comprensión y el razonamiento de tareas y entornos, y el segundo mejora la percepción física y las capacidades operativas de circuito cerrado. Los dos se superan y promueven mutuamente, acelerando conjuntamente la madurez de la industria de la inteligencia encarnada.

"La calidad del insumo modal determina en gran medida la calidad del resultado de la acción. En otras palabras, sin un buen insumo, no habrá un buen resultado". Zhu Xing dijo que Ant Lingbo se adherirá a la ruta nativa incorporada, continuará explorando nuevos límites superiores para la generalización de las operaciones físicas, creará un cerebro universal de configuración cruzada para la industria robótica, promoverá la alineación de más modalidades físicas como la visión, la profundidad, el tacto e incluso la temperatura en un modelo unificado, y continuará abriendo el código fuente a la comunidad mientras promueve la comercialización.

Actualmente, los informes técnicos, los modelos y el código de LingBot-Touch son de código abierto y los desarrolladores pueden acceder a ellos y descargarlos en Hugging Face, GitHub y Magic Community.

Leifeng.com Leifeng.com (cuenta pública: Leifeng.com)

editar

Reenviar correo electrónico Modificar correo electrónico