Le 10 novembre, le jour même de la sortie de Claude Fable 5.2, Ant Lingbo Technology a open source le modèle tactile de base LingBot-Touch. Un grand modèle général pour le monde numérique et un modèle de base incarné pour les opérations physiques en boucle fermée ont été rendus publics le même jour.

La relation entre ces deux voies techniques est au centre des discussions actuelles dans l’industrie de l’intelligence incorporée. Selon Ant Lingbo, le grand modèle général et le modèle de base incorporé sont plus proches d'une relation synergique 1+1>2 : le premier améliore la compréhension et le raisonnement des tâches et des environnements, et le second complète la perception physique et les capacités de fonctionnement en boucle fermée. Ce n’est que lorsque les deux vont de pair qu’ils pourront accélérer ensemble la maturité de l’industrie incorporée.

Le LingBot-Touch open source est basé sur près de 5 000 heures de pré-formation de données tactiles réelles et couvre trois principes de détection courants : tactile magnétique, tactile visuel et piézorésistif. Il peut convertir différents signaux en le même ensemble de représentations tactiles destinées à être utilisées par différentes mains adroites et modèles d'action, permettant au robot de « voir clairement et de penser clairement » tout en complétant davantage la perception tactile requise pour les opérations fines.

Auparavant, le cerveau universel d'Ant Lingbo couvrait la perception spatiale de haute précision, l'interaction environnementale hautement dynamique et les opérations adroites généralisables. Cette fois, LingBot-Touch a été connecté à LingBot-VLA, étendant les capacités de détection jusqu'au « bout des doigts », rendant le robot « plus sensible au toucher », et la capacité de coordination œil-main du cerveau universel natif a été encore améliorée.

26 tests de machines réelles, taux de réussite des missions augmenté de 14 à 26 points de pourcentage

À mesure que les grands modèles à usage général continuent de progresser, la capacité des robots à comprendre des tâches complexes et à raisonner sur les étapes de fonctionnement augmente. Mais dans le monde physique réel, chaque fois qu’un robot effectue une action, il doit détecter les changements dans les objets et l’environnement, puis corriger l’action suivante. Dans de nombreuses opérations délicates, le robot peut voir clairement où se trouve l'objet et peut placer sa main dans la bonne position, mais il peut ne pas être en mesure de mener à bien la tâche. Une fois que le doigt touche l'objet, il est difficile de juger si la force est appropriée et si l'objet glisse. Il est difficile de juger uniquement par la vision et nécessite du toucher pour occuper le poste.

En prenant comme exemple le serrage manuel habile d'un bouchon de bouteille, les informations de profondeur peuvent aider le doigt à aligner le bouchon de la bouteille ; après avoir commencé à tourner, le bouchon de la bouteille peut s'être desserré ou le bout du doigt peut glisser le long de la paroi du bouchon. Les deux situations sont similaires sur la photo, mais nécessitent des ajustements de mouvements différents. La position de contact du bout des doigts, l'ampleur de la force et ses modifications sont souvent masquées par les doigts et les objets, ce qui rend difficile l'obtention de la vision, mais elles constituent une base importante pour le jugement des modèles d'action.

Afin de vérifier l'utilité de la représentation tactile dans des opérations réelles, Ant Lingbo a effectué 26 tests réels sur deux mains adroites, Sharpa Wave et XHand1, couvrant des opérations fines telles que tourner les pages d'un livre, tordre les capsules de bouteilles et identifier les tuiles du mahjong. Après avoir accédé à LingBot-Touch, le taux de réussite moyen des tâches des quatre modèles d'action de LingBot-VLA, π0,5, Politique de diffusion et T-Rex est augmenté d'environ 14 à 26 points de pourcentage par rapport à celui sans contact. En prenant comme exemple T-Rex pour contrôler Sharpa Wave pour tordre les bouchons de bouteilles, le taux de réussite de la tâche est de 56,25 % sans utiliser la sensation tactile, et le signal d'origine du capteur est directement entré à 62,5 %. Après connexion à la représentation tactile LingBot-Touch, le taux de réussite atteint 90 %.

(Légende : Après avoir accédé à LingBot-Touch, les taux de réussite des quatre modèles d'action sur les deux mains adroites ont atteint leurs plus hauts niveaux)

Unifiez la représentation tactile et réutilisez la « sensation » sur le matériel, les modèles et les tâches

Installer un capteur tactile sur un robot ne signifie pas que celui-ci puisse faire bon usage de son sens du toucher. À l’heure actuelle, les capteurs tactiles commerciaux en sont encore à un stade précoce de développement. Les voies traditionnelles telles que les technologies opto-tactiles, magnétiques et piézorésistives ont leurs propres forces et limites. Pour différents scénarios de coûts et d’utilisation, plusieurs itinéraires techniques peuvent coexister pendant une longue période. Ce qui est encore plus gênant, c'est que les données collectées par ces capteurs sont difficiles à généraliser directement : le même contact formera différents signaux originaux selon différents principes de détection et configurations de contact. Une fois que le modèle apprend seulement à interpréter l’un d’entre eux, après avoir remplacé le capteur ou la main adroite, les données existantes et l’expérience tactile peuvent être difficiles à réutiliser, nécessitant une réacquisition, un entraînement et une adaptation.

Par conséquent, la clé de la mise en œuvre à grande échelle de l’haptique est de libérer la compréhension tactile de la dépendance aux signaux physiques provenant de capteurs spécifiques, afin que les données provenant de différentes sources puissent être utilisées conjointement pour la formation et que les capacités tactiles accumulées puissent être réutilisées à travers les capteurs, les mains adroites, les modèles et les tâches.

À cette fin, LingBot-Touch configure les entrées de codage selon le principe de détection, traite d'abord différents signaux originaux, puis mappe les contacts de différentes dispositions sur un espace de coordonnées unifié du bout des doigts. Le modèle partagé apprend la position du contact, la force et leurs changements au fil du temps, et génère un jeton tactile unifié. En conséquence, les données collectées par des personnes portant des gants tactiles et des mains adroites téléopérées peuvent être utilisées pour s'entraîner ensemble, et différents modèles d'action peuvent également appeler directement des modèles formés pour extraire les caractéristiques de contact. Cette architecture laisse également place à des extensions dans le futur pour accéder à de nouveaux capteurs tactiles.

(Légende : LingBot-Touch encode les signaux tactiles magnétiques, visuels et tactiles piézorésistifs dans un jeton tactile unifié destiné à être utilisé par différents modèles d'action)

Sur XHand1, l'équipe a en outre vérifié la réutilisation des capacités tactiles sur le matériel : le modèle de capteur tactile magnétique utilisé par XHand1 ne figure pas dans les données de pré-entraînement, et l'expérience tactile magnétique apprise par le modèle provient toutes de données collectées par des personnes portant des gants. Après être passée à cette main adroite, l'équipe a conservé les paramètres LingBot-Touch inchangés et a utilisé uniquement le modèle d'action de formation de démonstration opérationnelle de XHand pour terminer la migration. Dans le même temps, LingBot-Touch est connecté à quatre modèles d'action différents dans ce test de machine réel et n'est pas lié au modèle auto-développé par Ant Lingbo. Il offre une capacité de perception universelle entre le capteur tactile et le modèle d'action, plutôt qu'un module dédié à un certain matériel ou une certaine stratégie. Pour l'industrie, les fabricants de capteurs et de mains adroites peuvent sélectionner le matériel en fonction des exigences de coût et de tâche, et l'ensemble de l'équipe machine peut également conserver sa propre stratégie d'action, réduisant ainsi les investissements répétés dans le redéveloppement des capacités tactiles à chaque fois qu'une combinaison de matériel et d'algorithme est remplacée.

Afin de prendre en compte à la fois les capacités de perception et la puissance de calcul du côté final, Ant Lingbo propose des modèles avec deux capacités : Les 26 tests réels sur machine ont tous été réalisés à l'aide de la version allégée de LingBot-Touch-Tiny avec environ 5,3 millions de paramètres. Après avoir accédé à LingBot-VLA, π0,5 et T-Rex, le nombre de paramètres du modèle n'a augmenté que d'environ 0,13 % pour atteindre 0,16 % ; le LingBot-Touch-Small de plus grande capacité Il montre le potentiel d'amélioration supplémentaire du test de perception - lorsque les données de pré-entraînement atteignent près de 5 000 heures, le modèle peut toujours bénéficier des nouvelles données, indiquant qu'il existe une marge d'expansion et d'amélioration continue du pré-entraînement tactile.

Adhérer à la natifité incarnée et progresser en coordination avec les grands modèles généraux

Fable 5.2 a été dévoilé le même jour que LingBot-Touch, qui est dans une certaine mesure un microcosme de l'évolution de la voie technologique actuelle de l'intelligence incarnée. Concernant l'impact de l'évolution accélérée des grands modèles généraux sur le parcours « cérébral » du robot, Zhu Xing, PDG d'Ant Lingbo, a déclaré : "Avec Claude Fable 5.2 et GPT-6 Astra, les progrès du grand modèle de langage du monde numérique ont en effet rendu les robots plus capables de raisonnements sur des tâches complexes et d'opérations physiques. Nous sommes très préoccupés par cela et l'absorbons activement. Cependant, la pratique dans l'industrie nous dit que pour véritablement briser la boucle fermée des opérations, le dur à cuire du physique La généralisation des opérations ne peut toujours pas être contournée, et elle dépend toujours de la percée du modèle de base incarné lui-même.

À son avis, le grand modèle général et le modèle de base incorporé sont plus proches de la relation synergique 1+1>2 : le premier améliore la compréhension et le raisonnement des tâches et des environnements, et le second améliore la perception physique et les capacités de fonctionnement en boucle fermée. Les deux se franchissent et se promeuvent, accélérant ensemble la maturité de l'industrie de l'intelligence incarnée.

"La qualité de la contribution modale détermine en grande partie la qualité du résultat de l'action. En d'autres termes, sans une bonne contribution, il n'y aura pas de bon résultat." Zhu Xing a déclaré qu'Ant Lingbo adhérerait à la voie native incarnée, continuerait à explorer de nouvelles limites supérieures pour la généralisation des opérations physiques, créerait un cerveau universel à configuration croisée pour l'industrie de la robotique, favoriserait l'alignement de modalités plus physiques telles que la vision, la profondeur, le toucher et même la température dans un modèle unifié, et continuerait à ouvrir la source à la communauté tout en promouvant la commercialisation.

Actuellement, les rapports techniques, les modèles et le code de LingBot-Touch sont open source, et les développeurs peuvent y accéder et les télécharger sur Hugging Face, GitHub et la Magic Community.

Leifeng.com Leifeng.com (compte public : Leifeng.com)

modifier

Renvoyer l'e-mail Modifier l'e-mail