Am 10. November, am selben Tag, an dem Claude Fable 5.2 veröffentlicht wurde, veröffentlichte Ant Lingbo Technology das grundlegende taktile Modell LingBot-Touch als Open Source. Am selben Tag wurden ein allgemeines Großmodell für die digitale Welt und ein verkörpertes Grundmodell für geschlossene physische Operationen öffentlich zugänglich gemacht.

Die Beziehung zwischen diesen beiden technischen Wegen steht im Mittelpunkt aktueller Diskussionen in der Embodied-Intelligence-Branche. Nach Ansicht von Ant Lingbo ähneln das allgemeine große Modell und das verkörperte Basismodell eher einer synergistischen 1+1>2-Beziehung: Ersteres verbessert das Verständnis und die Argumentation von Aufgaben und Umgebungen, und letzteres ergänzt die physische Wahrnehmung und die Betriebsfähigkeiten im geschlossenen Regelkreis. Nur wenn beides Hand in Hand geht, können sie gemeinsam die Reife der verkörperten Industrie beschleunigen.

Der Open-Source-LingBot-Touch basiert auf fast 5.000 Stunden realer taktiler Daten vor dem Training und deckt drei gängige Sensorprinzipien ab: magnetisch-taktil, visuell-taktil und piezoresistiv. Es kann verschiedene Signale in den gleichen Satz taktiler Darstellungen umwandeln, die von verschiedenen geschickten Händen und Aktionsmodellen verwendet werden können, wodurch der Roboter „klar sehen und klar denken“ kann und gleichzeitig die für Feinoperationen erforderliche taktile Wahrnehmung weiter ergänzt wird.

Zuvor deckte Ant Lingbos universelles Gehirn hochpräzise räumliche Wahrnehmung, hochdynamische Umgebungsinteraktionen und verallgemeinerbare geschickte Operationen ab. Dieses Mal wurde LingBot-Touch mit LingBot-VLA verbunden, wodurch die Erfassungsfähigkeiten auf die „Fingerspitzen“ ausgeweitet wurden, der Roboter „berührungsempfindlicher“ wurde und die Hand-Auge-Koordinationsfähigkeit des nativen Universalgehirns weiter verbessert wurde.

26 reale Maschinentests, Missionserfolgsquote um 14 bis 26 Prozentpunkte erhöht

Mit der Weiterentwicklung von Allzweck-Großmodellen steigt auch die Fähigkeit von Robotern, komplexe Aufgaben zu verstehen und Arbeitsschritte zu verstehen. Aber in der realen physischen Welt muss ein Roboter jedes Mal, wenn er eine Aktion ausführt, Veränderungen an Objekten und der Umgebung wahrnehmen und dann die nächste Aktion korrigieren. Bei vielen heiklen Vorgängen kann der Roboter deutlich erkennen, wo sich das Objekt befindet, und seine Hand an die richtige Position bringen, kann die Aufgabe jedoch möglicherweise nicht erfolgreich abschließen. Nachdem der Finger den Gegenstand berührt hat, ist es schwierig zu beurteilen, ob die Kraft angemessen ist und ob der Gegenstand verrutscht. Es ist schwierig, allein mit dem Sehen zu urteilen und erfordert Berührung, um die Position auszufüllen.

Am Beispiel des geschickten Festziehens eines Flaschenverschlusses mit der Hand können die Tiefeninformationen dem Finger dabei helfen, den Flaschenverschluss auszurichten; Nach dem Drehen hat sich der Flaschenverschluss möglicherweise gelöst oder die Fingerspitze rutscht an der Verschlusswand entlang. Die beiden Situationen sind im Bild ähnlich, erfordern jedoch unterschiedliche Bewegungsanpassungen. Die Kontaktposition der Fingerspitzen, die Größe der Kraft und ihre Veränderungen werden oft durch Finger und Gegenstände verdeckt, was das Sehen erschwert, aber sie sind eine wichtige Grundlage für die Beurteilung von Handlungsmodellen.

Um die Hilfe der taktilen Darstellung bei realen Vorgängen zu überprüfen, führte Ant Lingbo 26 reale Maschinentests an zwei geschickten Händen, Sharpa Wave und XHand1, durch und deckte feine Vorgänge wie das Umblättern von Buchseiten, das Drehen von Flaschenverschlüssen und das Identifizieren von Mahjong-Spielsteinen ab. Nach dem Zugriff auf LingBot-Touch erhöht sich die durchschnittliche Aufgabenerfolgsrate der vier Aktionsmodelle LingBot-VLA, π0,5, Diffusion Policy und T-Rex im Vergleich zu der ohne Touch um etwa 14 bis 26 Prozentpunkte. Am Beispiel von T-Rex zur Steuerung von Sharpa Wave zum Drehen von Flaschenverschlüssen beträgt die Erfolgsquote der Aufgabe 56,25 %, ohne taktile Empfindungen zu verwenden, und das ursprüngliche Signal des Sensors wird direkt in 62,5 % eingegeben. Nach der Verbindung mit der taktilen Darstellung von LingBot-Touch erreicht die Erfolgsquote 90 %.

(Bildunterschrift: Nach dem Zugriff auf LingBot-Touch haben die Erfolgsraten der vier Aktionsmodelle an den beiden geschickten Händen ihren höchsten Stand erreicht)

Vereinheitlichen Sie die taktile Darstellung und verwenden Sie das „Gefühl“ über Hardware, Modelle und Aufgaben hinweg wieder

Die Installation eines taktilen Sensors an einem Roboter bedeutet nicht, dass er seinen Tastsinn sinnvoll nutzen kann. Derzeit befinden sich kommerzielle taktile Sensoren insgesamt noch in einem frühen Entwicklungsstadium. Mainstream-Wege wie optotaktile, magnetisch-taktile und piezoresistive Verfahren haben ihre eigenen Stärken und Grenzen. Bei unterschiedlichen Kosten und Nutzungsszenarien können mehrere technische Routen über einen längeren Zeitraum nebeneinander bestehen. Noch problematischer ist, dass sich die von diesen Sensoren gesammelten Daten nur schwer direkt verallgemeinern lassen: Derselbe Kontakt erzeugt bei unterschiedlichen Erfassungsprinzipien und Kontaktanordnungen unterschiedliche Originalsignale. Sobald das Modell nach dem Austausch des Sensors oder der geschickten Hand nur lernt, einen von ihnen zu interpretieren, kann es schwierig sein, die vorhandenen Daten und die taktile Erfahrung wiederzuverwenden, was eine erneute Erfassung, Schulung und Anpassung erfordert.

Daher liegt der Schlüssel zur groß angelegten Implementierung der Haptik darin, das taktile Verständnis von der Abhängigkeit von physischen Signalen bestimmter Sensoren zu befreien, sodass Daten aus verschiedenen Quellen gemeinsam für das Training verwendet werden können und die gesammelten taktilen Fähigkeiten über Sensoren, geschickte Hände, Modelle und Aufgaben hinweg wiederverwendet werden können.

Zu diesem Zweck richtet LingBot-Touch Codierungseingänge nach dem Sensorprinzip ein, verarbeitet zunächst verschiedene Originalsignale und ordnet dann die Kontakte unterschiedlicher Layouts einem einheitlichen Fingerspitzenkoordinatenraum zu. Das gemeinsam genutzte Modell lernt die Kontaktposition, die Kraft und deren Veränderungen im Laufe der Zeit und gibt ein einheitliches taktiles Token aus. Dadurch können Daten, die von Personen mit taktilen Handschuhen und teleoperierten geschickten Händen gesammelt wurden, für das gemeinsame Training verwendet werden, und verschiedene Aktionsmodelle können trainierte Modelle auch direkt aufrufen, um Kontaktmerkmale zu extrahieren. Diese Architektur lässt auch in der Zukunft Raum für Erweiterungen, um Zugang zu neuen taktilen Sensoren zu erhalten.

(Bildunterschrift: LingBot-Touch kodiert magnetische taktile, visuelle taktile und piezoresistive taktile Signale in einen einheitlichen taktilen Token zur Verwendung durch verschiedene Aktionsmodelle)

Bei XHand1 verifizierte das Team außerdem die Wiederverwendung taktiler Fähigkeiten auf der gesamten Hardware: Das von XHand1 verwendete magnetische taktile Sensormodell ist nicht in den Daten vor dem Training enthalten, und die magnetische taktile Erfahrung, die das Modell erlernt hat, stammt vollständig aus Daten, die von Personen gesammelt wurden, die Handschuhe tragen. Nach dem Wechsel zu dieser geschickten Hand behielt das Team die LingBot-Touch-Parameter unverändert bei und nutzte nur das Operationsdemonstrations-Trainingsaktionsmodell von XHand, um die Migration abzuschließen. Gleichzeitig ist LingBot-Touch in diesem realen Maschinentest mit vier verschiedenen Aktionsmodellen verbunden und nicht an das von Ant Lingbo selbst entwickelte Modell gebunden. Es stellt eine universelle Wahrnehmungsfähigkeit zwischen dem taktilen Sensor und dem Aktionsmodell bereit und ist kein dediziertes Modul für eine bestimmte Hardware oder eine bestimmte Strategie. Für die Industrie können Sensor- und Fingerfertigkeitshersteller Hardware auf der Grundlage von Kosten- und Aufgabenanforderungen auswählen, und das gesamte Maschinenteam kann auch seine eigene Aktionsstrategie beibehalten, wodurch die wiederholten Investitionen in die Neuentwicklung taktiler Fähigkeiten bei jedem Austausch einer Hardware- und Algorithmuskombination reduziert werden.

Um sowohl Wahrnehmungsfähigkeiten als auch endseitige Rechenleistung zu berücksichtigen, stellt Ant Lingbo Modelle mit zwei Kapazitäten zur Verfügung: Die 26 realen Maschinentests wurden alle mit der Lightweight-Version von LingBot-Touch-Tiny mit rund 5,3 Millionen Parametern durchgeführt. Nach dem Zugriff auf LingBot-VLA, π0,5 und T-Rex stieg die Anzahl der Modellparameter nur um etwa 0,13 % auf 0,16 %; Der LingBot-Touch-Small mit größerer Kapazität zeigt das Potenzial für eine weitere Verbesserung des Wahrnehmungstests – wenn die Vortrainingsdaten auf fast 5.000 Stunden ansteigen, kann das Modell immer noch von den neuen Daten profitieren, was darauf hindeutet, dass es Raum für eine weitere Erweiterung und Verbesserung des taktilen Vortrainings gibt.

Halten Sie sich an die verkörperte Natürlichkeit und verbessern Sie die Koordination mit allgemeinen Großmodellen

Fable 5.2 wurde am selben Tag wie LingBot-Touch vorgestellt, das gewissermaßen einen Mikrokosmos der Entwicklung der aktuellen Technologieroute der verkörperten Intelligenz darstellt. In Bezug auf die Auswirkungen der beschleunigten Entwicklung allgemeiner großer Modelle auf die „Gehirn“-Route des Roboters sagte Zhu Xing, CEO von Ant Lingbo: „Mit Claude Fable 5.2 und GPT-6 Astra Die Weiterentwicklung des großen Sprachmodells der digitalen Welt hat Roboter tatsächlich in die Lage versetzt, komplexe Aufgaben zu verstehen und physikalische Operationen durchzuführen. Wir sind darüber sehr besorgt und nehmen es aktiv auf. Die Praxis in der Branche zeigt uns jedoch, dass die geschlossene Schleife von Operationen wirklich durchbrochen werden muss.“ Die harte Nuss der Verallgemeinerung physikalischer Operationen kann immer noch nicht umgangen werden, und sie hängt immer noch vom Durchbruch des verkörperten Grundmodells selbst ab.

Seiner Meinung nach kommen das allgemeine große Modell und das verkörperte Basismodell näher an der synergistischen Beziehung von 1+1>2: Ersteres verbessert das Verständnis und die Argumentation von Aufgaben und Umgebungen, und letzteres verbessert die physische Wahrnehmung und die Betriebsfähigkeit im geschlossenen Regelkreis. Die beiden durchbrechen sich gegenseitig und fördern sich gegenseitig, wodurch sie gemeinsam die Reife der verkörperten Geheimdienstindustrie beschleunigen.

„Die Qualität des modalen Inputs bestimmt maßgeblich die Qualität des Aktionsoutputs. Mit anderen Worten: Ohne guten Input gibt es keinen guten Output.“ Laut Zhu

Derzeit sind die technischen Berichte, Modelle und der Code von LingBot-Touch Open Source und Entwickler können auf Hugging Face, GitHub und der Magic Community darauf zugreifen und sie herunterladen.

Leifeng.com Leifeng.com (öffentliches Konto: Leifeng.com)

bearbeiten

E-Mail erneut senden E-Mail ändern