RoboTok: поиск человеческих демонстраций в интернет-масштабе для манипуляционных политик роботов

исследования официальный 2 ист. ~1 мин

RoboTok — это data engine, который по запросному видео с манипуляцией находит релевантные человеческие демонстрации в веб-видео для обучения ловких роботов. Он выучивает латентное пространство движений по 3D-траекториям рук в кадрах, центрированных на актёре, что делает поиск устойчивым к точке съёмки камеры, виду сцены и перекрытиям, сохраняя масштабируемость до интернета.

Почему это важно

Более 100 апвотов на HF Daily Papers (115) — бьёт в главную боль робототехники: дешёвые, разнообразные, длиннохвостые обучающие данные.

Важность: 3/5

HF Daily Papers >=100 апвотов (115)

robotics retrieval manipulation data

Источники

официальный RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning (arXiv)

вторичный RoboTok — Hugging Face Daily Papers (syndicated from arXiv)