VS031: носимый терминал сбора данных от первого лица для имитационного обучения роботов

Поскольку воплощенный интеллект и промышленная робототехника движутся к развертыванию в реальном мире, обучение имитации становится важным способом для роботов приобрести практические навыки работы.

Вместо того, чтобы программировать каждое движение вручную, разработчики могут собирать демонстрации от опытных операторов и использовать эти данные для обучения роботов воспроизводить подобные процедуры. Однако качество обучения имитации сильно зависит от того, как будут собраны демонстрационные данные.

Традиционные методы обучения роботов часто полагаются на ручное управление роботизированной рукой или запись операций с фиксированных внешних камер. Эти подходы могут быть полезными, но они могут обеспечить ограниченный охват фактической точки зрения оператора, движения головы и взаимодействия с окружающей средой.

The X-Dynamics VS031 Носимый терминал мультимодального сбора данных от первого лица Вводится другой подход: оператор носит устройство при выполнении обычной задачи, а терминал синхронно записывает бинокулярные визуальные данные, информацию о движении головы и звук окружающей среды.

Это создает базу данных, которая более точно отражает то, как человек наблюдает и выполняет реальную промышленную работу.

Захват операций с человеческой точки зрения

В обучении имитации робота важна перспектива.

Фиксированная камера может захватывать весь процесс, но она не всегда показывает, на что фокусируется оператор в каждый момент. Важные детали, такие как положение руки, выравнивание компонентов, движение инструмента или состояние заготовки, могут быть частично заблокированы или записаны под неподходящим углом.

VS031 использует головную конструкцию для захвата задачи с естественной точки зрения от первого лица оператора. Его бинокулярный модуль 1080p использует изображение глобального затвора и обеспечивает горизонтальное поле зрения, по крайней мере. 130°.

Этот широкий угол обзора помогает записывать:

• Ручные и инструментальные движения
• Подробности заготовки
• окружающей рабочей станции
• Изменения направления зрения оператора
• Взаимодействие между оператором и оборудованием

Поскольку устройство движется вместе с пользователем, записанные визуальные данные остаются тесно связанными с вниманием оператора и рабочим процессом.

Бинокулярная визуализация глобального затвора для динамических задач

Быстрые движения рук могут быть трудно четко зафиксировать с помощью обычных камер. Искажение движения и размытие изображения могут снизить ценность данных обучения, особенно в задачах, связанных с быстрым использованием инструментов, размещением компонентов или обработкой материалов.

VS031 использует бинокулярную визуализацию глобального затвора для более четкого захвата динамических операций. Все пиксели подвергаются воздействию одновременно, что помогает уменьшить искажения, связанные с движением, когда оператор или окружающие объекты движутся.

Это делает терминал пригодным для записи демонстраций, таких как:

• Точная сборка
• Установка компонентов
• Сортировка материалов
• Проверка оборудования
• Регулировка машины
• Операции на основе инструментов
• Мобильные задачи технического обслуживания

Бинокулярная конфигурация также обеспечивает два синхронизированных визуальных потока, поддерживая развитие восприятия и рабочих процессов пространственного анализа, где требуется стереоинформация.

Синхронизированные визуальные, двигательные и аудио данные

Человеческие навыки не всегда можно понять из видео.

Движение головы оператора может указывать, где внимание перемещается во время задачи, в то время как звуки окружающей среды могут предоставить дополнительную информацию о состоянии машины, контакте с инструментом или завершении процесса.

VS031 объединяет три источника данных:

• Бинокулярные визуальные данные
• Шестиосевые данные IMU
• Экологический звук

Шестиосевой ИДУ регистрирует положение головы и движение до 200 ГцЗафиксировать изменения в ориентации, ритме движения и поведении во время демонстрации.

Аудиосистема записывает экологические и эксплуатационные звуки, которые могут служить дополнительной контекстной информацией. Например, щелчок, удар, звук двигателя или сигнализация могут соответствовать определенному этапу промышленной процедуры.

Временные метки аппаратного уровня выравнивают различные потоки данных по общей временной шкале. Эта синхронизация помогает разработчикам анализировать взаимосвязь между тем, что видит оператор, как он движется и что происходит в окружающей среде.

Легкий дизайн для естественной демонстрации

Демонстрационные данные наиболее полезны, когда оператор может работать естественно.

Тяжелое или ограничительное устройство может изменять осанку тела, замедлять движения или мешать нормальной работе рук. Это может сделать собранные данные менее репрезентативными для реального производственного процесса.

VS031 весит приблизительно 200 граммов Предназначен для легкого использования на голове. Он не занимает руки оператора и предназначен для минимизации препятствий нормальному рабочему виду.

Поэтому операторы могут выполнять знакомые задачи без необходимости постоянно корректировать свои движения для размещения фиксированного положения камеры.

Это особенно полезно для сбора демонстраций в:

• Рабочие станции Ассамблеи
• Районы сбора складов
• Производственные линии
• Маршруты осмотра
• Оборудование комнат
• Среды технического обслуживания и ввода в эксплуатацию

Носимая конструкция также позволяет продолжить сбор данных по мере перемещения оператора между различными позициями или рабочими зонами.

Гибкие варианты хранения, передачи и питания

Сбор промышленных данных может осуществляться на стационарной рабочей станции, через производственную линию или во время мобильного маршрута проверки. VS031 предоставляет несколько вариантов для различных условий развертывания.

Терминал поддерживает:

• Высокоскоростное локальное хранилище MicroSD
• USB Type-C передача данных
• Wi-Fi беспроводная передача
• USB источник питания
• Внешний мобильный источник питания

Локальное хранилище позволяет регистрировать демонстрации, когда стабильное сетевое соединение недоступно. USB Type-C может использоваться для высокоскоростной передачи данных, в то время как Wi-Fi поддерживает беспроводной доступ в подходящих средах.

Сочетание возможностей USB и мобильного питания также дает разработчикам большую гибкость при планировании коротких сеансов записи или более длительных задач сбора данных.

Поддержка рабочих процессов по имитационному обучению роботов

VS031 предназначен для генерации структурированных, синхронизированных мультимодальных данных для проектов обучения роботов.

В зависимости от учебных рамок и требований проекта собранные данные могут быть организованы, аннотированы и обработаны для имитации обучения, клонирования поведения, мультимодального обучения представлениям и других рабочих процессов воплощенного ИИ.

Типичный процесс развития может включать:

1. Определение задачи и требований к данным
2. Запись демонстраций от опытных операторов
3. Просмотр и фильтрация собранных данных
4. Аннотация ключевых действий, объектов или стадий задач
5. Преобразование набора данных для выбранных рамок обучения
6. Обучение и проверка модели робота
7. Тестирование производительности в реальной операционной среде

Объем требуемых данных зависит от сложности задачи, изменения окружающей среды, конфигурации робота и выбранного метода обучения. По этой причине при создании надежного набора обучающих данных необходим повторяемый сбор данных и последовательная синхронизация.

Потенциальные промышленные применения

Точная сборка

Видео от первого лица может фиксировать, как оператор позиционирует компоненты, выбирает инструменты и проверяет выравнивание во время процесса сборки. ИДУ и аудиоданные обеспечивают дополнительный контекст для анализа последовательности и ритма операции.

Логистика и сортировка материалов

VS031 может записывать, как работники идентифицируют, выбирают, перемещают и размещают различные объекты. Эти демонстрации могут поддержать исследования и разработки, связанные с роботизированным сбором, сортировкой и автоматизацией склада.

Осмотр оборудования

Во время инспекционных задач терминал может фиксировать направление обзора оператора, путь движения и обратную связь с окружающей средой. Эти данные могут помочь разработчикам изучить, как опытный персонал выявляет отклонения или следует процедурам проверки.

Регулировка и ввод в эксплуатацию машин

Устройство может записывать полный процесс регулировки управления, наблюдения за реакцией оборудования и подтверждения условий эксплуатации, помогая сохранить практические знания от квалифицированных техников.

Сотрудничество человека и робота

Наборы данных от первого лица также могут поддерживать исследования того, как люди взаимодействуют с инструментами, машинами и роботизированными системами в общем рабочем пространстве.

Превращение человеческого опыта в поддающиеся обработке данные

Многие ценные промышленные навыки существуют прежде всего в опыте обученных операторов. Эти навыки трудно описать полностью с помощью письменных инструкций или обычного программирования.

Захватывая операции от первого лица пользователя и синхронизируя визуальную, движущуюся и аудио информацию, VS031 помогает преобразовывать практические демонстрации в многоразовые цифровые наборы данных.

Он предоставляет гибкий инструмент сбора данных для разработчиков робототехники, исследовательских институтов, системных интеграторов и производителей, работающих над имитационным обучением, воплощенным интеллектом и промышленной автоматизацией.

Поскольку роботы становятся все более зависимыми от реальных данных обучения, надежное мультимодальное приобретение от первого лица будет играть важную роль в передаче опыта работы человека в рабочие процессы машинного обучения.