Данные должны поступить на производственную линию до того, как это сделают роботы

CoinWorld сообщает:

Обучить робота команде "поднять чашку" кажется простой задачей, но на практике это включает в себя длинную серию утомительных действий.

Сначала человек надевает устройство для сбора данных, чтобы продемонстрировать действие. Камера фиксирует перспективу от первого лица, в то время как устройство записывает траекторию руки, положение и позу захвата. После сбора видео его необходимо исправить от искажений рыбий глаз, восстановить позу, сегментировать действия "дотянуться---приблизиться---схватить---поднять" на части и пометить каждый сегмент тегами, которые может использовать робот. Если на любом этапе что-то пойдет не так, демонстрация может оказаться бесполезной.

Большие языковые модели имеют преимущество готового интернета, из которого можно черпать информацию. У роботов этого нет. Как открыть дверь, как сложить полотенце, за какую часть упаковки схватить — каждое действие должно сначала произойти в физическом мире.

Компания Qingche Intelligent недавно заключила партнерство с Alibaba Cloud для создания облачной производственной линии обработки данных для роботов, стремясь соединить калибровку, реконструкцию, сегментацию, маркировку и обучение собранных данных. Хотя новости могут быть не такими зрелищными, как робот, выполняющий сальто, они ближе к узкому месту в этом бизнесе.

Один или два исследователя могут обрабатывать десятки минут видео с помощью сценариев и папок. Когда данные расширяются до сотен часов, возникают осложнения: следует ли пересчитывать всю партию после сбоя одной задачи? Сколько раз один и тот же файл был изменен? Какая версия данных была подана какой версии модели? Если результаты обучения плохие, можем ли мы отследить конкретный тип действия сбора?

Эти вопросы могут звучать как повседневная рутина IT-отдела, но компании, занимающиеся воплощенной интеллигенцией, не могут их избежать. Данные роботов поступают из реального мира, и если они собраны неправильно, их нельзя просто обновить, перезагрузив веб-страницу; они также тесно связаны с аппаратным обеспечением. Замена манипулятора, установки камеры или даже захвата может сделать ранее плавные действия неэффективными.

Облачная производственная линия может преобразовать кучу разбросанных задач в управляемый процесс. Она может задействовать ресурсы, когда нужны графические процессоры, и освобождать их, как только обработка завершена; если шаг не удался, она может возобновить с точки прерывания; данные, параметры оборудования и версии обработки все хранятся в одной записи. Это не сделает плохие данные хорошими, но может помочь инженерам определить, где заключается проблема.

Например, в калибровке камеры, если одна и та же партия видео использует неправильные параметры, последующее восстановление позы и сегментация действий будут загрязнены. Традиционные методы могут обнаружить проблему только после сбоя в обучении модели; с полной производственной линией система может, по крайней мере, определить, какое устройство, какой сбор и какая версия параметров вызвали проблему, позволяя повторно запустить только затронутые части. Для команд, которые ежедневно генерируют большие объемы данных, эта отслеживаемость важнее, чем экономия нескольких минут на отдельной обработке.

Данные также требуют набора "контрольных проверок качества". Человеческие демонстрации не являются изначально правильными: действия могут быть неуверенными, ключевые шаги могут быть скрыты телом, а устные описания одной и той же задачи могут быть непоследовательными. Полностью автоматизированная маркировка может ускорить процесс, но будет аккуратно воспроизводить ошибки в большем масштабе. Более реалистичный подход заключается в том, чтобы машины сначала обрабатывали большинство рутинных образцов, а затем передавали случаи с низкой уверенностью, аномальные траектории и случаи неудач людям для проверки.

Результаты контрольных проверок качества также должны направлять сбор данных. Если определенный тип освещения всегда приводит к нечетким изображениям, это освещение следует переснять; если определенный угол захвата часто оказывается неудачным, операторы должны специально охватывать этот угол. Сбор данных больше не является случайным накоплением времени, а целенаправленным усилием по устранению слабых мест модели.

Недавно в индустрии робототехники стало популярно сообщать "сколько часов реальных данных" у них есть. Эта цифра все больше напоминает ранние параметры модели: большие, но не обязательно указывающие на качество.

Десять тысяч часов повторяющегося перемещения коробок могут быть не более полезными, чем сто часов тщательного охвата границ неудач. Самые простые демонстрации можно быстро выучить, но проблема заключается в том, что делать, когда чашка скользит, пакет мнется или освещение меняется. Только когда неудачи из поля могут быть возвращены в систему обучения, а новые стратегии отправлены обратно к роботам, данные начинают формировать замкнутый цикл.

Этот замкнутый цикл может стать самой трудной вещью для компаний, занимающихся воплощенной интеллигенцией, для воспроизведения. Демонстрационные видео можно изучить, манипуляторы можно купить, а базовые модели даже можно сделать открытыми. Однако накопленные аномалии, записи калибровки, образцы неудач и опыт развертывания из поля не будут автоматически выходить с документом.

Открытая цепочка инструментов Qingche охватывает все, от сбора данных до обучения модели и развертывания, что указывает на то, что их ставка заключается не только в "универсальном мозге для роботов". Она также нацелена на продажу лопат: позволяя другим роботам собирать данные, обучать модели и развертываться в рамках этого набора инструментов.

Успех этого бизнеса по "продаже лопат" зависит от того, готовы ли клиенты доверить основные данные одной и той же платформе. Крупные компании могут настаивать на создании собственных систем, опасаясь утечек производственных площадок и процессов; меньшие компании в области робототехники могут испытывать трудности с поддержанием полноценной команды по инженерии данных самостоятельно. Платформа должна предлагать выбор между эффективностью и контролем, например, приватизированное развертывание, изоляцию разрешений и четкие границы для данных, используемых только для конкретных моделей.

Риски также реальны. Передача видео и данных с датчиков в облако вызывает опасения по поводу конфиденциальности фабрики и безопасности данных; вычислительная мощность, потребляемая при крупномасштабной реконструкции, недешева; и сколько данных можно повторно использовать на разных аппаратных средствах все еще далеко от стандартного ответа.

Но одно становится все более неизбежным: для того чтобы роботы вошли в фабрики и дома, бэкэнд не может всегда полагаться на инженеров, вручную перемещающих файлы.

В следующий раз, когда вы увидите компанию, объявляющую "сколько часов данных они накопили", возможно, стоит задать еще три вопроса: сколько времени требуется для запуска навыка, как быстро можно переработать образцы неудач и сколько еще можно использовать, если машина заменяется. Вот что эта производственная линия действительно производит каждый день.