Óculos inteligentes para treinar robôs
E se os robôs pudessem aprender simplesmente assistindo aos seres humanos?Um novo sistema usando óculos inteligentes pode aproximar essa idéia da realidade.

Nas últimas décadas, os robôs apareceram em lugares como shoppings, aeroportos, hospitais, escritórios e casas.Para servir como ajudantes, eles devem lidar com tarefas como limpar, lavar louça, cozinhar e lavar roupas.É difícil treinar robôs para essas tarefas com aprendizado de máquina, pois precisa de dados ou vídeos de seres humanos realizando as tarefas.Para resolver isso, os pesquisadores da Universidade de Nova York e da UC Berkeley desenvolveram a Egozero, um sistema que coleta vídeos em primeira pessoa usando o Project Aria Smart Glasses by Meta.
O EgoZero usa o movimento dos óculos inteligentes para gerar representações 3D da cena.Ele os combina com dados de pose manual de um modelo de estimativa manual.O sistema cria um conjunto de pontos de dados de ação estatal, usados para treinar uma política baseada em transformador que ajuda os robôs a aprender as tarefas.
Ao contrário dos sistemas anteriores, o egoZero não precisa de várias câmeras, vestíveis de pulso ou luvas de captura de movimento.Somente óculos inteligentes são usados para coletar os dados.
O egoZero simplifica a coleta de dados para treinamento de robôs.Com 20 minutos de demonstrações humanas, o sistema pode coletar dados suficientes para ensinar tarefas de robôs.Isso torna a coleta de dados mais rápida e prática em ambientes naturais.
Ao remover a necessidade de demonstrações específicas de teleooperação ou robô, o egoZero permite que os robôs aprendam com o comportamento humano.O sistema gera dados de treinamento sem a configuração exigida pelos métodos anteriores.
A política baseada em transformador treinada pela EgoZero opera em um loop fechado, usando pontos de dados 3D capturados durante a demonstração.Isso ajuda o robô a entender o ambiente e as ações necessárias para concluir as tarefas.
Com o EgoZero, os pesquisadores podem treinar robôs com eficiência, reduzindo o tempo e o custo.A capacidade do sistema de transferir habilidades humanas para robôs sem dados específicos para robôs permite o desenvolvimento mais rápido de robôs.
À medida que mais dados se tornam disponíveis, essa abordagem pode levar a robôs que lidam com tarefas em residências, escritórios e espaços públicos.Ao simplificar o treinamento, o egoZero pode acelerar a adoção de robôs como ajudantes.