CasaInformaçõesTreinando robô com a ajuda de óculos inteligentes?

Treinando robô com a ajuda de óculos inteligentes?

Os óculos inteligentes fornecem dados de treinamento escalonáveis ​​em comparação com câmeras estáticas.Os robôs aprendem tarefas de manipulação diretamente das interações humano-objeto capturadas em ambientes cotidianos.



O laboratório de robótica e IA de uso geral da Universidade de Nova York introduziu o EgoZero, uma estrutura que usa óculos inteligentes para gerar dados de treinamento para robôs.O sistema aproveita o vídeo egocêntrico e o rastreamento espacial para treinar modelos de manipulação de uso geral sem a necessidade de dados de demonstração de robôs.A parte "ego" do egoZero se refere à natureza "egocêntrica" ​​dos dados, o que significa que eles são coletados da perspectiva da pessoa que executa uma tarefa.

O EgoZero opera com gravações egocêntricas dos óculos do projeto da Meta.Esses dispositivos capturam informações contínuas em vídeo e espacial em primeira pessoa, pois os seres humanos executam tarefas diárias.Os dados são processados ​​através de um pipeline que localiza aponta o objeto em 3D usando trajetórias de câmera e triangulação.Os modelos de estimativa de pose das mãos fornecem pontos -chave que são convertidos em "pontos de ação", representando vetores de contato e movimento.

O sistema evita a transferência de imagem bruta.Em vez disso, reduz as gravações em trajetórias baseadas em pontos no espaço 3D.Esse ponto de abstração ignora a incompatibilidade visual entre as mãos humanas e os efetores finais robóticos.Os braços do robô replicam o movimento relativo desses pontos em relação aos objetos, em vez de tentar reproduzir a aparência do movimento humano.

Em experimentos de prova de conceito, 20 minutos de manifestações humanas foram registradas para cada uma das sete tarefas, incluindo ações de pick-and-local.Os robôs treinados apenas nesses dados egocêntricos alcançaram uma taxa de sucesso de 70 % quando implantados em tarefas físicas.

A arquitetura fornece portabilidade e escalabilidade.Os óculos inteligentes capturam detalhes da tarefa relevantes automaticamente, pois os usuários orientam sua visão para áreas críticas.Isso aumenta os dados relevantes para a tarefa em comparação com as câmeras externas estáticas.Ele também remove a necessidade de coleta de dados específica de robô, que é demorada e dependente de hardware.

Juntamente com a Egozero, os pesquisadores desenvolveram uma pinça de mão impressa em 3D com uma câmera de smartphone para replicar a compreensão robótica.Este método paralelo aplica o mesmo princípio de rastreamento de espaço pontual e oferece um caminho de baixo custo para uma maior coleta de dados em escala.

O egoZero representa um passo em direção a conjuntos de dados escaláveis ​​da interação humano-objeto, comparável aos dados de texto em escala da Internet para modelos de idiomas, destinados a acelerar a robótica de uso geral.