Um novo método, chamado CW-Net, traduz o processo de raciocínio do sistema de IA de um veículo autônomo em conceitos compreensíveis que explicam seu comportamento.
Para ajudar os humanos a antecipar melhor os erros de um veículo, pesquisadores do MIT e da empresa de tecnologia de veículos autônomos Motional desenvolveram um novo método que fornece explicações claras das decisões subjacentes do modelo.
Normalmente, o processo de raciocínio interno de um modelo de aprendizado profundo é opaco e difícil de entender. Mas o novo método, chamado Concept-Wrapper Network (CW-Net), traduz esse processo de raciocínio em conceitos que descrevem fielmente as decisões do veículo autônomo sem alterar seu desempenho de direção.
A CW-Net explica as decisões dos planejadores baseados em aprendizado de máquina usando conceitos compreensíveis, como "aproximando-se de um veículo parado" ou "próximo a um ciclista". Essas explicações podem corrigir concepções errôneas que motoristas e passageiros têm sobre o comportamento dos veículos e melhorar sua percepção situacional.
Em testes de estrada em uma pista privada, as explicações da CW-Net ajudaram os motoristas de segurança a prever com mais precisão o comportamento do veículo; um estudo de simulação mais amplo com usuários não especialistas apresentou resultados semelhantes. Esses experimentos demonstram como a CW-Net pode fornecer feedback importante para engenheiros na resolução de problemas em sistemas de inteligência artificial embarcados. A longo prazo, essa técnica poderá aumentar a segurança e a transparência dos veículos autônomos, além de gerar a confiança necessária em motoristas e passageiros.
“Este trabalho demonstra como as explicações são importantes para o modelo mental humano e para a compreensão do comportamento de um sistema, e como isso pode ser usado na engenharia e no desenvolvimento para aprimorar a tecnologia”, afirma Julie Shah, professora de aeronáutica e astronáutica do MIT, diretora do Grupo de Robótica Interativa do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e coautora sênior do artigo sobre a CW-Net . “A menos que construamos essas tecnologias de forma que possamos confiar e prever seu comportamento, teremos uma base instável e insegura para seu uso.”
Ela é acompanhada no artigo pelo autor principal Eoin Kenny, ex-pós-doutorando do MIT e atualmente pesquisador sênior de IA no JP Morgan Chase; pelo coautor sênior Momchil Tomov, cientista pesquisador da Motional; bem como pelos membros da equipe da Motional Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu e Laura Major, presidente e CEO da Motional . A pesquisa foi publicada hoje na revista Nature .
Explicações fiéis
Os planejadores baseados em aprendizado de máquina atuam como o "cérebro" de um carro autônomo. Essas poderosas arquiteturas de aprendizado profundo processam dados das câmeras e sensores lidar do veículo, geram um resumo de alto nível do ambiente do veículo, decidem o que o carro deve fazer em seguida e definem uma trajetória para ele seguir.
Os planejadores geralmente são modelos de caixa preta, o que significa que seu processo interno de tomada de decisão é tão complexo que é difícil de entender. Isso pode deixar cientistas e responsáveis pela segurança sem saber por que um veículo autônomo tomou uma decisão inesperada, como uma frenagem fantasma.
Os pesquisadores desenvolveram a CW-Net para explicar as decisões de um veículo usando conceitos compreensíveis, garantindo que essas explicações reflitam com precisão os verdadeiros motivos por trás de seu comportamento.
“Especialmente em cenários de alto risco, como carros autônomos, é importante que as explicações não sejam potencialmente enganosas. Como a CW-Net é causalmente fiel em como toma decisões, isso fornece certas garantias em relação às explicações”, diz Kenny.
A CW-Net é um "classificador de conceitos", um algoritmo de IA treinado para prever os conceitos de alto nível presentes nos dados de entrada. Os pesquisadores integram o módulo CW-Net à arquitetura de planejamento de aprendizado de máquina já existente em veículos autônomos.
O sistema traduz o processo de raciocínio interno do modelo em conceitos compreensíveis, como "aproximando-se de um veículo parado" ou "próximo a um ciclista". Em seguida, força a parte final da arquitetura do modelo de planejamento a usar esses conceitos ao decidir o que o veículo deve fazer em seguida. Dessa forma, o CW-Net garante que os conceitos expliquem fielmente as ações do veículo.
Ao mesmo tempo, a CW-Net utiliza os conceitos que classificou para gerar explicações claras que são exibidas juntamente com a trajetória do veículo, em tempo real.
“Em vez de apenas ficar se perguntando por que o carro parou, ter dados em tempo real fornece feedback que permite testar o sistema durante a implantação. Você também pode fornecer esses dados a um engenheiro para que ele possa aprimorar o sistema”, diz Kenny.
Os pesquisadores treinaram a CW-Net para prever conceitos usando um conjunto de dados com 130 milhões de exemplos de cenas de carros autônomos, com múltiplos conceitos rotulados em cada cena. O uso de um conjunto de dados tão grande e rotulado permite que ela identifique conceitos com precisão em uma ampla gama de contextos.
Eles também projetaram a CW-Net para imitar as decisões de direção de planejadores baseados em aprendizado de máquina, de modo que o módulo não impactasse negativamente o desempenho do veículo.
No final, a CW-Net gera explicações precisas e compreensíveis sem alterar o modelo original de aprendizado profundo.
Aprimorando a consciência situacional
Para testar a CW-Net, os pesquisadores implantaram o módulo em um veículo de teste de direção autônoma real (um robotáxi Motional) em uma pista privada com um motorista de segurança. Eles descobriram que a CW-Net ajudou o motorista de segurança a prever melhor como o veículo se comportaria em situações inesperadas.
Por exemplo, o veículo parava consistentemente ao se aproximar de um ciclista, e o motorista de segurança presumia que isso ocorria porque o ciclista havia sido detectado. No entanto, as explicações da CW-Net revelaram que o modelo não estava configurado corretamente para detectar o ciclista e escolheu uma trajetória que teria causado uma colisão. Em vez disso, o veículo parou porque seu sistema de frenagem de emergência foi acionado quando se aproximou demais.
De posse dessas informações sobre a falha do modelo, o condutor de segurança poderia reduzir a velocidade ou acionar o modo de condução manual mais cedo em situações semelhantes. Isso também poderia ajudar os engenheiros a corrigir o modelo para evitar essa falha no futuro.
Em estudos de simulação online de maior escala, utilizando situações reais de condução capturadas nas ruas de Las Vegas, os pesquisadores observaram resultados semelhantes. As explicações da CW-Net melhoraram significativamente a capacidade dos participantes de prever o comportamento de um veículo autônomo.
No futuro, os pesquisadores poderão expandir a CW-Net para que o módulo abranja mais conceitos e explore diferentes técnicas de treinamento e design que possam impulsionar o desempenho e melhorar a interpretabilidade.
“Nosso estudo mostra como a interpretabilidade pode ser crucial nesses ambientes de alto risco e como ela deve estar na mente das pessoas ao desenvolverem IA no futuro, seja para carros autônomos ou outros ambientes críticos para a segurança”, diz Kenny.
Fonte: MIT Press
Postagens
Nenhum comentário:
Postar um comentário