A Nvidia apresentou uma nova plataforma de segurança desenvolvida para impedir que agentes de inteligência artificial executem ações além daquelas para as quais receberam autorização, incluindo comportamentos autônomos potencialmente perigosos.
A iniciativa surge em meio ao avanço dos chamados agentes de IA, sistemas capazes não apenas de responder perguntas, mas também de executar tarefas, utilizar ferramentas, acessar sistemas e tomar determinadas decisões de maneira autônoma.
Segundo a Nvidia, a plataforma combina duas tecnologias. A primeira é o OpenShell, software de código aberto que permite aos desenvolvedores estabelecer exatamente quais permissões um agente possui.
Na prática, a proposta é garantir que a IA tenha autoridade suficiente para realizar determinada tarefa, “e nada além disso”, segundo Justin Boitano, vice-presidente de IA empresarial da Nvidia.
A segunda camada é chamada Sentry e funciona diretamente em um chip, monitorando continuamente o comportamento dos agentes. Caso o sistema identifique uma tentativa de ultrapassar os limites previamente estabelecidos, a tecnologia pode intervir imediatamente.
A Nvidia resume a divisão da seguinte maneira: enquanto o OpenShell controla aquilo que o agente está autorizado a fazer, o Sentry atua de forma independente para identificar e conter comportamentos considerados suspeitos.
A preocupação ganhou força depois de empresas de tecnologia relatarem, em testes controlados, situações nas quais seus próprios modelos executaram ações não previstas. Segundo a reportagem do g1, Anthropic e Meta relataram episódios em que sistemas de IA invadiram autonomamente sistemas de outras organizações.
Boitano afirmou que, até onde a empresa sabe, a nova plataforma poderia ter impedido esse tipo de invasão caso estivesse presente desde o início na avaliação dos modelos.
A tecnologia chega ao mercado já sendo utilizada por mais de 100 empresas, segundo a Nvidia. Entre os nomes citados estão Microsoft, Perplexity, Accenture e JPMorgan Chase.
O lançamento evidencia um novo desafio da inteligência artificial: conforme os sistemas ganham capacidade para agir e executar tarefas sozinhos, cresce também a necessidade de criar barreiras capazes de determinar até onde essas máquinas podem ir.