Governança de agentes de IA: human-in-the-loop na prática

O que é governança de agentes de IA

Governança de agentes de IA é o conjunto de regras, papéis e controles técnicos que define o que cada agente pode fazer sozinho, o que exige aprovação humana, com qual identidade e permissão ele age, como é desligado e como cada ação fica registrada para auditoria. É o que transforma autonomia em risco aceitável.

O tema ganhou urgência porque os agentes deixaram de só sugerir. Na segurança, um agente pode isolar um host, desativar uma conta, alterar uma regra de firewall ou aplicar um patch em produção. Quando ele erra, o erro acontece na velocidade da máquina. Sem governança, a empresa fica entre dois extremos ruins: travar tudo e perder o ganho, ou liberar tudo e descobrir as lacunas no primeiro incidente.

Este guia mostra como montar essa governança na prática: a diferença entre human-in-the-loop e human-on-the-loop, uma matriz de autonomia por impacto e reversibilidade, os controles técnicos mínimos, quem responde quando o agente erra e o que o cenário regulatório brasileiro já sinaliza. Ele faz parte do mapa de agentes de IA para cibersegurança.

Leia também: Agentes de IA para cibersegurança: o que fazem em cada área

Resumo em 5 pontos

1. Governança uniforme falha. O Gartner prevê que 40% das empresas vão rebaixar ou desativar agentes autônomos até 2027 por lacunas de governança descobertas só depois de incidentes em produção.
2. Aprovação deve ser proporcional ao impacto. Ações de leitura rodam sozinhas; ações irreversíveis ou com impacto em produção pedem aprovação explícita antes.
3. Todo agente precisa de identidade própria. Credencial dedicada, privilégio mínimo e acesso temporário, nunca uma conta de serviço compartilhada e permanente.
4. Kill switch e trilha não são opcionais. É preciso conseguir suspender os agentes na hora e reconstruir o que cada um fez e por quê.
5. A regulação aponta para supervisão humana. O PL 2338/2023, a LGPD e normas como a ISO/IEC 42001 tratam supervisão humana e rastreabilidade como requisito.

Por que a governança de agentes virou prioridade

Os números mostram que a adoção corre na frente do controle:

• 40% vão recuar: o Gartner prevê que, até 2027, 40% das empresas vão rebaixar ou desativar agentes de IA autônomos por lacunas de governança identificadas apenas depois de incidentes em produção. Segundo o Gartner, a causa é tratar a governança como binária (tudo bloqueado ou tudo liberado) em vez de proporcional ao nível de autonomia de cada agente (Gartner, maio de 2026).
• 97% sem controle de acesso: entre as organizações que relataram incidentes com modelos ou aplicações de IA, 97% não tinham controles de acesso adequados para IA, e 63% não tinham políticas de governança de IA (IBM, Cost of a Data Breach Report 2025).
• Shadow AI encarece incidentes: no mesmo estudo, violações envolvendo IA não governada responderam por um em cada cinco incidentes e elevaram o custo médio em US$ 670 mil (IBM, 2025).
• Agentes que vigiam agentes: o Gartner prevê que, até 2030, as tecnologias de guardian agents (agentes que supervisionam, redirecionam ou bloqueiam ações de outros agentes) representarão de 10% a 15% do mercado de IA agêntica (Gartner, junho de 2025).

Para a área de segurança, o recado tem duas faces. Os agentes de segurança precisam ser governados como qualquer outro agente, e o time de segurança costuma ser chamado para governar os agentes do resto da empresa.

Human-in-the-loop, human-on-the-loop e human-out-of-the-loop

Os três termos descrevem onde a pessoa entra no fluxo. A escolha não é ideológica: depende do que a ação pode quebrar.

O erro comum é escolher um modelo para o agente inteiro. O mesmo agente de SOC pode classificar alertas sem supervisão, bloquear um hash com supervisão posterior e pedir aprovação para isolar um host. A governança é por ação, não por agente. A mesma lógica aparece nos níveis L0 a L4 descritos em SOC autônomo: níveis de autonomia.

Matriz de autonomia por impacto e reversibilidade

Uma forma prática de decidir é cruzar dois eixos: quanto a ação afeta o negócio e quão fácil é desfazê-la.

Duas regras completam a matriz. Primeiro, a classificação é do cliente, não do fornecedor: quem homologa o que é automatizado, assistido ou proibido é a empresa, com os donos dos sistemas. Segundo, a matriz muda com o tempo. Uma ação começa em HITL e só desce para HOTL quando o histórico mostra baixa taxa de erro.

Os 7 controles técnicos da governança de agentes

A matriz diz o que pode. Os controles garantem que o agente respeite a matriz mesmo sob ataque ou erro.

1. Registro de agentes. Um inventário de todos os agentes em uso, sancionados ou não: dono, objetivo, ferramentas, dados acessados e nível de autonomia. Agente fora do registro é shadow AI.
2. Identidade não humana própria. Cada agente com credencial dedicada, privilégio mínimo e acesso privilegiado just-in-time, pelo tempo da operação. Contas de serviço compartilhadas e permanentes são o cenário do risco ASI03 (abuso de identidade e privilégio) do OWASP.
3. Catálogo fechado de ações. O agente só executa ações de um catálogo aprovado, com parâmetros validados. Sem caminho para comando arbitrário, o impacto de um prompt injection cai muito. Isso endereça o risco ASI02 (uso indevido de ferramentas).
4. Aprovação como ato de identidade humana. O modelo não pode se autoaprovar. A aprovação precisa ser feita por uma pessoa autenticada, registrada com nome, horário e o plano aprovado.
5. Botão de desligamento. Um kill switch que suspende a atuação dos agentes na hora, testado antes da produção, com dono definido para acioná-lo.
6. Observabilidade do agente. Não basta saber se o sistema está de pé. É preciso registrar o contexto consultado, o plano, cada passo e resultado, os erros e quem aprovou o quê, em trilha exportável para auditoria.
7. Supervisão automatizada e limites. Limites de taxa, detecção de comportamento anômalo e, quando o volume justificar, guardian agents que revisam ou bloqueiam ações fora da política. Isso reduz o risco de falhas em cascata (ASI08).

O detalhamento dos riscos que esses controles atacam está em OWASP Top 10 para IA agêntica. Quando os agentes se conectam a ferramentas por MCP, o registro e o controle de permissões precisam incluir os servidores MCP, como mostra o guia de segurança do MCP.

Leia também: OWASP Top 10 para IA agêntica: os 10 riscos explicados

Quem responde quando o agente erra

O agente não tem responsabilidade jurídica. Alguém tem, e a governança precisa dizer quem antes do primeiro incidente:

Na prática, o registro de quem aprovou o quê é o que separa um erro operacional explicável de um problema sem dono.

O cenário regulatório: PL 2338/2023, LGPD e normas

No Brasil, o marco legal de IA ainda está em construção, mas a direção é clara:

• PL 2338/2023: aprovado pelo Senado em dezembro de 2024, classifica sistemas de IA por grau de risco e prevê supervisão humana para sistemas de alto risco, com a ANPD na coordenação do sistema de regulação. O texto está em análise numa comissão especial da Câmara dos Deputados, e a votação foi adiada para 2026. Vale acompanhar o texto final antes de tratar qualquer exigência como definitiva.
• LGPD, artigo 20: o titular tem direito de pedir revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses. Agentes que decidem sobre contas e acessos de pessoas entram nesse escopo. Veja o guia completo da LGPD.
• NIST AI RMF: organiza a gestão de riscos de IA em governar, mapear, medir e gerenciar, e serve como base de processo. Detalhes em NIST AI RMF.
• ISO/IEC 42001: norma de sistema de gestão de inteligência artificial, que traz políticas, papéis, avaliação de impacto e melhoria contínua para o uso de IA.

Para empresas que atendem clientes europeus, o AI Act da União Europeia também exige supervisão humana em sistemas de alto risco.

Como a EcoTrust aplica governança aos próprios agentes

A EcoTrust opera agentes de exposição e de SOC no mesmo runtime, o EcoTrust OS, e aplica a esses agentes os controles descritos acima. Todos seguem o ciclo planejar, aprovar, executar e mostrar: o agente monta um plano explícito, pede aprovação no que é crítico, executa pelas integrações e mostra o resultado com trilha.

No EcoTrust Agentic SOC, que opera sobre o SIEM, o EDR e o XDR que a empresa já tem, os mecanismos são públicos:

• O modelo não pode se autoaprovar: a aprovação é um ato de identidade humana, registrado.
• Ações limitadas a catálogo determinístico: não existe caminho para comando arbitrário fora do catálogo aprovado.
• Identidades não humanas gerenciadas: credenciais próprias e acesso privilegiado just-in-time, pelo tempo da operação.
• Taxonomia homologada com o cliente: a matriz do que é automatizado, assistido ou proibido é definida pelo cliente.
• Kill switch: um botão suspende a atuação dos agentes na hora.
• Dados e modelo onde o cliente escolher: os dados ficam na região escolhida e, em clientes de governo, no Brasil; a inferência do modelo também pode rodar no Brasil.
• Observabilidade do agente: contexto consultado, plano, cada passo, erros, aprovações e trilha exportável como evidência.

No Agentic CTEM vale a mesma lógica: o AutoPatch executa campanhas de remediação com piloto, aprovação, re-scan e evidência por CVE. Cada cliente opera num espaço isolado e o modelo de linguagem não tem acesso direto ao banco de dados do cliente. A EcoTrust está iniciando o processo de certificação ISO/IEC 42001; a certificação ainda não foi concluída.

Leia também: EcoTrust OS: o sistema operacional agêntico

Checklist para implantar governança de agentes de IA

1. Faça o inventário. Liste todos os agentes em uso, inclusive os criados por áreas de negócio em plataformas no-code.
2. Nomeie um dono por agente. Sem dono, não vai para produção.
3. Classifique cada ação na matriz de impacto e reversibilidade, com os donos dos sistemas afetados.
4. Crie identidades dedicadas com privilégio mínimo e acesso temporário; elimine credenciais compartilhadas.
5. Feche o catálogo de ações e bloqueie qualquer execução fora dele.
6. Configure a aprovação nominal para ações HITL, com registro do plano aprovado.
7. Teste o kill switch antes da produção e depois periodicamente.
8. Ative a trilha completa e defina quem revisa, com que frequência e por amostragem.
9. Crie playbooks de incidente com agentes: o que fazer se um agente for manipulado ou agir fora do esperado.
10. Revise a matriz a cada trimestre, ampliando autonomia só onde o histórico justificar.

Ao contratar uma plataforma, use as mesmas perguntas para o fornecedor. O roteiro completo está em como avaliar agentes de IA de segurança.

Perguntas Frequentes

O que é human-in-the-loop em agentes de IA?

É o modelo em que o agente pausa antes de uma ação, descreve o que pretende fazer e só executa depois de aprovação explícita de uma pessoa. Em segurança, costuma ser exigido para ações irreversíveis ou com impacto em produção, como isolar hosts, desativar contas e aplicar patches.

Qual a diferença entre human-in-the-loop e human-on-the-loop?

No human-in-the-loop a pessoa aprova antes da ação. No human-on-the-loop o agente age sozinho e a pessoa monitora, podendo interromper ou desfazer. O primeiro serve para ações de alto impacto; o segundo, para ações reversíveis de volume alto.

Toda ação de um agente de IA precisa de aprovação humana?

Não. Exigir aprovação para tudo cria fila, anula o ganho e incentiva atalhos. O Gartner aponta a governança uniforme como causa de fracasso. O caminho é aprovação proporcional: leitura e ações reversíveis de baixo impacto rodam sozinhas, ações de alto impacto pedem aprovação.

Quem é responsável quando um agente de IA erra?

A organização, por meio dos papéis definidos na governança: o dono do agente responde pelo escopo e pela matriz, o aprovador pela aprovação dada e o fornecedor pelo funcionamento dos controles, conforme contrato. Por isso a trilha precisa registrar quem aprovou o quê e quando.

O PL 2338/2023 exige supervisão humana de agentes de IA?

O texto aprovado no Senado prevê supervisão humana para sistemas de alto risco, e muitos usos de agentes em segurança podem se enquadrar aí. Como o projeto ainda tramita na Câmara, o texto final pode mudar. A LGPD já garante a revisão de decisões automatizadas que afetam titulares.

O que são guardian agents?

São agentes que supervisionam outros agentes: revisam saídas, monitoram comportamento e podem redirecionar ou bloquear ações fora da política. O Gartner prevê que eles representem de 10% a 15% do mercado de IA agêntica até 2030.

Conclusão: governança de agentes de IA é o que libera a autonomia

Governar agentes de IA não é frear a automação. É o que permite dar autonomia onde ela é segura e manter a pessoa no comando onde o erro custa caro. A matriz por impacto e reversibilidade define o que cada agente pode fazer; identidade própria, catálogo fechado, aprovação nominal, kill switch e trilha garantem que ele respeite essa matriz.

Comece pelo inventário e pela matriz, teste o desligamento antes da produção e amplie a autonomia conforme o histórico. Para ver esses controles funcionando num SOC agêntico, conheça o EcoTrust Agentic SOC.

---

Referências

• Gartner, "Gartner Says Applying Uniform Governance Across AI Agents Will Lead to Enterprise AI Agent Failure", 2026. gartner.com
• Gartner, "Gartner Predicts that Guardian Agents will Capture 10-15% of the Agentic AI Market by 2030", 2025. gartner.com
• IBM e Ponemon Institute, "Cost of a Data Breach Report 2025", 2025. newsroom.ibm.com
• OWASP GenAI Security Project, "OWASP Top 10 for Agentic Applications for 2026", 2025. genai.owasp.org
• Dark Reading, "4 Steps to Scale Agentic Security While Keeping Humans in Control". darkreading.com
• IBM, "Governança de agentes de IA", IBM Think. ibm.com/br-pt
• Senado Federal, Projeto de Lei nº 2338/2023 (regulação da inteligência artificial). senado.leg.br
• Brasil, Lei nº 13.709/2018 (LGPD), artigo 20. planalto.gov.br
• ISO, "ISO/IEC 42001:2023 Information technology: Artificial intelligence: Management system", 2023. iso.org