SemantiqWall
PT EN
Entrar Sou fornecedor

← Blog

Dostoiévski descreveu o maior risco da inteligência artificial 145 anos antes dos LLMs?

O maior risco da IA talvez não seja ela aprender a pensar como nós, mas nós começarmos a entregar a ela o trabalho de pensar, decidir e agir. E isso tem tudo a ver com segurança.

· 6 min de leitura · Por Murilo Martins, fundador da SemantiqWall

Capa: livro aberto e peças de xadrez diante de um portão entre decisão e ação, com painéis de capacidade e autoridade.

Em 1880, Fiódor Dostoiévski publicou Os Irmãos Karamázov. Não existiam computadores, modelos de linguagem nem agentes autônomos. Mas uma das questões centrais da obra se encaixa de forma desconfortavelmente precisa no debate atual sobre inteligência artificial:

o que acontece quando seres humanos preferem entregar a outra entidade o peso de decidir?

A professora de teologia Sarah Elizabeth Hunt, da University of Scranton, recuperou essa questão num artigo publicado pela America Magazine em agosto de 2026 e reproduzido em português pelo Instituto Humanitas Unisinos (IHU). A tese dela não é só que a IA pode substituir certas tarefas humanas. É algo mais profundo: a facilidade de pedir respostas prontas pode incentivar uma terceirização da própria agência humana, a disposição de interpretar, questionar e decidir.

E existe aqui uma conexão surpreendente com cibersegurança.

O Grande Inquisidor e o peso de escolher

Num dos capítulos mais famosos de Os Irmãos Karamázov, Ivan narra a história do Grande Inquisidor. A discussão gira em torno da liberdade. Na leitura de Hunt, Dostoiévski identifica uma tentação profundamente humana: abrir mão do peso da escolha em troca do conforto de uma autoridade que escolha por nós.

Avance quase um século e meio. Agora temos máquinas capazes de responder "o que devo escrever?", "o que devo comprar?", "qual candidato devo contratar?", "qual cliente devo priorizar?", "que ação devo executar?".

Cada pergunta, sozinha, parece inofensiva. O problema aparece quando a ajuda vira, em silêncio, delegação de julgamento. E quando o julgamento vira delegação de ação.

Pedir uma opinião é diferente de entregar uma permissão

Pense em três níveis.

Nível 1: informação. Você pergunta à IA: "qual cliente está com pagamento atrasado?". Ela consulta os dados e responde.

Nível 2: decisão. Você pergunta: "qual desses clientes deveria ter o acesso suspenso?". O modelo interpreta os dados e recomenda.

Nível 3: execução. O agente analisa os dados e, sozinho, identifica o cliente, suspende o serviço, envia a cobrança, altera o CRM, agenda nova tentativa e registra a ocorrência.

No primeiro nível, a IA é uma ferramenta. No terceiro, ela tem agência. Essa passagem muda radicalmente o risco.

O perigo não está só nas respostas erradas

Durante boa parte da era dos chatbots, segurança significava impedir certas respostas: não revelar informações, não produzir certo conteúdo, não obedecer instruções maliciosas.

Agentes mudam a equação. Um modelo ligado a ferramentas transforma linguagem em consequências. A OWASP alerta que a prompt injection pode permitir acesso não autorizado a funções e até execução de comandos em sistemas conectados, e que, somada a autonomia ou permissões excessivas, a superfície de ataque cresce muito.

Nesse mundo, segurança não é só controlar o que a IA diz. É controlar o que a IA pode fazer.

Podemos terceirizar inteligência. Não podemos terceirizar responsabilidade.

Uma empresa pode usar IA para analisar contratos, aprovar solicitações, responder clientes, movimentar processos e operar sistemas. Isso pode gerar ganhos enormes de produtividade.

Mas um princípio deveria permanecer: a responsabilidade não desaparece porque a decisão passou por um modelo de linguagem.

Se um agente executou uma ação, alguém precisa conseguir responder: quem permitiu? Qual política autorizou? Que informação foi usada? Qual ferramenta foi chamada? O que aconteceu antes e depois? Quem poderia ter interrompido?

Sem isso, autonomia deixa de ser automação e começa a virar ausência de governança.

Human in the loop não é nostalgia

Existe a tendência de ver a intervenção humana como algo temporário, uma rodinha de bicicleta que será retirada quando os modelos forem inteligentes o bastante.

Talvez essa leitura esteja errada. Em certas operações, a participação humana não existe porque a IA ainda é pouco inteligente. Existe porque certas decisões pertencem a pessoas.

O NIST, no seu framework de gestão de risco de IA, observa que as configurações entre pessoas e IA vão de processos totalmente manuais a sistemas totalmente autônomos, e recomenda definir com clareza os papéis e responsabilidades de decisão e supervisão. A questão não é colocar uma pessoa em cada clique. É decidir conscientemente onde a autonomia termina.

Transformar valores em arquitetura

Dizer "a IA deve respeitar a privacidade" é um princípio. A arquitetura de segurança precisa transformá-lo em algo executável:

  • o agente não recebe acesso a dados além do necessário;
  • uma ferramenta só pode ser chamada em determinados contextos;
  • operações críticas exigem aprovação;
  • ações têm limites de valor ou de frequência;
  • cada execução gera uma trilha de auditoria;
  • uma política pode bloquear uma ação, independentemente do que o modelo decidiu;
  • existe um jeito rápido de revogar uma capacidade.

Isso importa porque modelos trabalham com linguagem probabilística. Permissões não deveriam trabalhar assim.

Uma IA pode entender uma ordem. Mesmo assim, não deveria decidir a própria autoridade.

Esse talvez seja um dos princípios fundamentais da segurança de agentes: o sistema que decide o que fazer não deveria ter autoridade ilimitada para decidir também se pode fazer.

Assim como aplicações tradicionais usam sistemas independentes de autenticação e autorização, agentes precisam de fronteiras externas. O agente diz: "preciso usar esta ferramenta para executar esta ação". A camada de segurança responde: "mostre sua identidade, seu contexto, a política que se aplica e o escopo da operação". E então decide.

A separação parece técnica, mas tem algo profundamente humano por trás. É dizer à máquina: você pode nos ajudar a pensar. Pode nos ajudar a executar. Mas nós continuamos definindo seus limites.

Talvez Dostoiévski tenha visto o problema antes da tecnologia existir

O risco mais interessante apontado por Hunt não é uma IA acordar um dia e decidir dominar a humanidade. É nós, aos poucos, encontrarmos tanto conforto em respostas automáticas que passemos a preferir não decidir.

Primeiro entregamos pequenas tarefas. Depois decisões. Depois ferramentas. Depois autonomia. Em algum momento, podemos esquecer de perguntar onde deveria existir uma fronteira.

É aí que filosofia e cibersegurança se encontram. Preservar a agência humana não é só ensinar pessoas a pensar criticamente. Nos sistemas de IA, preservar a agência humana também vai significar codificar limites técnicos para a agência das máquinas.

A IA vai continuar ficando mais capaz. Isso é provavelmente inevitável. Mas capacidade e autoridade não são sinônimos, e uma das decisões mais importantes da era dos agentes é garantir que nunca se tornem.

Dê inteligência à IA. Dê ferramentas. Mas nunca dê autoridade ilimitada.

Fontes

Leia também