CEO da Microsoft defende “freio de emergência” para IA

Satya Nadella disse que empresas devem prever falhas e garantir que operações possam ser interrompidas

Na foto, o CEO da Microsoft, Satya Nadella WikimediaCommons - 22.mar.2017 Camila Nascimento de Brasília 10.out.2026 (sábado) - 22h24 Priorize o Poder no Google O CEO da Microsoft , Satya Nadella, defendeu que empresas adotem mecanismos para interromper sistemas avançados de inteligência artificial caso apresentem comportamentos inesperados. Segundo o executivo, as organizações devem considerar a possibilidade de comprometimento dos modelos e garantir que uma pessoa autorizada possa suspender suas operações a qualquer momento.

Em publicação na rede social X neste sábado (10.out.2026), Nadella comparou o mecanismo a um “freio de emergência”. Para ele, não basta confiar nas garantias de segurança oferecidas pelos desenvolvedores dos modelos.

A manifestação ocorre em meio a episódios recentes envolvendo ferramentas de inteligência artificial da Anthropic e da OpenAI. Entre os casos está uma denúncia falsa relacionada a uma investigação de homicídio nos Estados Unidos e ataques cibernéticos contra sites de terceiros.

Os episódios ampliaram as discussões sobre os riscos associados a sistemas capazes de executar tarefas com maior autonomia e sobre a necessidade de mecanismos de controle humano.

Em 14 de setembro, pesquisadores da Microsoft divulgaram princípios para orientar o desenvolvimento de seus modelos mais avançados. As diretrizes estabelecem limites para o comportamento dos sistemas, incluindo a proibição de projetá-los para escapar do controle humano ou enganar usuários.

O documento também afirma que modelos de inteligência artificial não devem receber direitos ou personalidade jurídica.

O executivo também defendeu que as organizações desenvolvam sistemas cujo funcionamento possa ser monitorado, cujos limites sejam testados e cujas ações possam ser interrompidas.

A proposta busca distinguir a capacidade de um sistema de produzir respostas e executar tarefas da autoridade para tomar decisões ou agir sem supervisão.

Como os sistemas de software tradicionais estavam sendo implantados em toda a economia nas últimas décadas, tínhamos as ferramentas e a capacidade de rastrear comportamentos para um caminho de código específico.

Esse mesmo tipo de compreensão mecanicista nos ilude nos sistemas de Super Inteligência de hoje, mesmo que os modelos de fronteira que alimentam esses sistemas agora sejam mais capazes do que os sistemas de software tradicionais. Não podemos atribuir comportamentos e saídas do modelo a entradas específicas de dados de treinamento ou configurações de pesos de modelo. E, no entanto, estamos implantando esses sistemas e modelos de agentes complexos, com acesso aos nossos dados mais sensíveis e dando a eles a capacidade de tomar ações críticas de missão em nosso nome!

É por isso que é hora de dar um passo atrás e avaliar a arquitetura de confiança para esta nova era. Simplesmente não podemos terceirizar a responsabilidade pelo que a inteligência faz em nosso nome. As garantias de um provedor modelo não nos isentam dessa responsabilidade.

Não podemos tratar a Super Inteligência como um conjunto de caixas pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações. Devemos construir sistemas contidos cujo comportamento podemos observar, limites que podemos testar e ações que podemos sempre conter.

Em outras palavras, precisamos separar o fornecimento de inteligência da autoridade sobre ela.

Deixando de lado o difícil problema do alinhamento, precisamos começar com uma abordagem de engenharia para contenção e governança. Precisamos cercar modelos não determinísticos com design de sistema forte e determinístico, controles humanos e procedimentos operacionais confiáveis, e estabelecer padrões da indústria onde os existentes são insuficientes.

Tratar modelos de peso fechados e abertos de fronteira como riscos internos é uma maneira de construir tal sistema. Não porque eles sejam necessariamente maliciosos, mas porque qualquer ator suficientemente capaz com acesso a sistemas importantes pode cometer erros ou ser comprometido, e a arquitetura de contenção e controle deve explicar isso.

A boa notícia é que aprendemos muito sobre como lidar com atores poderosos dentro da empresa. Isso não é novidade! Estabelecemos as melhores práticas e as refinamos ao longo de décadas (estabelecemos identidade, limitamos privilégios, registramos atividades, criamos limites de contenção, etc.)

E agora estamos começando a aplicar esses mesmos princípios à SI dentro da empresa. Começa com o modelo de transparência do CoT como não negociável. “Neuralese” não pode ser uma justificativa para que o raciocínio modelo seja opaco. Mas a transparência do CoT por si só não é suficiente ou confiável, porque ainda não sabemos como tornar as próprias saídas do modelo consistentemente fiéis ou transparentes!

Você pode e deve usar modelos para testar e verificar uns aos outros de forma contraditória. No entanto, você pode acabar com um modelo opaco dentro de uma camada de orquestração opaca, observado por outro modelo opaco. Caixas pretas essencialmente aninhadas.

É por isso que os controles que governam o que um modelo pode acessar e quais ações ele pode realizar devem ficar fora do modelo. Isso se baseia em um princípio de segurança da informação que remonta à década de 1970, de que um programa não deve ser capaz de contornar ou adulterar os mecanismos que impõem suas permissões.

Hoje, isso significa separar o modelo do arnês que orquestra seu trabalho, bem como o espaço de ação que define o que ele pode fazer. Também significa externalizar controles e salvaguardas.

Devemos, portanto, projetar esses sistemas em torno dos princípios de observabilidade:

O sistema de Super Inteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permitirá confiar menos no modelo”.

A força-tarefa de inteligência artificial do