Cloudflare separou busca, treinamento e agentes: a política do gpupo.com

Tenho preparado o gpupo.com para ser lido não apenas em um navegador, mas também por mecanismos de busca e agentes. O site oferece conteúdo estático, sitemap, RSS, um llms.txt e representações Markdown das páginas editoriais. Em outro experimento, usei o site inteiro como corpus para iniciar conversas com o ChatGPT.

Esse trabalho trouxe uma questão de política: eu quero que o conteúdo seja encontrado e consultado por um agente em nome de uma pessoa, mas não trato sua publicação como autorização genérica para treinamento de modelos. Busca, treinamento e acesso por agentes são atividades diferentes para o site.

Por isso, eu não queria escolher entre bloquear todos os crawlers de inteligência artificial e liberar qualquer uso do conteúdo.

A Cloudflare já separava o tráfego nas categorias Search, Training e Agent desde julho. Em 15 de setembro de 2026, a empresa anunciou uma mudança nesses controles: o antigo Block AI Bots será descontinuado e a opção Disallow AI Training passou a permitir uma política mais específica para crawlers que combinam busca e treinamento.

No painel, escolhi esta configuração:

Search   → Allow
Training → Disallow AI Training
Agent    → Allow

Ela representa o que eu quero para o site. A verificação posterior, porém, mostrou que selecionar a política no painel não bastou para aplicá-la ao host canônico do gpupo.com.

Search: quero que o conteúdo seja encontrado

A Cloudflare define Search como a atividade de rastrear páginas para construir um índice de busca. Não vejo motivo para impedir esse acesso no meu site.

Quero que um texto publicado possa ser descoberto por mecanismos de busca e leve o leitor à fonte original. Por isso mantive:

Search → Allow

Essa escolha também evita bloquear por completo crawlers de uso misto, como Applebot, Bingbot e Googlebot, que podem participar tanto de busca quanto de usos relacionados a IA. A distinção entre os usos precisa acontecer na política de treinamento, não pela remoção do site dos índices.

Training: recusar não significa apenas publicar um pedido

Publicar um texto na Web e permitir sua indexação não significa, para mim, oferecer uma autorização genérica para treinamento de modelos. Foi por isso que escolhi:

Training → Disallow AI Training

O nome pode sugerir que essa opção apenas escreve uma diretiva no robots.txt, mas o comportamento descrito pela Cloudflare tem duas partes:

o Bot Preference Sync publica a preferência de não treinamento para crawlers de uso misto considerados Accountable, que continuam liberados para busca;
outros crawlers de treinamento são bloqueados pela rede, inclusive crawlers dedicados a treinamento que não precisam ser mantidos para preservar a descoberta em busca.

A própria Cloudflare explica que uma diretiva em robots.txt, isoladamente, não identifica a finalidade de uma requisição nem impede um crawler que decide ignorá-la. A combinação entre preferência publicada, classificação de bots e bloqueio na borda tenta cobrir esses casos diferentes.

Ainda assim, não trato Disallow AI Training como garantia universal. A classificação depende de o crawler ser identificado, e o suporte dos operadores não é uniforme. No anúncio de 15 de setembro, por exemplo, a Cloudflare informa que o Bing ainda não recebe automaticamente essa preferência por robots.txt; a Microsoft planeja oferecer esse mecanismo no início de 2027.

Mesmo quando aplicada ao tráfego que passa pela Cloudflare, minha decisão é uma política e uma barreira parcial, não uma prova de que nenhum conteúdo será usado para treinamento.

Agent: quero permitir a consulta em nome de uma pessoa

Na classificação da Cloudflare, Agent abrange agentes direcionados por uma pessoa, como bots que buscam uma página para um chat e agentes que usam um navegador. Esse é um uso que quero permitir:

Agent → Allow

Se alguém perguntar a um assistente como organizo minhas notas pessoais, quero que o agente possa localizar os textos relevantes, consultar o material e atribuir a resposta ao corpus. Isso é diferente de incorporar o conjunto dos meus textos aos pesos de um modelo.

Bloquear agentes seria contraditório com o trabalho que fiz para tornar o site legível por software. Liberá-los, por outro lado, não exige que eu trate treinamento como o mesmo tipo de acesso.