GavvioBot · Gavvio

GavvioBot é o programa com que o Gavviolê páginas públicas da web a pedido dos seus clientes. Um cliente pede, por exemplo, a análise das páginas que aparecem numa busca do Google para uma palavra-chave do seu negócio, e o GavvioBot lê essas páginas uma vez.

Como ele se identifica

Em toda requisição, o agente de usuário é exatamente GavvioBot/1.0 (+https://gavvio.com/bot). Ele nunca se apresenta como um navegador.
No robots.txt, o nome dele é GavvioBot.
As requisições são assinadas (HTTP Message Signatures, RFC 9421, no perfil Web Bot Auth). A chave pública fica em app.gavvio.com/.well-known/http-message-signatures-directory.
Os endereços de onde ele parte estão em gavvio.com/bot/ips.json.

O que ele faz

Lê o robots.txt do site antes de qualquer página e obedece a ele (RFC 9309), inclusive Crawl-delay.
Faz uma requisição por vez a cada site, com pelo menos dois segundos entre uma e outra. Se o site responde 429 ou 503, ele espera o tempo pedido.
Guarda a página lida por 24 horas e, depois disso, pergunta se ela mudou (ETag e Last-Modified) antes de baixá-la de novo.
Lê só o texto. Não baixa imagens, vídeos nem fontes.
Quando uma página não tem texto sem executar scripts, ele pode abri-la uma vez num navegador automatizado, com o mesmo agente de usuário e sem cookies de outras páginas.
Cada cliente do Gavvio tem um limite diário de páginas.

O que ele nunca faz

Não faz login, não preenche formulários, não clica em nada.
Não resolve nem contorna desafios, CAPTCHAs ou bloqueios. Se o site o recusa, a página fica registrada como recusada.
Não troca de agente de usuário, não alterna endereços, não usa redes de proxies.
Não lê páginas de redes sociais. Publicações de redes sociais são lidas apenas pelas APIs oficiais de cada plataforma.
Não paga automaticamente por conteúdo.

Uso por inteligência artificial

O Gavvio não treina modelos de IA com as páginas que lê. O texto de uma página pode ser enviado a um modelo de linguagem para produzir uma análise para o cliente que pediu a leitura. O GavvioBot lê e respeita as preferências que o site declara:

Content-Signal: ai-input=no no robots.txt, ou tdm-reservation: 1 (cabeçalho ou meta tag): a página pode ser lida, mas o texto dela não é enviado a nenhum modelo.
Content-Signal: ai-train=no, ou noai na meta tag robots ou no cabeçalho X-Robots-Tag: o texto nunca é guardado em bases de conhecimento de clientes nem usado para treino.

Como bloquear ou desacelerar

Para bloquear o GavvioBot no site inteiro, adicione ao robots.txt:

User-agent: GavvioBot
Disallow: /

Para pedir um intervalo maior entre as requisições (em segundos):

User-agent: GavvioBot
Crawl-delay: 10

A mudança vale a partir da próxima leitura do robots.txt, que acontece no máximo uma vez por dia por site.

Por quanto tempo guardamos

O texto de uma página lida é apagado em até 30 dias. O registro de que a leitura aconteceu (endereço, data e resultado) é apagado em até 12 meses.

Contato

Se o GavvioBot causou algum problema no seu site, ou se você quer tirar uma dúvida, escreva para contact@gavvio.com. Informe o endereço do site e, se possível, o horário das requisições.