OpenAI

Arma el índice del que ChatGPT saca resultados cuando busca en la web.

Cómo identificarlo en tus logs

Buscá esta cadena en el User-Agent de las peticiones a tu servidor:

OAI-SearchBot

Cómo saber si el que entró era el de verdad

El User-Agent lo escribe cualquiera. Un scraper que quiere pasar desapercibido se presenta como OAI-SearchBot justamente porque casi nadie verifica, y porque casi nadie bloquea a un bot conocido. El nombre no prueba nada: lo que prueba es la IP de origen.

OpenAI publica sus rangos. Si la IP de la petición no está en esta lista, el bot no es suyo:

https://openai.com/searchbot.json

Permitirlo en robots.txt

User-agent: OAI-SearchBot
Allow: /

Bloquearlo en robots.txt

User-agent: OAI-SearchBot
Disallow: /

Ojo: robots.txt es una convención, no una barrera técnica. Los rastreadores de las grandes plataformas la respetan; si necesitás una barrera de verdad, va del lado del servidor.

Documentación oficial de OpenAI: platform.openai.com

Otros bots de OpenAI

Se controlan por separado: bloquear uno no bloquea a los demás, y ahí está la decisión fina — se puede salir del entrenamiento sin salir de las respuestas.