ByteDance

Bytespider

Entrenamiento

Rastrea para los modelos de ByteDance (Doubao, TikTok).

Si lo bloqueás: Es el que más aparece en los logs con diferencia y el que menos devuelve. ByteDance no documenta su política ni publica rangos: si te preocupa la carga sobre el servidor, empezá por acá.

Cómo identificarlo en tus logs

Buscá esta cadena en el User-Agent de las peticiones a tu servidor:

Bytespider

Cómo saber si el que entró era el de verdad

El User-Agent lo escribe cualquiera. Un scraper que quiere pasar desapercibido se presenta como Bytespider justamente porque casi nadie verifica, y porque casi nadie bloquea a un bot conocido. El nombre no prueba nada: lo que prueba es la IP de origen.

ByteDance no publica una lista de rangos de IP para este rastreador. La verificación que queda es el DNS inverso: resolver la IP a un nombre de host y volver a resolver ese nombre a una IP, comprobando que coincide.

Permitirlo en robots.txt

User-agent: Bytespider
Allow: /

Bloquearlo en robots.txt

User-agent: Bytespider
Disallow: /

Ojo: robots.txt es una convención, no una barrera técnica. Los rastreadores de las grandes plataformas la respetan; si necesitás una barrera de verdad, va del lado del servidor.

¿Tu robots.txt está dejando pasar a Bytespider?

Revisarlo gratis