Xenu User Agent: Cómo Modificarlo
Muchas veces necesitamos realizar el crawling de un sitio web para realizar distintos análisis, como por ejemplo chequear errores 404 en nuestra página. Otras, necesitamos ejecutar el mismo procedimiento sobre la página de un cliente, pero nos encontramos con la sorpresa de que el servidor bloquea a Xenu. Cómo proceder ante estos casos?
En este artículo veremos una manera muy simple de modificar el User Agent de Xenu y sobrepasar este límite.
