python phantomjs怎么获取cookie

2024-11-20 08:47:55

推荐回答（1个）

回答（1）：

最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误
对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。