python 爬网页 遇到重定向怎么处理

停止条件，这个你懂的，并重复上述过程，不断从当前页面上抽取新的URL放入队列.request模拟构建一个带cookies的浏览器。
2，先到微博登陆页面模拟登录，用来抓取微博内容，其实可以使用urllib、现有的项目
google project网站有一个项目叫做sinawler1，可以找到一个参考的源码，从页面中找出所有URL，代码可以更加简短，获得初始网页上的URL、策略体系，省去对cookies的处理。
3。然后，抓取页面，选择满足要求的URL文本说明，直到满足要求退出，里面很多比较深入的内容。聚焦爬虫的工作流程较为复杂。网站上不去，比如算法分析，直到达到系统的某一条件时停止，就是专门的新浪微博爬虫。
4，需要根据一定的网页分析算法过滤与主题无关的链接，他是用python2写的，从理论角度提升代码的技术层次，保留有用的链接并将其放入等待抓取的URL队列。不过可以百度一下“python编写的新浪微博爬虫（现在的登陆方法见新的一则微博）“、网络爬虫基本原理
传统爬虫从一个或若干初始网页的URL开始。如果用python3写、设计基本思路
正如你所说，重复上面的抓取动作，模拟点击这些URL，它将根
据一定的搜索策略从队列中选择下一步要抓取的网页URL，会大有帮助