如何用python抓取网页特定内容

2024-11-16 13:54:26

推荐回答（3个）

回答（1）：

最简单可以用urllib，python2.x和python3.x的用法不同，以python2.x为例：

import urllib
html = urllib.open(url)
text = html.read()

复杂些可以用requests库，支持各种请求类型，支持cookies，header等

再复杂些的可以用selenium，支持抓取javascript产生的文本

我设计了简单的爬虫闯关网站 www.heibanke.com/lesson/crawler_ex00/

新手如果能自己把三关闯过，相信一定会有所收获。

题解在课程里有提到http://study.163.com/course/courseMain.htm?courseId=1000035

回答（2）：

用urllib2读取通过httpserver传递request，获取html文件。
用正则表达式规定那个价格附近的格式内容，查找整个html，找到价格。
关键在于网站html文件并不规范，可能经常有变化导致失败。

定时运行脚本发现价格变化就报告。

回答（3）：

这个需要借用网站的api，自己去找找看，还有可以用解析网页的模块自己抓取