在使用python爬行web信息时，您需要学习几个模块，例如urlib、urllib2、urllib3、requests、httplib和re模块（即正则表达式）。根据不同的场景，采用不同的模块来高效、快速地解决问题。
）：
这抓取新浪主页的源代码。这是整个网页的信息。如果你想提取有用的信息，你必须学会使用字符串方法或正则表达式。
平时多在网上阅读文章和教程，很快就能学会。
。
首先，我们需要弄清楚，我们能看到的所有网页，无论是文本、图片还是动画，都用html标记。然后浏览器以视觉和美学的方式向我们显示这些标签。如果我们想成为一个网络爬虫，那么我们的爬虫没有远见，只有逻辑。在爬虫的眼中，只有html标记，其他样式正在使用中爬虫的眼中有云，所以爬虫实际上读取html标记（这里涉及的一个知识点是获取html标记）。库是请求库，它可以通过web请求获取html元素，然后在html标记中显示所需内容。这是一个网络爬虫。逻辑就这么简单。如果您有使用python的经验，建议您使用crawler框架scratch
