首页 > 用户投稿

大数据 用Python写爬虫，用什么方式、框架比较好？

实习编辑 • 2023-12-03 03:29:42 • 用户投稿 • 阅读 3

用python写爬虫，用什么方式、框架比较好？

我更多地使用我自己的刮痕。当然，较小的项目是直接请求的。数据库，再看需求，小项目直接用sqlite，mysql和mongodb也可以

关于python爬虫，有很多第三方库，比如scratch等，小编写了一系列的文章，关于爬虫，可以参考学习，[大数据开发工件-scratchspider框架（代码输入部分）-今天的标题]https://m.toutiaocdn.com/i6612149341303865859/？app=newsuarticle&timestamp=1599008220&useuunewustyle=1&reqid=202009020857002103422021488be6&groupid=6612149341303865859&ttfrom=copylink&utmsource=copylink&utmmedium=toutiaoios&utmcampaign=clientushare

首先，我们需要弄清楚我们能看到的所有网页，无论是文本，图片或动画，用html标记，然后浏览器会以视觉和美学的方式向我们展示这些标记。如果我们想做网络爬虫，那么我们的爬虫就没有视觉，只有逻辑，只有爬虫眼中的html标签，而其他东西在爬虫眼中，表达式都是浮云，所以爬虫其实是在读html标签（这里涉及的一个知识点就是获取html标签）。一个需要使用的库是请求库（通过web请求获取html元素），然后从html标记中提取它们想要的内容。这是一个网络爬虫。逻辑就这么简单。如果您有使用python的经验，建议您使用crawler框架scratch

大数据python爬虫库有哪些python爬虫要学什么框架

大数据 用Python写爬虫，用什么方式、框架比较好？

原文标题：大数据 用Python写爬虫，用什么方式、框架比较好？，如若转载，请注明出处：https://www.saibowen.com/tougao/18756.html
免责声明：此资讯系转载自合作媒体或互联网其它网站，「赛伯温」登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。

大数据 用Python写爬虫 用什么方式、框架比较好？ 大数据 用Python写爬虫 用什么方式、框架比较好？介绍
赞 ( )
打赏 微信扫一扫微信扫一扫
上一篇：怎么用爬虫爬取京东数据 如何使用爬虫采集京东商品信息和评价内容？ 下一篇：ndarray是什么 numpy中array和asarray的区别？

相关推荐