python是为数不多的既简单又功能强大的编程语言之一。它易于学习和理解，易于上手，代码更接近自然语言和正常的思维方式。据统计，python是世界上最流行的语言之一。
爬虫是利用爬虫技术捕获论坛、网站数据，将所需数据保存到数据库或特定格式的文件中。
具体学习：
1）首先，学习python的基本知识，了解网络请求的原理和网页的结构。
2）视频学习或找专业的网络爬虫书学习。所谓“前辈种树，后人乘凉”，按照大神的步骤进行实际操作，就能事半功倍。
3）网站的实际操作，在有了爬虫的想法后，找到更多的网站进行操作。
这是一个非常好的问题。作为一个it从业者和教育工作者，让我来回答这个问题。
首先，随着当前python语言的应用越来越普遍，很多专业人士和大学生希望通过掌握python语言来提高职场的价值和竞争力。由于python语言本身比较简单，自学python完全可以掌握python编程语法。
python语言本身比较简单，初学者在学习初期会比较容易建立学习成就感，但是在自学python的过程中，我们还需要注意以下三个方面：
第一：注意实验。在学习python编程的过程中，一定要注意多做实验。通过实验，我们可以逐步建立自己的编程思想，也积累了一些编程经验，特别是调试经验。在学习python编程的过程中，最好边用边学，这样往往能取得更好的学习效果。
第二，注意相关知识的学习。在学习python语言的过程中，还需要同步学习操作系统、计算机网络、数据库等知识。掌握这些知识对学习python编程也有直接的影响。今后要想在程序开发领域走得更远，就需要重视数学相关知识的学习，包括高等数学、线性代数、概率论等。第三，注意学习方向。学习python编程时最好有明确的学习方向。比如，目前以大数据为学习方向是一个不错的选择。在大数据领域，无论是大数据开发、大数据分析还是大数据运维，python语言都得到了广泛的应用。从近两年的人才需求来看，大数据开发岗位的人才需求比较旺盛。
我对这两个帖子很熟悉，所以我敢说几句。
1.自动测试和爬虫是两个不同的方向。尽管看起来很多技术栈是相同的（selenium和appnium、数据包捕获工具等），crawler的核心是反爬网，而测试的核心是业务。
2.爬虫岗位核心竞争力：爬虫是反爬虫，即反爬虫能力。许多目标网站可以通过定义字体库和识别浏览器指纹来实现反爬网。仅仅通过selenium等渲染工具无法满足一个合格的爬虫工程师的技术要求。让我说爬行动物最需要的是对抗能力。如果他们没有很强的自学能力和抗压能力，最好做这类业务的测试工作，否则几年后就可能下岗。
3.测试岗：大部分测试都是纯业务，不同于爬虫的对抗岗。工作中几乎没有未知的场景，因此相对而言，更大的压力在于业务场景。我只想评判这部分。
4.就业与市场：测试的岗位需求远大于爬虫，升级曲线相对平稳。如果你对自己的能力不是很有信心，建议进行测试。爬虫是一种比较复杂的工作，一开始可能很难找到工作。不过，高中毕业后的工资还是不错的，后期的技术发展前景也比较好，但估计能坚持下来的人很少（坚持下来的基本上都是丹尼尔）。事实上，很多人会做整个堆栈或后端。毕竟爬虫确实是一项艰苦的工作，而且它有很好的爬虫能力（基本的前后都比较熟悉）。
最后：事实上，这取决于个人职业规划。如果你对自己的能力更有信心，你可以成为一个爬虫。如果你想要稳定性，你应该做自动化测试。毕竟，爬虫太难了。
关于python爬虫，有很多第三方库，比如scratch等，我们写了一系列关于爬虫的文章，可以参考学习https://m.toutiaocdn.com/i6612149341303865859/？app=newsuarticle×tamp=1599008220&useuunewustyle=1&reqid=202009020857002103422021488be6&groupid=6612149341303865859&ttfrom=copylink&utmsource=copylink&utmmedium=toutiaoios&utmcampaign=clientushare
python
具有强大的网络功能。它可以模拟登陆和解析javascript。缺点是解析网页非常方便。著名的python爬虫包括scratch等
java
java有很多解析器，非常支持网页解析。缺点是网络上有很多java开源爬虫，比如nutch，中国有优秀的webmagicjava解析器，比如htmlparser和jsoup，可以满足java和python的通用需求。如果需要模拟登陆和反采集，选择python更方便。如果需要处理复杂的网页，解析网页内容生成结构化数据或精细解析网页内容，可以选择java。
