爬虫有利有弊
爬虫的好处：
俗话说，活到老学到老。人如果想进步，就需要不断的学习。近年来互联网中的网络爬虫越来越受到欢迎，学习爬虫的人也越来越多，那么学习爬虫会给我们带来什么好处呢？
首先，学习爬虫可以对搜索引擎的工作原理进行更深层次地了解。有的朋友想自己开发出一款私人搜索引擎，在学会了爬虫编写程序之后，就可以利用爬虫自动采集互联网中的信息，采集回来后进行相应的存储或者处理，这其中很多步骤需要自己进行设计，学习了爬虫之后这些问题就可以迎刃而解了。
第二，大数据时代需要进行数据分析，而学习爬虫之后，可以让我们方便地获取更多的数据源，从而进行更深层次更有效的数据分析，获得更多的价值。
第三，通过对爬虫的学习，可以让很多SEO从业者针对搜索引擎进行更好的优化。既然是针对搜索引擎进行优化，那么就必须了解搜索引擎的工作原理，这样在进行搜索引擎的优化时就可以有更好的针对性。
第四，目前来看，爬虫工程师还属于紧缺型人才，所以就业前景较为乐观，薪资待遇普遍较高，因此学习爬虫对于未来的发展是很有好处的。
有时候，爬虫的力度过大，可能你有时候会受到法律责任，所以请合法爬虫。