您的位置首页百科问答

网络爬虫到底是一种什么东西?

网络爬虫到底是一种什么东西?

的有关信息介绍如下:

网络爬虫到底是一种什么东西?

前面回答的都比较复杂,我就简单概括一下吧,爬虫就是:一个用于模拟人工操作,对可见数据进行自动化采集的程序。

可见数据指的就是你在任何网页、任何APP上可以看到的任何内容。

爬虫并不能提高你的写作水平,完全无关。

爬虫的采集(抓取)操作本身没有违不违法的说法,前面说了,只是模拟人工操作而已。

而违法的是什么?是怎么使用爬虫和它采集回来的数据。

假设你搞了个爬虫采集了某个人在互联网上所有可见的动态,然后你用这些数据去分析对方住在哪、有什么喜好。这叫人肉,违法。

假设你搞了个爬虫采集了点文章,然后对这些文章进行分析,看看什么样的文章比较容易火。这叫数据分析,不违法。

关于爬虫违不违法的问题,如果你想要了解更多的话,可以看一下我的这篇文章:

顺带一提,如果你并不打算往爬虫开发方向发展的话,有采集数据的需求时建议你直接使用傻瓜式爬虫工具,像八爪鱼、火车头、神箭手之类的都是业内比较知名的。

千万不要听那些培训班的忽悠…那种程度的内容你学完基本上啥都爬不动,而且你会碰到一大堆你很难/无法解决的问题,会浪费你干正事的时间。