什么是網絡爬蟲？網絡爬蟲有什么用途？

網絡爬蟲，又稱為網頁蜘蛛、網絡機器人，是一種按照一定的規(guī)則，自動請求萬維網網站并提取網絡數(shù)據(jù)的程序或腳本。

如果說網絡像一張網，那么爬蟲就是網上的一只小蟲子，在網上爬行的過程中遇到了數(shù)據(jù)，就把它抓取下來。

這里的數(shù)據(jù)是指互聯(lián)網上公開的并且可以訪問到的網頁信息，而不是網站的后臺信息（沒有權限訪問），更不是用戶注冊的信息（非公開的）。

爬蟲具體能做些什么呢？接下來，我們通過一張圖來總結網絡爬蟲的常用功能，如圖1所示。

圖1 爬蟲的常用功能

圖1列舉了一些網絡爬蟲常用的功能。由該圖可知，通過網絡爬蟲可以代替手工完成很多事情。例如，使用網絡爬蟲搜集金融領域的數(shù)據(jù)資源，將金融經濟的發(fā)展與相關數(shù)據(jù)進行集中處理，能夠為金融領域的各個方面如經濟發(fā)展趨勢、金融投資、風險分析等提供“數(shù)據(jù)平臺”。

或者，瀏覽網頁上的信息時，會看到上面有很多廣告信息，十分擾人。這時，可以利用網絡爬蟲將網頁上的信息全部爬取下來，自動過濾掉這些廣告，便于對信息的閱讀。

再者，我們想從某個網站中購買商品，需要知道諸如暢銷品牌、價格走勢等信息。對于非網站管理員而言，手動統(tǒng)計是個很大的工程。這時，可以利用網絡爬蟲輕松地采集到這些數(shù)據(jù)，以便做出進一步的分析。

再比如，你想推銷一些理財產品，需要找到一些目標客戶和他們的聯(lián)系方式。這時，可以利用網絡爬蟲設置對應的規(guī)則，自動從互聯(lián)網中采集到目標用戶的聯(lián)系方式等，以進行營銷使用。

總而言之，從互聯(lián)網中采集信息是一項重要的工作，如果單純地靠人力進行信息采集，不僅低效繁瑣，而且花費成本高。爬蟲的出現(xiàn)在一定的程度上代替了手工訪問網頁，能夠實現(xiàn)自動化采集互聯(lián)網的數(shù)據(jù)，以更高地效率去利用互聯(lián)網中的有效信息。

猜你喜歡：

Python爬蟲支持的網頁解析技術有哪些？

網絡爬蟲獲取數(shù)據(jù)的5種方式【Python爬蟲】

三種分布式爬蟲策略的優(yōu)缺點    

黑馬程序員Python+大數(shù)據(jù)培訓