說起礦工，也許你第一反應是那些挖比特幣的機器，不過隨著比特幣的挖取難度增大，這些礦工的產出也越來越低了。相比之下，網絡爬蟲算得上是一個輸出相當穩定的黃金礦工了，Google、百度這些土豪公司的財富可都是由網絡爬蟲給挖取出來的，而且還在不斷的增加呢...
為什么這么說呢？網絡爬蟲的作用就是抓取某個指定網頁的數據并存儲在本地，而Google、百度兩家公司的主要收入來源都是搜索引擎，搜索引擎的數據，都是網絡爬蟲沒日沒夜地從互聯網上抓取回來的，所以說網絡爬蟲就是他們的黃金礦工。
那么，這些爬蟲是怎樣尋寶的呢？原理其實很簡單，首先給爬蟲幾個初始的Url鏈接，然后爬蟲把這些鏈接的網頁給抓取回來，經過對網頁進行分析之后，可以得到兩部分數據：一部分是網頁的有效內容，可以用來建立搜索關鍵詞的索引，這部分數據先存儲起來；另一部分就是網頁中的Url鏈接了，這些鏈接又可以作為下一輪爬蟲抓取的目標網頁了，如此反復操作，也許整個互聯網的網頁都可以被抓取下來。
原理雖然很簡單，但是要成為一個優秀的礦工，也面臨諸多挑戰。
一個優秀的黃金礦工，需要有從亂石堆中挑選出黃金的本領，一個優秀的爬蟲，可以從頁面中解析出正確的Url；
一個優秀的黃金礦工，需要有很快的挖礦速度，一個優秀的爬蟲，也必須要有很快的抓取速度；
一個優秀的黃金礦工，總能選擇離自己最近的礦石，一個優秀的爬蟲，也需要有挑選最有價值的頁面進行抓取的能力；
一個優秀的黃金礦工，能適應各種不同的礦場，一個優秀的爬蟲，也需要智能的適應不同的網站；
如果你想養出一只黃金爬蟲，可以嘗試挑戰上面四種能力哈～
最后再分享一個關于爬蟲的冷知識。畢竟爬蟲是去抓取別人家的內容給自己帶來利益，如果別人不愿意網站內容被你的爬蟲抓取，該怎么聲明呢？他可以在網站根目錄下放一個robots.txt文件，里面可以描述該網站哪些頁面可以被抓取，哪些不能夠。可以看下淘寶主站的robots文件，里面就不允許百度抓取他家的某些網頁...
祝你挖到寶藏～
云恒網絡www.xyzqw.net版權所有 備案號：魯ICP備19021997號-1 淄博高端網站建設、網絡營銷知名品牌 網絡整合傳播機構
