1. 什(Shi)么(Me)是(Shi)爬(Pa)虫(Chong)？(?)
网(Wang)络(Luo)爬(Pa)虫(Chong)也(Ye)叫(Jiao)网(Wang)络(Luo)蜘(Zhi)蛛(Zhu)，(?)如(Ru)果(Guo)把(Ba)互(Hu)联(Lian)网(Wang)比(Bi)喻(Yu)成(Cheng)一(Yi)个(Ge)蜘(Zhi)蛛(Zhu)网(Wang)，(?)那(Na)么(Me)蜘(Zhi)蛛(Zhu)就(Jiu)是(Shi)在(Zai)网(Wang)上(Shang)爬(Pa)来(Lai)爬(Pa)去(Qu)的(De)蜘(Zhi)蛛(Zhu)，(?)爬(Pa)虫(Chong)程(Cheng)序(Xu)通(Tong)过(Guo)请(Qing)求(Qiu)url地(Di)址(Zhi)，(?)根(Gen)据(Ju)响(Xiang)应(Ying)的(De)内(Nei)容(Rong)进(Jin)行(Xing)解(Jie)析(Xi)采(Cai)集(Ji)数(Shu)据(Ju)，(?) 比(Bi)如(Ru)：(?)如(Ru)果(Guo)响(Xiang)应(Ying)内(Nei)容(Rong)是(Shi)html，(?)分(Fen)析(Xi)dom结(Jie)构(Gou)，(?)进(Jin)行(Xing)dom解(Jie)析(Xi)、(?)或(Huo)者(Zhe)正(Zheng)则(Ze)匹(Pi)配(Pei)，(?)如(Ru)果(Guo)响(Xiang)应(Ying)内(Nei)容(Rong)是(Shi)xml/json数(Shu)据(Ju)，(?)就(Jiu)可(Ke)以(Yi)转(Zhuan)数(Shu)据(Ju)对(Dui)象(Xiang)，(?)然(Ran)后(Hou)对(Dui)数(Shu)据(Ju)进(Jin)行(Xing)解(Jie)析(Xi)。(?)
2. 有(You)什(Shi)么(Me)作(Zuo)用(Yong)？(?)
通(Tong)过(Guo)有(You)效(Xiao)的(De)爬(Pa)虫(Chong)手(Shou)段(Duan)批(Pi)量(Liang)采(Cai)集(Ji)数(Shu)据(Ju)，(?)可(Ke)以(Yi)降(Jiang)低(Di)人(Ren)工(Gong)成(Cheng)本(Ben)，(?)提(Ti)高(Gao)有(You)效(Xiao)数(Shu)据(Ju)量(Liang)，(?)给(Gei)予(Yu)运(Yun)营(Ying)/销(Xiao)售(Shou)的(De)数(Shu)据(Ju)支(Zhi)撑(Cheng)，(?)加(Jia)快(Kuai)产(Chan)品(Pin)发(Fa)展(Zhan)。(?)
3. 业(Ye)界(Jie)的(De)情(Qing)况(Kuang)
目(Mu)前(Qian)互(Hu)联(Lian)网(Wang)产(Chan)品(Pin)竞(Jing)争(Zheng)激(Ji)烈(Lie)，(?)业(Ye)界(Jie)大(Da)部(Bu)分(Fen)都(Du)会(Hui)使(Shi)用(Yong)爬(Pa)虫(Chong)技(Ji)术(Shu)对(Dui)竞(Jing)品(Pin)产(Chan)品(Pin)的(De)数(Shu)据(Ju)进(Jin)行(Xing)挖(Wa)掘(Jue)、(?)采(Cai)集(Ji)、(?)大(Da)数(Shu)据(Ju)分(Fen)析(Xi)，(?)这(Zhe)是(Shi)必(Bi)备(Bei)手(Shou)段(Duan)，(?)并(Bing)且(Qie)很(Hen)多(Duo)公(Gong)司(Si)都(Du)设(She)立(Li)了(Liao)爬(Pa)虫(Chong)工(Gong)程(Cheng)师(Shi)的(De)岗(Gang)位(Wei)
4. 合(He)法(Fa)性(Xing)
爬(Pa)虫(Chong)是(Shi)利(Li)用(Yong)程(Cheng)序(Xu)进(Jin)行(Xing)批(Pi)量(Liang)爬(Pa)取(Qu)网(Wang)页(Ye)上(Shang)的(De)公(Gong)开(Kai)信(Xin)息(Xi)，(?)也(Ye)就(Jiu)是(Shi)前(Qian)端(Duan)显(Xian)示(Shi)的(De)数(Shu)据(Ju)信(Xin)息(Xi)。(?)因(Yin)为(Wei)信(Xin)息(Xi)是(Shi)完(Wan)全(Quan)公(Gong)开(Kai)的(De)，(?)所(Suo)以(Yi)是(Shi)合(He)法(Fa)的(De)。(?)其(Qi)实(Shi)就(Jiu)像(Xiang)浏(Liu)览(Lan)器(Qi)一(Yi)样(Yang)，(?)浏(Liu)览(Lan)器(Qi)解(Jie)析(Xi)响(Xiang)应(Ying)内(Nei)容(Rong)并(Bing)渲(Xuan)染(Ran)为(Wei)页(Ye)面(Mian)，(?)而(?)爬(Pa)虫(Chong)解(Jie)析(Xi)响(Xiang)应(Ying)内(Nei)容(Rong)采(Cai)集(Ji)想(Xiang)要(Yao)的(De)数(Shu)据(Ju)进(Jin)行(Xing)存(Cun)储(Chu)。(?)
5. 反(Fan)爬(Pa)虫(Chong)
爬(Pa)虫(Chong)很(Hen)难(Nan)完(Wan)全(Quan)的(De)制(Zhi)止(Zhi)，(?)道(Dao)高(Gao)一(Yi)尺(Chi)魔(Mo)高(Gao)一(Yi)丈(Zhang)，(?)这(Zhe)是(Shi)一(Yi)场(Chang)没(Mei)有(You)硝(Xiao)烟(Yan)的(De)战(Zhan)争(Zheng)，(?)码(Ma)农(Nong)VS码(Ma)农(Nong)
反(Fan)爬(Pa)虫(Chong)一(Yi)些(Xie)手(Shou)段(Duan)：(?)
合(He)法(Fa)检(Jian)测(Ce)：(?)请(Qing)求(Qiu)校(Xiao)验(Yan)(useragent，(?)referer，(?)接(Jie)口(Kou)加(Jia)签(Qian)名(Ming)，(?)等(Deng))
小(Xiao)黑(Hei)屋(Wu)：(?)IP/用(Yong)户(Hu)限(Xian)制(Zhi)请(Qing)求(Qiu)频(Pin)率(Lu)，(?)或(Huo)者(Zhe)直(Zhi)接(Jie)拦(Lan)截(Jie)
投(Tou)毒(Du)：(?)反(Fan)爬(Pa)虫(Chong)高(Gao)境(Jing)界(Jie)可(Ke)以(Yi)不(Bu)用(Yong)拦(Lan)截(Jie)，(?)拦(Lan)截(Jie)是(Shi)一(Yi)时(Shi)的(De)，(?)投(Tou)毒(Du)返(Fan)回(Hui)虚(Xu)假(Jia)数(Shu)据(Ju)，(?)可(Ke)以(Yi)误(Wu)导(Dao)竞(Jing)品(Pin)决(Jue)策(Ce)
... ...
6. 选(Xuan)择(Ze)一(Yi)门(Men)语(Yu)言(Yan)
爬(Pa)虫(Chong)可(Ke)以(Yi)用(Yong)各(Ge)种(Zhong)语(Yu)言(Yan)写(Xie), C++, Java都(Du)可(Ke)以(Yi), 为(Wei)什(Shi)么(Me)要(Yao)Python?
首(Shou)先(Xian)用(Yong)C++搞(Gao)网(Wang)络(Luo)开(Kai)发(Fa)的(De)例(Li)子(Zi)不(Bu)多(Duo)(可(Ke)能(Neng)是(Shi)我(Wo)见(Jian)得(De)太(Tai)少(Shao)) 然(Ran)后(Hou)由(You)于(Yu)Oracle收(Shou)购(Gou)了(Liao)Sun, Java目(Mu)前(Qian)虽(Sui)然(Ran)在(Zai)Android开(Kai)发(Fa)上(Shang)很(Hen)重(Zhong)要(Yao), 但(Dan)是(Shi)如(Ru)果(Guo)Google官(Guan)司(Si)进(Jin)展(Zhan)不(Bu)顺(Shun)利(Li), 那(Na)么(Me)很(Hen)有(You)可(Ke)能(Neng)用(Yong)Go语(Yu)言(Yan)替(Ti)代(Dai)掉(Diao)Java来(Lai)做(Zuo)Android开(Kai)发(Fa). 在(Zai)这(Zhe)计(Ji)算(Suan)机(Ji)速(Su)度(Du)高(Gao)速(Su)增(Zeng)长(Chang)的(De)年(Nian)代(Dai)里(Li), 选(Xuan)语(Yu)言(Yan)都(Du)要(Yao)看(Kan)他(Ta)爹(Die)的(De)业(Ye)绩(Ji), 真(Zhen)是(Shi)稍(Shao)不(Bu)注(Zhu)意(Yi)就(Jiu)落(Luo)后(Hou)于(Yu)时(Shi)代(Dai). 随(Sui)着(Zhuo)计(Ji)算(Suan)机(Ji)速(Su)度(Du)的(De)高(Gao)速(Su)发(Fa)展(Zhan), 某(Mou)种(Zhong)语(Yu)言(Yan)开(Kai)发(Fa)的(De)软(Ruan)件(Jian)运(Yun)行(Xing)的(De)时(Shi)间(Jian)复(Fu)杂(Za)度(Du)的(De)常(Chang)数(Shu)系(Xi)数(Shu)已(Yi)经(Jing)不(Bu)像(Xiang)以(Yi)前(Qian)那(Na)么(Me)重(Zhong)要(Yao), 我(Wo)们(Men)可(Ke)以(Yi)越(Yue)来(Lai)越(Yue)偏(Pian)爱(Ai)为(Wei)程(Cheng)序(Xu)员(Yuan)打(Da)造(Zao)的(De)而(?)不(Bu)是(Shi)为(Wei)计(Ji)算(Suan)机(Ji)打(Da)造(Zao)的(De)语(Yu)言(Yan). 比(Bi)如(Ru)Ruby这(Zhe)种(Zhong)传(Chuan)说(Shuo)中(Zhong)的(De)纯(Chun)种(Zhong)而(?)又(You)飘(Piao)逸(Yi)的(De)的(De)OOP语(Yu)言(Yan), 或(Huo)者(Zhe)Python这(Zhe)种(Zhong)稍(Shao)严(Yan)谨(Jin)而(?)流(Liu)行(Xing)库(Ku)又(You)非(Fei)常(Chang)多(Duo)的(De)语(Yu)言(Yan), 都(Du)大(Da)大(Da)弱(Ruo)化(Hua)了(Liao)针(Zhen)对(Dui)计(Ji)算(Suan)机(Ji)运(Yun)行(Xing)速(Su)度(Du)而(?)打(Da)造(Zao)的(De)特(Te)性(Xing), 强(Qiang)化(Hua)了(Liao)为(Wei)程(Cheng)序(Xu)员(Yuan)容(Rong)易(Yi)思(Si)考(Kao)而(?)打(Da)造(Zao)的(De)特(Te)性(Xing). 所(Suo)以(Yi)我(Wo)选(Xuan)择(Ze)Python
7. 选(Xuan)择(Ze)Python版(Ban)本(Ben)
有(You)2和(He)3两(Liang)个(Ge)版(Ban)本(Ben), 3比(Bi)较(Jiao)新(Xin), 听(Ting)说(Shuo)改(Gai)动(Dong)大(Da). 根(Gen)据(Ju)我(Wo)在(Zai)知(Zhi)乎(Hu)上(Shang)搜(Sou)集(Ji)的(De)观(Guan)点(Dian)来(Lai)看(Kan), 我(Wo)还(Huan)是(Shi)倾(Qing)向(Xiang)于(Yu)使(Shi)用(Yong)”(?)在(Zai)趋(Qu)势(Shi)中(Zhong)将(Jiang)会(Hui)越(Yue)来(Lai)越(Yue)火(Huo)”(?)的(De)版(Ban)本(Ben), 而(?)非(Fei)”(?)目(Mu)前(Qian)已(Yi)经(Jing)很(Hen)稳(Wen)定(Ding)而(?)且(Qie)很(Hen)成(Cheng)熟(Shu)”(?)的(De)版(Ban)本(Ben). 这(Zhe)是(Shi)个(Ge)人(Ren)喜(Xi)好(Hao), 而(?)且(Qie)预(Yu)测(Ce)不(Bu)一(Yi)定(Ding)准(Zhun)确(Que). 但(Dan)是(Shi)如(Ru)果(Guo)Python3无(Wu)法(Fa)像(Xiang)Python2那(Na)么(Me)火(Huo), 那(Na)么(Me)整(Zheng)个(Ge)Python语(Yu)言(Yan)就(Jiu)不(Bu)可(Ke)避(Bi)免(Mian)的(De)随(Sui)着(Zhuo)时(Shi)间(Jian)的(De)推(Tui)移(Yi)越(Yue)来(Lai)越(Yue)落(Luo)后(Hou), 因(Yin)此(Ci)我(Wo)想(Xiang)其(Qi)实(Shi)选(Xuan)哪(Na)个(Ge)的(De)最(Zui)坏(Huai)风(Feng)险(Xian)都(Du)一(Yi)样(Yang), 但(Dan)是(Shi)最(Zui)好(Hao)回(Hui)报(Bao)却(Que)是(Shi)Python3的(De)大(Da). 其(Qi)实(Shi)两(Liang)者(Zhe)区(Qu)别(Bie)也(Ye)可(Ke)以(Yi)说(Shuo)大(Da)也(Ye)可(Ke)以(Yi)说(Shuo)不(Bu)大(Da), 最(Zui)终(Zhong)都(Du)不(Bu)是(Shi)什(Shi)么(Me)大(Da)问(Wen)题(Ti). 我(Wo)选(Xuan)择(Ze)的(De)是(Shi)Python 3
8. 爬(Pa)虫(Chong)基(Ji)本(Ben)套(Tao)路(Lu)
基(Ji)本(Ben)流(Liu)程(Cheng)
目(Mu)标(Biao)数(Shu)据(Ju)
来(Lai)源(Yuan)地(Di)址(Zhi)
结(Jie)构(Gou)分(Fen)析(Xi)
实(Shi)现(Xian)构(Gou)思(Si)
操(Cao)刀(Dao)编(Bian)码(Ma)
基(Ji)本(Ben)手(Shou)段(Duan)
破(Po)解(Jie)请(Qing)求(Qiu)限(Xian)制(Zhi)
请(Qing)求(Qiu)头(Tou)设(She)置(Zhi)，(?)如(Ru)：(?)useragant为(Wei)有(You)效(Xiao)客(Ke)户(Hu)端(Duan)
控(Kong)制(Zhi)请(Qing)求(Qiu)频(Pin)率(Lu)(根(Gen)据(Ju)实(Shi)际(Ji)情(Qing)景(Jing))
IP代(Dai)理(Li)
签(Qian)名(Ming)/加(Jia)密(Mi)参(Can)数(Shu)从(Cong)html/cookie/js分(Fen)析(Xi)
破(Po)解(Jie)登(Deng)录(Lu)授(Shou)权(Quan)
请(Qing)求(Qiu)带(Dai)上(Shang)用(Yong)户(Hu)cookie信(Xin)息(Xi)
破(Po)解(Jie)验(Yan)证(Zheng)码(Ma)
简(Jian)单(Dan)的(De)验(Yan)证(Zheng)码(Ma)可(Ke)以(Yi)使(Shi)用(Yong)识(Shi)图(Tu)读(Du)验(Yan)证(Zheng)码(Ma)第(Di)三(San)方(Fang)库(Ku)
解(Jie)析(Xi)数(Shu)据(Ju)
HTML Dom解(Jie)析(Xi)
正(Zheng)则(Ze)匹(Pi)配(Pei)，(?)通(Tong)过(Guo)的(De)正(Zheng)则(Ze)表(Biao)达(Da)式(Shi)来(Lai)匹(Pi)配(Pei)想(Xiang)要(Yao)爬(Pa)取(Qu)的(De)数(Shu)据(Ju)，(?)如(Ru)：(?)有(You)些(Xie)数(Shu)据(Ju)不(Bu)是(Shi)在(Zai)html 标(Biao)签(Qian)里(Li)，(?)而(?)是(Shi)在(Zai)html的(De)script 标(Biao)签(Qian)的(De)js变(Bian)量(Liang)中(Zhong)
使(Shi)用(Yong)第(Di)三(San)方(Fang)库(Ku)解(Jie)析(Xi)html dom，(?)比(Bi)较(Jiao)喜(Xi)欢(Huan)类(Lei)jquery的(De)库(Ku)
数(Shu)据(Ju)字(Zi)符(Fu)串(Chuan)
正(Zheng)则(Ze)匹(Pi)配(Pei)(根(Gen)据(Ju)情(Qing)景(Jing)使(Shi)用(Yong))
转(Zhuan) JSON/XML 对(Dui)象(Xiang)进(Jin)行(Xing)解(Jie)析(Xi)
9. python爬(Pa)虫(Chong)
python写(Xie)爬(Pa)虫(Chong)的(De)优(You)势(Shi)
python语(Yu)法(Fa)易(Yi)学(Xue)，(?)容(Rong)易(Yi)上(Shang)手(Shou)
社(She)区(Qu)活(Huo)跃(Yue)，(?)实(Shi)现(Xian)方(Fang)案(An)多(Duo)可(Ke)参(Can)考(Kao)
各(Ge)种(Zhong)功(Gong)能(Neng)包(Bao)丰(Feng)富(Fu)
少(Shao)量(Liang)代(Dai)码(Ma)即(Ji)可(Ke)完(Wan)成(Cheng)强(Qiang)大(Da)功(Gong)能(Neng)
涉(She)及(Ji)模(Mo)块(Kuai)包(Bao)
请(Qing)求(Qiu)
urllib
requests
多(Duo)线(Xian)程(Cheng)
threading
正(Zheng)则(Ze)
re
json解(Jie)析(Xi)
json
html dom解(Jie)析(Xi)
beautiful soup
lxml
xpath
操(Cao)作(Zuo)浏(Liu)览(Lan)器(Qi)
selenium