一向以新人的身份看待自己，當(dāng)然，我本來也是新人，說實(shí)話，確實(shí)不太敢寫一些技術(shù)性的東西，然而寫些感想又覺得太沒意思，所以嘗試寫一下自己的分析，如有錯(cuò)誤，還請(qǐng)各位看官及時(shí)更正！
昨天寫了A客戶的月報(bào)，因?yàn)橛心０逅砸菜闶琼樌y(tǒng)計(jì)數(shù)據(jù)的時(shí)候突然發(fā)現(xiàn)高網(wǎng)站的抓取頻次遠(yuǎn)遠(yuǎn)不如B客戶的網(wǎng)站，簡(jiǎn)直差了一大截。如下圖所示。

A客戶網(wǎng)站抓取頻次

B客戶網(wǎng)站抓取頻次
由上圖我們可以看出，B客戶網(wǎng)站的抓取頻次幾乎都在7500以上，而A客戶網(wǎng)站的抓取頻次全都在1000以下。那什么原因?qū)е铝俗ト☆l次的差異呢？
首先，我們來分析一下，抓取頻次的影響因素。一般來說，影響蜘蛛抓取頻次的官方因素是網(wǎng)站的外鏈，網(wǎng)站發(fā)布內(nèi)容發(fā)熱質(zhì)量、原創(chuàng)度及發(fā)布的時(shí)間，網(wǎng)站的死鏈，網(wǎng)站的代碼和站長(zhǎng)工具。這兩個(gè)站都是我們的客戶，外鏈的質(zhì)量，死鏈的數(shù)量，發(fā)布內(nèi)容及時(shí)間，包括站長(zhǎng)工具都是相同或類似的，為什么抓取頻次會(huì)有如此大的差距呢？是否是網(wǎng)頁數(shù)量的問題呢？其實(shí)不是的，我們來看一下兩網(wǎng)站的抓取時(shí)間。

A客戶網(wǎng)站的抓取時(shí)間

B客戶網(wǎng)站的抓取時(shí)間
顯然，網(wǎng)站抓取頻次少的重大元兇是抓取時(shí)間太長(zhǎng)。蜘蛛抓取的時(shí)間是一定的，抓取時(shí)間那么長(zhǎng)怎么能挽留蜘蛛呢？此外，是否服務(wù)器的差異也導(dǎo)致了兩個(gè)網(wǎng)站抓取頻次的差異呢？我們一起來看一下如下兩個(gè)圖。

A客戶服務(wù)器無響應(yīng)次數(shù)（501、502等狀態(tài)碼）

B客戶服務(wù)器無響應(yīng)次數(shù)（501、502等狀態(tài)碼）
由上圖可以看到，A客戶的服務(wù)器無響應(yīng)次數(shù)很多，而B客戶則完全相反，這難道還不能說明原因嗎？同樣的客戶，我們同樣認(rèn)真的服務(wù)，即使策略不同，該有的調(diào)整都會(huì)做好。蜘蛛的耐心是有限的，抓取的時(shí)候時(shí)間長(zhǎng)了它會(huì)離開，無響應(yīng)它也會(huì)離開，如果連續(xù)幾次都是無響應(yīng)狀態(tài)，那么它來抓取的頻率也會(huì)有所下降。
抓取頻率一旦下降，短期之內(nèi)也是升不上來的，只能依靠定時(shí)高質(zhì)量的更新慢慢吸引蜘蛛的到來。所以，小伙伴們，在抱怨網(wǎng)站抓取頻次太低之前，請(qǐng)先看看服務(wù)器還OK嗎？

推薦閱讀