服務(wù)器日志除了找404的問(wèn)題，找異常ip、看蜘蛛爬取的次數(shù)、是否爬取過(guò)重要頁(yè)面以外，相信還有很多的作用。
某在想著怎么快速解決手游站收錄的時(shí)候，突發(fā)奇想，記得以前看過(guò)某個(gè)人對(duì)于百度蜘蛛字段的分析，所以想用這個(gè)東西加以分析一下，看一下目前手游站百度蜘蛛抓取的情況到底是怎樣的。

具體的字段區(qū)分看這里，但我不知道是否還有用http://www.aiwom.net/post/baiduspider.html
但我想大家只要記錄下以下的4點(diǎn)摘要OK了
123.125.71.*
低權(quán)重匯總：抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章暫時(shí)被收錄但不放出來(lái)(意思也是說(shuō)待定)，因不是原創(chuàng)或采集文章
220.181.108.*
權(quán)重蜘蛛?yún)R總：主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)，24小時(shí)內(nèi)放出來(lái)和隔夜快照的!
220.181.68.*
沙盒：每天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站
61.135.168.*
抓取圖片的百度蜘蛛

現(xiàn)在言歸正傳，在對(duì)比了這位大大總結(jié)的內(nèi)容之后，再匹配日志查看，有幾個(gè)論證和猜想：
爬取收錄上：
1、220.181.108.*字段開(kāi)頭的確實(shí)是高權(quán)重ip，這點(diǎn)應(yīng)該沒(méi)有大問(wèn)題。但高權(quán)重的字段不表示一定會(huì)收錄，猜測(cè)可能和目錄的新舊還是有一定關(guān)系的，舊有目錄在高權(quán)重的ip下一爬基本都會(huì)隔天收錄，甚至有些當(dāng)天放出來(lái)；但如果是新加了的目錄層級(jí)，貌似即使蜘蛛爬過(guò)了也不會(huì)馬上放出來(lái)，這個(gè)周期目前看起來(lái)對(duì)于新站來(lái)說(shuō)，是很漫長(zhǎng)的過(guò)程（具體多漫長(zhǎng)，我猜測(cè)1個(gè)月至少，還和站點(diǎn)的建設(shè)情況有關(guān)。）
2、123.125.71.*來(lái)的是低權(quán)重的字段，在收錄效果上，我不能很明確的說(shuō)yes，在結(jié)果中確實(shí)也出現(xiàn)了被這個(gè)ip爬取后第二天還顯示出來(lái)的收錄結(jié)果。

權(quán)重賦予上：
1、220.181.108.*字段的怎么說(shuō)，爬過(guò)的給予的權(quán)重不低。我列這么個(gè)構(gòu)想圖吧
（1）、
高權(quán)重爬取（保證了收錄）->的標(biāo)題->文章標(biāo)題全匹配搜索，肯定位
高權(quán)重爬取（保證了收錄）->抄別人的標(biāo)題->文章標(biāo)題全匹配搜索，結(jié)果也不會(huì)太差，貌似前3頁(yè)肯定找得到
而且還會(huì)碰到這樣，比如文章1的上下篇里有另一篇文章2的標(biāo)題，即使文章2沒(méi)被爬過(guò)和收錄，只要文章1被高權(quán)重爬過(guò)并放出來(lái)，全匹配搜索文章2的標(biāo)題，文章1也會(huì)經(jīng)常堂而皇之的出現(xiàn)在搜索結(jié)果里。
（2）、
低權(quán)重爬取的被收錄后，只要資源不是稀缺形的，全標(biāo)題匹配搜索還真不一定能找到。。。搜索結(jié)果展示確實(shí)不如高權(quán)重蜘蛛爬過(guò)的。

然后我們來(lái)看手游站近一周的分析數(shù)據(jù) ，分析完了后發(fā)現(xiàn)，終收錄結(jié)果貌似和是否高、低權(quán)重蜘蛛爬過(guò)沒(méi)有關(guān)系，只影響收錄的速度，有種被忽悠的感覺(jué)。但歸根結(jié)底還是數(shù)據(jù)量小，時(shí)間長(zhǎng)度拉的不夠，其實(shí)如果要驗(yàn)證是否高權(quán)重蜘蛛爬取的收錄更快的話(huà)，還是應(yīng)該看下當(dāng)天爬取后隔天的收錄結(jié)果更準(zhǔn)確。

其他的研究結(jié)果：
1、“百度診斷”工具來(lái)的蜘蛛是低權(quán)重蜘蛛字段。heng~這樣的逆推的話(huà)，估計(jì)在搜索結(jié)果里提示找不到要你提交url的那個(gè)功能估計(jì)也是低權(quán)重的蜘蛛字段
2、百度“站內(nèi)搜索”提交的sitemap索引，來(lái)的是高權(quán)重的蜘蛛字段~

推薦閱讀

淺談URL優(yōu)化該怎么寫(xiě),如何判斷重要性@steven | 文軍營(yíng)銷(xiāo)蜘蛛不必花時(shí)間過(guò)于的去分析你的頁(yè)面內(nèi)結(jié)構(gòu),層次清晰。 4.爬蟲(chóng)黑洞:這個(gè)問(wèn)題不是什么新問(wèn)題了。百度也有做專(zhuān)門(mén)的闡述,因?yàn)橐恍﹗rl處理不當(dāng)產(chǎn)生的動(dòng)態(tài)參數(shù)后綴,或是刻意圈住蜘蛛所做的無(wú)限循環(huán),這種的效果明顯是弊大于利。對(duì)URL 的規(guī)劃上一定要想辦法盡可能的處理掉無(wú)限動(dòng)態(tài)參數(shù)后綴,并且也要合理的給蜘蛛出口,這才是真正有利于SEO 的做法,