- 掛牌上市企業
- 60秒人工響應
- 99.99%連通率
- 7*24h人工
- 故障100倍補償
錯誤鏈接的抓取 |
| 發布時間: 2012/9/23 15:51:53 |
上圖是隨便抽取的幾個蜘蛛返回404狀態碼的抓取頁面，從圖中的標注可以看出，即使網站沒有死鏈，蜘蛛仍然會抓取一部分死鏈，百度蜘蛛喜歡抓取一半URL然后就被勾引到別的地方，而谷歌也有htm后綴抓成html的情況，不過相對來說，谷歌的抓取錯誤還是非常少的，而百度就不少了，究其原因，估計只有兩家公司的工程師才清楚，我們也沒必要去關注這個原因。針對這一點，無論你的站有沒有死鏈，盡量都去給加上404錯誤頁面，因為，不管你有木有死鏈，蜘蛛都會抓到。 本文出自：億恩科技【www.ibaoshan.net】 |
0371-60135900
京公網安備41019702002023號
香港服務器租用
美國服務器租用
電信骨干機房
聯通骨干機房
