大家好！昨晚幫朋友修電腦到深夜，所以今天的博文現(xiàn)在才發(fā)。別急，疊玉科技SEO今天要分享的可是干貨——關(guān)于網(wǎng)站SEO的入門知識(shí)，也是搜索引擎蜘蛛訪問網(wǎng)站的“第一站”：Robots協(xié)議的妙用和編寫技巧。

Robots協(xié)議：蜘蛛的“通行令牌”

一、Robots協(xié)議是個(gè)啥

俗稱“蘿卜絲”，Robots協(xié)議其實(shí)是搜索引擎的“機(jī)器協(xié)議”，用來告訴蜘蛛哪些頁(yè)面可以抓取，哪些不可以。這很重要，因?yàn)橛行╉?yè)面被抓取可能會(huì)有風(fēng)險(xiǎn)或損害利益。

二、Robots協(xié)議的三大指

- User-agent：指定哪些蜘蛛可以遵循下面的規(guī)則。

- Disallow：告訴蜘蛛哪些頁(yè)面或目錄禁止抓取。

- Allow：指定允許蜘蛛抓取的內(nèi)容。

別忘了，還可以在Robots文件中放置站點(diǎn)地圖，方便蜘蛛快速找到。

三、如何編寫Robot

- User-agent：定義蜘蛛名，如Baiduspider、Googlebot等。

- Disallow：列出不希望被抓取的頁(yè)面或目錄。

- Allow：指定可以被抓取的內(nèi)容。

四、Robots的實(shí)際應(yīng)

舉幾個(gè)例子：

- 禁止所有搜索引擎抓取所有頁(yè)面。

- 只允許百度蜘蛛抓取所有頁(yè)面。

- 禁止所有蜘蛛抓取特定目錄和頁(yè)面，其他允許。

五、Robots協(xié)議的大事

- 淘寶封殺百度爬蟲。

- 京東屏蔽一淘網(wǎng)爬蟲。

- BE拍賣公司因無視Ebay的Robots協(xié)議被告。

- 搜索被指違反Robots協(xié)議。

如果還有疑問，歡迎訪問疊玉科技SEO博客留言或加入官方群，博主會(huì)為大家解答。更多SEO知識(shí)，盡在疊玉科技SEO博客，助你SEO之路一臂之力！