禁止搜索抓WordPress

阻止搜索引擎抓取，索引你的網(wǎng)站

有一種方法是通過(guò)WordPress自帶的功能來(lái)阻止網(wǎng)站被抓去。打開(kāi)主菜單“設置”目錄下的“閱讀”選項，會(huì )出現以下界面，你會(huì )發(fā)現在最下方有一個(gè)對搜索引擎可見(jiàn)性的選項，需要我們做的就是點(diǎn)擊“建議搜索引擎不索引本站點(diǎn)”選項旁邊的方框進(jìn)行勾選。最后保存更改。

這時(shí)WordPress將自動(dòng)地把下面的代碼加到網(wǎng)站源代碼的header中：

<meta name="robots" content="noindex,follow" />
同時(shí)還會(huì )創(chuàng )建網(wǎng)站的robots.TXT文件，將以下代碼寫(xiě)入該文件。

1 User-agent: *
2 Disallow: /

這個(gè)代碼的作用是阻止網(wǎng)絡(luò )爬蟲(chóng)對你的網(wǎng)頁(yè)進(jìn)行索引。但是還取決于搜索引擎是否接受這個(gè)指令。所以，雖然大多數搜索引擎會(huì )尊重這個(gè)請求，但還是不能確保一些網(wǎng)頁(yè)或隨機圖片不被索引。

​