WordPress 的robots.txt文件

一、是否需要一個(gè)robots.txt文件？

二、robots.txt文件一般保存在哪里？如何創(chuàng )建robots.txt文件？

Robots.txt文件一般保存在網(wǎng)站的根目錄下。要通過(guò)FTP客戶(hù)端連接網(wǎng)站或通過(guò)cPanel文件管理器進(jìn)行查看。該文件跟普通文本文件一樣，可以用文本編輯器（比如記事本）打開(kāi)或編輯。

如果你的網(wǎng)站沒(méi)有robots.txt文件，那么你可以在電腦上創(chuàng )建一個(gè)文本文件并命名為robots.txt，然后上傳到網(wǎng)站的根目錄下。

三、如何使用robots.txt文件？

該文件的格式很簡(jiǎn)單。第一行通常是定義一個(gè)用戶(hù)代理的名稱(chēng)，這里的用戶(hù)代理實(shí)際上就是你想要連接的搜索機器人的名稱(chēng)。你也可以使用“*”來(lái)指示所有的搜索引擎機器人。從第二行開(kāi)始，就是允許或禁止搜索的指令，如下述代碼：

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

四、優(yōu)化你的robots.txt文件

1、不需要在robots.txt文件中添加WordPress登陸頁(yè)面，管理目錄，或注冊頁(yè)面，因為這些頁(yè)面都已經(jīng)被WordPress添加了noindex標記

2、建議在robots.txt文件中添加禁止爬取 readme.html文件的指令。因為該文件可能被試圖了解網(wǎng)站W(wǎng)ordPress版本的人所利用。

3、你還可以添加插件目錄的禁止指令，這樣可以提高網(wǎng)站的安全性。

五、在robots.txt 文件中添加你的XML Sitemap

如果你使用WordPress SEO插件或其他的插件生成的XML Sitemap，那么你的插件會(huì )自動(dòng)嘗試在robots.txt文件中添加Sitemap的相關(guān)指令。如果添加失敗的話(huà)，插件會(huì )提示你連接你的XML Sitemap，那么你現在需要做的就是添加以下指令到robots.txt文件中。

Sitemap: http://wap.friendlycc.com.cn/post-sitemap.xml

Sitemap: http://wap.friendlycc.com.cn/page-sitemap.xml

六、一個(gè)合理的robots.txt文件應該是什么樣子的？

實(shí)話(huà)說(shuō)，許多流行的博客都用著(zhù)非常簡(jiǎn)單的robots.txt文件。文件中的內容則取決于網(wǎng)站的特定需求：
User-agent: *
Disallow:
Sitemap: http://www.exwap.friendlycc.com.cnsitemap.xml
Sitemap: http://www.exam​wap.friendlycc.com.cntemap.xml
這個(gè)robots.txt文件內容提供了網(wǎng)站XML Sitemap的連接，并且指示所有的爬蟲(chóng)索引所有的內容。

​