WordPress教程之通過(guò)robots協(xié)議屏蔽搜索引擎抓取網(wǎng)

大家做網(wǎng)站難免有些時(shí)候不想讓某些搜索引擎抓取某些頁(yè)面，當然可以在根目錄下放robots.txt文件屏蔽搜索引擎或者設置搜索引擎可以抓取文件范圍以及規則。Robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、機器人協(xié)議等）的全稱(chēng)是“網(wǎng)絡(luò )爬蟲(chóng)排除標準”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

一、Robots協(xié)議寫(xiě)法說(shuō)明

• User-agent: 這里的代表的所有的搜索引擎種類(lèi)，*是一個(gè)通配符；
• Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄；
• Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄；
• Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄；
• Disallow: /cgi-bin/*.htm 禁止訪(fǎng)問(wèn)/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)；
• Disallow: /? 禁止訪(fǎng)問(wèn)網(wǎng)站中所有包含問(wèn)號 (?) 的網(wǎng)址；
• Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片；
• Disallow: /ab/adc.html 禁止爬取ab文件夾下面的adc.html文件；
• Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄；
• Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄；
• Allow: .htm$ 僅允許訪(fǎng)問(wèn)以”.htm”為后綴的URL；
• Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片；
• Sitemap: 網(wǎng)站地圖地址 告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖；

二、Robots協(xié)議舉例

例1. 禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部分

User-agent: *
Disallow: /

例2. 允許所有的robot訪(fǎng)問(wèn) (或者也可以建一個(gè)空文件 “/robots.txt”)

User-agent: *
Allow: /

例3. 禁止某個(gè)搜索引擎的訪(fǎng)問(wèn)

User-agent: BadBot
Disallow: /

例4. 允許某個(gè)搜索引擎的訪(fǎng)問(wèn)

User-agent: Baiduspider
Allow:/

三、本站使用的Robots協(xié)議

User-agent: *
Disallow: /wp-*/
Disallow: /*?connect=*
Disallow: /date/*
Disallow: /kod/*
Disallow: /api/*
Disallow: /*/trackback
Disallow: /*.js$
Disallow: /*.css$
Disallow:/*?replytocom*
Disallow: /comments/
Disallow: /*/comments/
Disallow: /feed/*
Disallow: /*/*/feed/*
Disallow: /*/*/*/feed/*
Disallow:/articles/*
Disallow:/shuoshuo/*
Sitemap: https://www.zhujizhen.com/sitemap.xml