虛擬主機怎樣阻止蜘蛛訪(fǎng)問(wèn)？有什么方法？

虛擬主機怎樣阻止蜘蛛訪(fǎng)問(wèn)？有什么方法？虛擬主機組織蜘蛛訪(fǎng)問(wèn)，可以使用robots協(xié)議來(lái)實(shí)現。robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對應的爬蟲(chóng)被允許的權限，也就是說(shuō)robots.txt是搜索引擎中訪(fǎng)問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。下面小編就為大家介紹一下虛擬主機阻止蜘蛛訪(fǎng)問(wèn)方法。

虛擬主機怎樣阻止蜘蛛訪(fǎng)問(wèn)？有什么方法？（推薦閱讀：）

我們在管理虛擬主機時(shí)，有些情況下，不希望搜索引擎蜘蛛來(lái)訪(fǎng)問(wèn)我們的內容，這時(shí)，我們需要編寫(xiě)一個(gè)爬蟲(chóng)協(xié)議，禁止搜索引擎來(lái)抓取數據?；蛘呤墙共糠炙阉饕媾老x(chóng)來(lái)訪(fǎng)，而允許其他搜索引擎。都是可以通過(guò)robots文件實(shí)現。

當一個(gè)搜索蜘蛛訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì )首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機器人就會(huì )按照該文件中的內容來(lái)確定訪(fǎng)問(wèn)的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪(fǎng)問(wèn)網(wǎng)站上所有沒(méi)有被口令保護的頁(yè)面。

虛擬主機阻止蜘蛛訪(fǎng)問(wèn)，比如禁止全部搜索引擎來(lái)訪(fǎng)時(shí)，可以如下編寫(xiě)：

User-agent: *

Disallow: /

虛擬主機阻止某個(gè)蜘蛛訪(fǎng)問(wèn)時(shí)，可以如下編寫(xiě)：

User-agent: xxxspider

Disallow:/

虛擬主機阻止某個(gè)目錄被蜘蛛訪(fǎng)問(wèn)時(shí)，可以如下編寫(xiě)：

User-agent: *

Disallow: /admin/

即表示/admin/目錄，所有搜索引擎都不得來(lái)訪(fǎng)問(wèn)。

以上是關(guān)于虛擬主機的介紹，如需要更多的虛擬主機小知識，詳情請關(guān)注。

來(lái)源鏈接：https://www.juming.com/zx/3533.html

本站聲明:網(wǎng)站內容來(lái)源于網(wǎng)絡(luò ),如有侵權,請聯(lián)系我們,我們將及時(shí)處理。