虛擬主機怎樣阻止蜘蛛訪問？有什么方法？虛擬主機組織蜘蛛訪問，可以使用robots協(xié)議來實現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。下面聚名網(wǎng)小編就為大家介紹一下虛擬主機阻止蜘蛛訪問方法。
虛擬主機怎樣阻止蜘蛛訪問？有什么方法？（推薦閱讀：虛擬主機怎么看ip？一個虛擬主機只有一個ip嗎？）
我們在管理虛擬主機時，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內(nèi)容，這時，我們需要編寫一個爬蟲協(xié)議，禁止搜索引擎來抓取數(shù)據(jù)?；蛘呤墙共糠炙阉饕媾老x來訪，而允許其他搜索引擎。都是可以通過robots文件實現(xiàn)。
當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。
虛擬主機阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時，可以如下編寫：
User-agent: *
Disallow: /
虛擬主機阻止某個蜘蛛訪問時，可以如下編寫：
User-agent: xxxspider
Disallow:/
虛擬主機阻止某個目錄被蜘蛛訪問時，可以如下編寫：
User-agent: *
Disallow: /admin/
即表示/admin/目錄，所有搜索引擎都不得來訪問。
