robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件，robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見的文本編輯器。

　　robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個(gè)網(wǎng)站(比如 http://www.abc.com)時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

　　例如：

　　User-agent: Baiduspider

　　Disallow: /

　　robots.txt文件的格式：

　　"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開

　　User-agent:

　　該項(xiàng)的值用于描述搜索引擎robot的名字。

　　Disallow表示：

　　說明不允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。

　　舉例：

　　"Disallow:/help" 禁止robot訪問/help.html、/helpabc.html、/help 、/index.html

　　"Disallow:/help/" 則允許robot訪問/help.html

　　Allow格式：

　　與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL 是允許robot訪問的。

　　以上就是對(duì)robots協(xié)議是什么意思?robots.txt文件放在哪里的全部介紹，如果您想了解更多有關(guān)SEO相關(guān)知識(shí)，請(qǐng)及時(shí)關(guān)注我們。