robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
robots是英語中的一個詞匯，意思是“機器人（們）”。
robotx.txt是一種用于限制搜索引擎爬蟲訪問網(wǎng)站的文件。通常，網(wǎng)站管理員可以將不希望搜索引擎訪問的內(nèi)容，包括網(wǎng)站目錄下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。
先來說sitemap，sitemap是網(wǎng)站地圖的意思，在你的網(wǎng)站上找找肯定能找到網(wǎng)站地圖。地圖里放的就是這個文件里包含的鏈接。這個不是自動生成的。再來說說robots.txt文件，是一個禁止收錄的文件。
robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
robots.txt 是一個純文本文件，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。
看英文意思??！這些都是規(guī)則，有禁止，有允許，dis就是不允許。
User杠agent：Disallow：或者User杠agent：Allow允許所有搜索引擎訪問網(wǎng)站的所有部分。Disallow說明允許robot訪問該網(wǎng)站的所有url，在robots.txt文件中，至少要有一條Disallow記錄訪問。
Disallow： 說明允許 robot 訪問該網(wǎng)站的所有 url，在 /robots.txt 文件中，至少要有一條 Disallow 記錄。如果 /robots.txt 不存在或者為空文件，則對于所有的搜索引擎 robot，該網(wǎng)站都是開放的。
User-agent： *Allow是robots文件中的一句語法，代表的意思是：允許所有的搜索引擎可以按照robots文件中的限制語法進行合理的抓取網(wǎng)站中的文件、目錄。User-agent： *Disallow：是允許所有搜索引擎收錄的意思。
禁止所有搜索引擎訪問網(wǎng)站的任何部分。用戶代理：不允許：/ 允許所有機器人訪問 用戶代理：不允許：(或者可以構(gòu)建空文件/robots.txt文件)禁止搜索引擎的訪問。
1、robotx.txt是一種用于限制搜索引擎爬蟲訪問網(wǎng)站的文件。通常，網(wǎng)站管理員可以將不希望搜索引擎訪問的內(nèi)容，包括網(wǎng)站目錄下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
2、在 robots.txt 文件中，如果有多條- User-agent 記錄說明有多個 robot 會受到 robots.txt 的限制，對該文件來說，至少要有一條 User-agent 記錄。
3、下面我們簡稱RES。Robots.txt文件的格式：Robots.txt文件的格式比較特殊，它由記錄組成。這些記錄通過空行分開。其中每條記錄均由兩個域組成：1) 一個User-Agent(用戶代理)字符串行；2) 若干Disallow字符串行。
4、txt的文件，用FTP上傳到你網(wǎng)站的根目錄就可以了?。ㄇ杏?，必須是名為robot.txt的文件）。
