1、robots是一個協(xié)議，是建立在網(wǎng)站根目錄下的一個以（robots.txt）結(jié)尾的文本文件，對搜索引擎蜘蛛的一種限制指令。
2、robots是英語中的一個詞匯，意思是“機器人（們）”。
3、robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它 。robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
4、robots 是站點與 spider 溝通的重要渠道，站點通過 robots 文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用 robots.txt 文件。
1、機器人放在服務(wù)器的根目錄下，所以如果你想查看，只要在IE上輸入http：//yourwebsite/robots.txt即可。如果想檢查分析機器人，有專業(yè)的相關(guān)工具。
2、也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
3、robots.txt文件查看的話，如果是自己的網(wǎng)站，只要用記事本打開就可以了；如果是別人的網(wǎng)站的robots.txt就需要借助一些工具來查看了。
1、如果你想了解dz論壇（Discuz論壇）的Robots.txt設(shè)置，你可以采取以下步驟： 登錄dz論壇的后臺管理系統(tǒng)。 導(dǎo)航到“論壇設(shè)置”或類似的選項。 在設(shè)置選項中找到“Robots文件”或相關(guān)的設(shè)置選項。
2、網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪問網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪問網(wǎng)站。
3、robots符號介紹 首先我們先來認識一下書寫robots時常用到的幾個字符 User-agent：寫義搜索引擎類型，這里的首字母要大寫U，結(jié)尾冒號：后要加一個空格鍵，如 User-agent：* 不帶空格，User-agent： * 帶空格的。
4、首先，我們需要創(chuàng)建一個robots.txt文本文件，然后在文檔內(nèi)設(shè)置好代碼，告訴搜索引擎我網(wǎng)站的哪些文件你不能訪問。
