新建一個文本文件重命名為robots.txt，然后通過ftp上傳上去就行了，可以百度下robots的書寫規(guī)則，然后自己定制一下就行，也可以用站長工具進行生成。很簡單的。
登陸網(wǎng)站后臺FTP，robots文件就在站點的根目錄下面，直接使用查找輸入r就可以找到，如果沒有找到的話，可能設(shè)置的隱藏，強制現(xiàn)實文件即可，還有一種原因就是網(wǎng)站沒有robots文件，不是所有的建站系統(tǒng)都自帶robots文件的。
打開您的網(wǎng)頁瀏覽器，如Chrome，F(xiàn)irefox等，輸入b站的網(wǎng)址“”。在瀏覽器地址欄的末尾輸入“/robots.txt”，即“”，然后按下回車鍵。
robots是英語中的一個詞匯，意思是“機器人（們）”。
Robots.txr文件是一個純文本文件，可以告訴蜘蛛哪些頁面可以爬?。ㄊ珍洠?，哪些頁面不能爬取。
Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）是約束所有蜘蛛的一種協(xié)議。搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
原因：百度無法抓取網(wǎng)站，因為其robots.txt文件屏蔽了百度。方法：修改robots文件并取消對該頁面的阻止。機器人的標準寫法詳見百度百科：網(wǎng)頁鏈接。更新百度站長平臺(更名為百度資源平臺)上的網(wǎng)站機器人。
1、網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪問網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪問網(wǎng)站。
2、需要注意的是，robotx.txt文件應(yīng)該僅用于控制搜索引擎的訪問，不應(yīng)該包含敏感信息，例如用戶密碼和個人信息等。同時，網(wǎng)站管理員應(yīng)該定期更新robotx.txt文件，以確保搜索引擎可以正確地識別新的內(nèi)容。
3、網(wǎng)站改版或URL重寫優(yōu)化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。一些沒有關(guān)鍵詞的頁面，比如本站的這個頁面，屏蔽掉更好。一般情況下，站內(nèi)的搜索結(jié)果頁面屏蔽掉更好。
4、打開您的網(wǎng)頁瀏覽器，如Chrome，F(xiàn)irefox等，輸入b站的網(wǎng)址“”。在瀏覽器地址欄的末尾輸入“/robots.txt”，即“”，然后按下回車鍵。
5、一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。
6、屏蔽網(wǎng)站內(nèi)的死鏈接。屏蔽搜索引擎蜘蛛抓取站點內(nèi)重復(fù)內(nèi)容和頁面。阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。（例如用戶賬戶信息等）Robots.txt放在哪？robots.txt 文件應(yīng)該放置在網(wǎng)站根目錄下（/robots.txt）。
robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
robots.txt撰寫方法：（1），允許所有的搜索引擎訪問網(wǎng)站的所有部分或者建立一個空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪問網(wǎng)站的所有部分。
Robots.txr文件是一個純文本文件，可以告訴蜘蛛哪些頁面可以爬?。ㄊ珍洠?，哪些頁面不能爬取。
Disallow：/admin (禁止蜘蛛爬取admin目錄)Disallow：/login.html (禁止蜘蛛爬去login.html頁面)Disallow：/help.html (禁止蜘蛛爬去help.html頁面)《三》Allow：是允許語法，用來定義允許蜘蛛爬取的頁面或者子目錄。
