如果你想了解dz論壇（Discuz論壇）的Robots.txt設(shè)置，你可以采取以下步驟： 登錄dz論壇的后臺(tái)管理系統(tǒng)。 導(dǎo)航到“論壇設(shè)置”或類(lèi)似的選項(xiàng)。 在設(shè)置選項(xiàng)中找到“Robots文件”或相關(guān)的設(shè)置選項(xiàng)。
網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪(fǎng)問(wèn)網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪(fǎng)問(wèn)網(wǎng)站。
robots符號(hào)介紹 首先我們先來(lái)認(rèn)識(shí)一下書(shū)寫(xiě)robots時(shí)常用到的幾個(gè)字符 User-agent：寫(xiě)義搜索引擎類(lèi)型，這里的首字母要大寫(xiě)U，結(jié)尾冒號(hào)：后要加一個(gè)空格鍵，如 User-agent：* 不帶空格，User-agent： * 帶空格的。
首先，我們需要?jiǎng)?chuàng)建一個(gè)robots.txt文本文件，然后在文檔內(nèi)設(shè)置好代碼，告訴搜索引擎我網(wǎng)站的哪些文件你不能訪(fǎng)問(wèn)。
1、根據(jù)多年搜索引擎優(yōu)化的經(jīng)驗(yàn)，悟空筆記認(rèn)為，一個(gè)新站，要想快速被收錄，就必須要了解清楚搜索引擎的規(guī)則。比如：①自動(dòng)提交：把一段代碼放到網(wǎng)站后臺(tái)根目錄下或者sitemap。②手動(dòng)提交：一條鏈接一條鏈接的在站長(zhǎng)后臺(tái)提交。
2、想盡快完成SEO入門(mén)，還是多多去實(shí)踐吧！建設(shè)外鏈 外鏈包括友情鏈接、高質(zhì)量反鏈等，外鏈最主要的是業(yè)務(wù)相關(guān)性，合理的鏈接建設(shè)可以增加蜘蛛對(duì)于網(wǎng)站內(nèi)容抓取和爬行頻率，從而增加網(wǎng)站收錄，增加網(wǎng)站排名流量。
3、連收錄都保證不了，怎么去做排名？ Html地圖： 為搜索引擎建立一個(gè)良好的導(dǎo)航結(jié)構(gòu)。 Html地圖中可以分為橫向和縱向?qū)Ш?，橫向?qū)Ш街饕穷l道、欄目、專(zhuān)題等鏈接，縱向?qū)Ш街饕轻槍?duì)關(guān)鍵詞。 每個(gè)頁(yè)面都有指向網(wǎng)站地圖的鏈接。
4、關(guān)鍵詞 對(duì)于seo的優(yōu)化，首先分析關(guān)鍵詞很重要，有必要分析關(guān)鍵詞的關(guān)注度、競(jìng)爭(zhēng)對(duì)手、關(guān)鍵詞和網(wǎng)站的關(guān)聯(lián)性、關(guān)鍵詞的排名效果等。
因?yàn)橐恍┫到y(tǒng)中的URL是大小寫(xiě)敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
在 robots.txt 文件中，如果有多條- User-agent 記錄說(shuō)明有多個(gè) robot 會(huì)受到 robots.txt 的限制，對(duì)該文件來(lái)說(shuō)，至少要有一條 User-agent 記錄。
robots.txt撰寫(xiě)方法：（1），允許所有的搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分或者建立一個(gè)空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分。
1、Robots文件設(shè)置：robots.txt可以用來(lái)屏蔽這些死鏈。即設(shè)置robots.txt文件禁止蜘蛛抓取相關(guān)頁(yè)面。搜索引擎站長(zhǎng)后臺(tái)提交死鏈：軟件檢測(cè)到死鏈后，導(dǎo)出網(wǎng)站死鏈并整理成文本格式，上傳到網(wǎng)站根目錄，最終提交給搜索引擎。
2、網(wǎng)站改版以及程序上的修改會(huì)導(dǎo)致大量的死鏈接，而這些死鏈接需要整理出來(lái)，然后寫(xiě)進(jìn)robots文件中，讓搜索引擎蜘蛛清楚的了解到，這些鏈接是禁止抓取的。
3、Robots協(xié)議用來(lái)告知搜索引擎哪些頁(yè)面能被抓取，哪些頁(yè)面不能被抓??；可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片，音樂(lè)，視頻等，節(jié)省服務(wù)器帶寬；可以屏蔽站點(diǎn)的一些死鏈接。
4、在.htaccess 文件中加入代碼： ErrorDocument 404 /Error.html建立一個(gè)簡(jiǎn)單的html404頁(yè)面命名 Error.html把 Error.html放置在網(wǎng)站根目錄如果碰到困難，參考本站：錯(cuò)誤網(wǎng)頁(yè)、SEO十萬(wàn)個(gè)為什么的.htaccess文件。
5、robots基本概念 Robots.txt文件是網(wǎng)站的一個(gè)文件，它是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我們的網(wǎng)站首先就是抓取這個(gè)文件，根據(jù)里面的內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪(fǎng)問(wèn)的范圍。
6、由于數(shù)據(jù)庫(kù)中的錯(cuò)誤，動(dòng)態(tài)瀏覽無(wú)法打開(kāi)頁(yè)面，因此有必要更正數(shù)據(jù)庫(kù)中的錯(cuò)誤，這需要精通數(shù)據(jù)庫(kù)，否則可能會(huì)出現(xiàn)新的錯(cuò)誤。為網(wǎng)站設(shè)置404頁(yè)，并提供打開(kāi)網(wǎng)站其他頁(yè)面的指南。需要屏蔽的死鏈接可以添加到robots協(xié)議中。
robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限，也就是說(shuō)robots.txt是搜索引擎中訪(fǎng)問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。
網(wǎng)站必須要有一個(gè)robot.txt文件。文件名是小寫(xiě)字母。當(dāng)需要完全屏蔽文件時(shí)，需要配合meta的robots屬性。robots.txt的基本語(yǔ)法 內(nèi)容項(xiàng)的基本格式：鍵： 值對(duì)。
robots 是站點(diǎn)與 spider 溝通的重要渠道，站點(diǎn)通過(guò) robots 文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請(qǐng)注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用 robots.txt 文件。
robots文件主要的作用就是阻止蜘蛛抓取你不想讓他抓取的文件。最好還是要一個(gè)，比如網(wǎng)站后臺(tái)等一些文件 想要不被他他抓取，robots文件就能起到作用了。
1、Googlebot 可識(shí)別稱(chēng)為“Allow”的 robots.txt 標(biāo)準(zhǔn)擴(kuò)展名。其他搜索引擎的漫游器可能無(wú)法識(shí)別此擴(kuò)展名，因此請(qǐng)使用您感興趣的其他搜索引擎進(jìn)行查找。“Allow”行的作用原理完全與“Disallow”行一樣。
2、robots是一個(gè)協(xié)議，是建立在網(wǎng)站根目錄下的一個(gè)以（robots.txt）結(jié)尾的文本文件，對(duì)搜索引擎蜘蛛的一種限制指令。
3、Robots簡(jiǎn)單來(lái)說(shuō)就是搜索引擎和我們網(wǎng)站之間的一個(gè)協(xié)議，用于定義搜索引擎抓取和禁止的協(xié)議。
4、網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪(fǎng)問(wèn)網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪(fǎng)問(wèn)網(wǎng)站。
