不需要屏蔽，只需要屏蔽你JS文件或者死鏈接，其它的都可以寫在上面，盡量吧所有連接都寫上。
首先開啟站點(diǎn)偽靜態(tài)功能。登錄dede管理員后臺(tái)-系統(tǒng)-系統(tǒng)基本參數(shù)-核心設(shè)置-是否使用偽靜態(tài) 請(qǐng)選擇“是”。
域名和robots設(shè)置。域名盡可能簡短易記，大部分手機(jī)端網(wǎng)站的域名是PC端網(wǎng)站的二級(jí)域名，當(dāng)然這個(gè)也很好，與傳統(tǒng)網(wǎng)站保持一致，更讓重視用戶信賴。但是如果是專門的手機(jī)網(wǎng)站，最好起一個(gè)簡短而且易記的域名。
1、robots文件主要的作用就是阻止蜘蛛抓取你不想讓他抓取的文件。最好還是要一個(gè)，比如網(wǎng)站后臺(tái)等一些文件 想要不被他他抓取，robots文件就能起到作用了。
2、網(wǎng)站必須要有一個(gè)robot.txt文件。文件名是小寫字母。當(dāng)需要完全屏蔽文件時(shí)，需要配合meta的robots屬性。robots.txt的基本語法 內(nèi)容項(xiàng)的基本格式：鍵： 值對(duì)。
3、做好robots文件后到百度站長后臺(tái)更新robots文件。
4、robots.txt是搜索引擎公認(rèn)遵循的一個(gè)規(guī)范文檔，它告訴Google、百度等搜索引擎哪些網(wǎng)頁允許抓取、索引并在搜索結(jié)果中顯示，哪些網(wǎng)頁是被禁止收錄的。
1、robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。
2、網(wǎng)站必須要有一個(gè)robot.txt文件。文件名是小寫字母。當(dāng)需要完全屏蔽文件時(shí)，需要配合meta的robots屬性。robots.txt的基本語法 內(nèi)容項(xiàng)的基本格式：鍵： 值對(duì)。
3、robots 是站點(diǎn)與 spider 溝通的重要渠道，站點(diǎn)通過 robots 文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請(qǐng)注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用 robots.txt 文件。
