1樓：匿名使用者
謝謝，我bai現在重新
做個sitemap.xml，重新提交du一下，看明zhi天結果如何，如果正常了，
dao我會來這告訴大家的版，在這權裡感謝 hongmeiseo大俠 同時感謝 zcooland cn-kuangye咖啡貓等，我明天會繼續上來報告情況
robots.txt禁止訪問特定目錄下的部分檔案怎麼寫？
2樓：手機使用者
生動的叫做「蜘蛛」
蜘蛛在爬去**頁面之前，會先去訪問**根目錄下面的一個檔案，就是robots.txt。這個檔案其實就是給「蜘蛛」的規則，如果沒有這個檔案，蜘蛛會認為你的**同意全部抓取網頁。
robots.txr檔案是一個純文字檔案，可以告訴蜘蛛哪些頁面可以爬取（收錄），哪些頁面不能爬取。
舉個例子：建立一個名為robots.txt的文字檔案，然後輸入
user-agent: * 星號說明允許所有搜尋引擎收錄
disallow: index.php? 表示不允許收錄以index.php?字首的連結，比如index.php?=865
disallow: /tmp/ 表示不允許收錄根目錄下的tmp目錄，包括目錄下的檔案，比如tmp/232.html
3樓：祥騰資訊
不想被掃描到的,寫上絕對路徑,
基本上可以理解為一一對應,總之絕對路徑
如何設定robots.txt禁止或只允許搜尋引擎抓取特定目錄？
robots.txt怎麼寫？robots.txt怎麼設定
4樓：賁德桑詞
robots.txt的使用方法和詳細解釋
robots.txt對於大多數有**優化經驗抄的朋友來說並不算太陌生，用過的朋友肯定會有感受，設定好robots.txt對**優化來說利遠遠大於弊。
今天彭宇誠就與大家分享一下robots.txt的使用方法襲，希望對大家有所幫助。
我們先來認識一下什麼是robots.txt？
我理解的是robots.txt是通過**控制搜尋引擎蜘蛛索引的一個手段，百以便減輕**伺服器的頻寬使用率，從而讓**的空間更穩定，同時也可以提高**其他頁面的索引效率，提高**收錄。
下面我們再來熟悉一下怎樣使度用robots.txt？
首先，我們需要建立一個robots.txt文字檔案，然後在文件內設定好**，告訴搜尋引擎我**的哪些檔案你不能知訪問。然後上傳到**根目錄下面，因為當搜尋引擎蜘蛛在索引一個**時，會先爬行檢視**根目錄下是否有robots.
txt檔案。
robots.txt檔案內的**書寫規範我們也要注意，其中user-agent:*是必須存在的，表示對所有搜尋引擎蜘蛛有效。道disallow:是說明不允許索引哪些資料夾
黑莓9700不小心設定成英文怎麼設定回中文
不會刪掉，就在剛進language時按space鍵可以切換語言。酷派大神手機不小心英文化怎麼設定成中文？黑莓9700被我弟玩成英文的了 無法設定成中文了 不過輸入法可以設定成漢語的，該怎麼辦呢？急！求高手！10 先按照一樓說的調一下語言，調了還不行的話就刷機吧，刷機時記得混刷那個不斷網的。刷機可以解...
拜佛上香不小心把香折斷了拜佛上香不小心把香折斷了？
金剛經雲 凡所有相，皆是虛妄。上香的時候不小心，香斷了，不作吉凶想，便無礙 若執著吉凶相，可能會不痛快。相由心生，命由我立！俺把達磨祖師 悟性論 中的這段文字供養給您，希望並祝福您快樂 自在。無妄想時，一心是一佛國 有妄想時，一心是一地獄。眾生造作妄想，以心生心，故常在地獄。菩薩觀察妄想，不以心生心...
喝酒不小心喝進玻璃渣該怎麼辦啊,不小心把螞蟻喝進肚子裡了怎麼辦？
是大一點的玻璃渣，還是小一點的玻璃渣呢？吃進去的 玻璃不會消化掉 在不就去找跳大神的 給你跳跳 沒有關係的 趕緊去醫院，刻不容緩！我現在很害怕！如果沒有什麼感覺問題不大,你可以吃一些含高纖維的蔬菜就可以把它包裹住排出體外的.如芹菜等.是大一點的玻璃渣，還是小一點的玻璃渣呢？可以喝醋化解，或者到醫院洗...