什么是robots，怎么寫(xiě)法？發(fā)布者：本站 時(shí)間：2020-05-14 16:05:17
我們了解過(guò)什么是搜索引擎蜘蛛后，就應(yīng)該了解下什么是robots.txt，因?yàn)榍懊娼榻B搜索引擎蜘蛛是按照鏈接爬行的，有的時(shí)候我不希望搜索引擎蜘蛛爬行并抓取，比如網(wǎng)站后臺(tái)文件，如果地址被抓取暴露出來(lái)，那后果不是很?chē)?yán)重嗎？那么是否有制約搜索引擎蜘蛛的規(guī)則或文件呢？
什么是robots.txt
當(dāng)搜索引擎爬行到某個(gè)網(wǎng)站的時(shí)候，首先第一查看的文件就是robots.txt，查看是否存在，如果存在那么網(wǎng)站的哪些文件不允許爬行，就像道路交通一樣，某些道路無(wú)法通行。而robots.txt就像交警的存在，明確指示著某條道路不能通行，如果不存在，那么網(wǎng)站所有頁(yè)面將均可以被蜘蛛爬行并收錄。
robots.txt的寫(xiě)法
robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫(xiě)。格式例如：
User-agent: *
Disallow: /admin/ <后臺(tái)管理文件>
Disallow: /require/ <程序文件>
Disallow: /attachment/ <附件>
Disallow: /images/ <圖片>
Disallow: /data/ <數(shù)據(jù)庫(kù)文件>
Disallow: /template/ <模板文件>
Disallow: /css/ <樣式表文件>
Disallow: /lang/ <編碼文件>
Disallow: /script/ <腳本文件>
? User-Agent: 遵守的規(guī)則
? Disallow: 要攔截的網(wǎng)頁(yè)
選擇我們，優(yōu)質(zhì)服務(wù)，不容錯(cuò)過(guò)
1. 優(yōu)秀的網(wǎng)絡(luò)資源，強(qiáng)大的網(wǎng)站優(yōu)化技術(shù)，穩(wěn)定的網(wǎng)站和速度保證
2. 15年上海網(wǎng)站建設(shè)經(jīng)驗(yàn)，優(yōu)秀的技術(shù)和設(shè)計(jì)水平，更放心
3. 全程省心服務(wù)，不必?fù)?dān)心自己不懂網(wǎng)絡(luò)，更省心。
------------------------------------------------------------
24小時(shí)聯(lián)系電話(huà)：021-58370032