您的位置:廣州網站優化 > Robots文件是什么?Robots文件的知識解讀。
時間:2020-05-19 19:19:04 來源: 編輯:廣州網站SEO

Robots文件是什么?Robots文件的知識解讀。
今天來了解一個可能有些人都沒有見過的東西,就是robots文件。大家都知道人與人之間交往都會把最好的一面展示給對方,讓對方更加喜歡。同樣百度收錄也為了展示更多有效有價值的頁面,避免沒有意義的頁面,所以就有了這個robots文件。

Robots文件
當蜘蛛首次爬行我們的網站的時候,會優先爬行我們的這個robots文件,看看里面是需要爬行收錄哪些和禁止收錄哪些。但是robots文件不是每個目錄下都要放的,下面我簡單介紹一下怎么使用robots文件。
1、robots.txt的位置
robots.txt文本文件必須存放在站點的根目錄,可以理解為跟首頁是同一個頁面。這樣,蜘蛛會在爬行的時候就不用判斷robots.txt文件在哪里,然后首先就爬行robots.txt文件。如果沒有發現robots.txt文件,蜘蛛就會爬行所有的文件,增加了很多沒有意義的操作,增加了蜘蛛的工作量。
2、robots的展現形式
一般當SEO工作者需要在網站中展現robots文件的時候,可以進行一些必要的代碼添加。而常用的代碼是<meta name="robots" content="index,follow"> , meta標簽作用是展現網站的關鍵詞和網站描述,name="robots" 是指識別所有搜索引擎;content="index,follow"搜索引擎索引頁。

Robots文件
一個比較好的網站都會擁有一個robots文件,今天,你學會了嗎?
robots.txt文本文件必須存放在站點的根目錄下,也就是需要和首頁在同級目錄下。這樣一方面優先百度查找并進行排除,一方面使百度蜘蛛沒有必要去判斷 robots.txt文件存放在哪個目錄下。如果沒有 robots.txt文件,會使百度蜘蛛爬行所有的網站,然后進行收錄等,增加了一些不必要的操作,加大了百度蜘蛛的工作量。