
robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看和抓取的,哪些是不必查看和抓取的。當(dāng)搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
軟優(yōu)化建議,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。國內(nèi)著名的電商網(wǎng)站淘寶網(wǎng)為了網(wǎng)站的數(shù)據(jù)不外泄,對所有搜索蜘蛛進(jìn)行了屏蔽。
這樣做的好處在于,更好的保護(hù)網(wǎng)站的隱私,比如后臺文件,用戶注冊信息等。對于SEO來說,robots.txt可以對重復(fù)內(nèi)容、低質(zhì)量但是用戶必須要看的內(nèi)容進(jìn)行屏蔽,比如關(guān)于我們,聯(lián)系我們等頁面,還有樣式、js等文件都可以通過robots.txt屏蔽,也就是給搜索蜘蛛呈現(xiàn)的是網(wǎng)站好的一面,對用戶體驗度差的進(jìn)行屏蔽,避免蜘蛛對網(wǎng)站造成不必要的困擾。我們在屏蔽的時候一定要反復(fù)推敲,避免將有價值的內(nèi)容進(jìn)行了屏蔽。
在SEO應(yīng)用中常見的屏蔽還有,比如你用了偽靜態(tài)技術(shù),就出現(xiàn)了兩個路徑或者多個路徑,這時候就要屏蔽動態(tài)鏈接和其他鏈接,避免出現(xiàn)多個鏈接的情況,保證每個頁面訪問路徑的唯一性。