代理加盟 2019全新代理計劃 賺錢+省錢雙管齊下,獨立平臺,豐厚利潤!

您現在的位置: 大乐透复式20加8多少钱 > 站長學院 > SEO資訊 >

92复式双色球多少钱:SEO教程:禁止搜索引擎抓取網站內容

來源:未知 發布時間:2019-11-30熱度: ℃我要評論
大家做seo都是在千方百計的讓搜索引擎抓取和收錄,但是其實很多情況下我們還需要禁止搜索引擎抓取和收錄 比如,公司內部測試的網站,或者內部網,或者后臺登錄的頁面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓...

大乐透复式20加8多少钱 www.wmmqog.com.cn 織夢模板免費下載,無需注冊無需充值

大家做seo都是在千方百計的讓搜索引擎抓取和收錄,但是其實很多情況下我們還需要禁止搜索引擎抓取和收錄

比如,公司內部測試的網站,或者內部網,或者后臺登錄的頁面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。

禁止搜索引擎抓取方法:

創建robots.txt文件到WEB根目錄下,其內容為:

User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: 
User-agent: YodaoBot
Disallow: 
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /

給大家發一張禁止搜索引擎抓取網站的搜索結果截圖:

百度官方對robots.txt的解釋是這樣的:

Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

9月11日,百度搜索robots全新升級。升級后robots將優化對網站視頻URL收錄抓取情況。僅當您的網站包含不希望被視頻搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。

如您的網站未設置robots協議,百度搜索對網站視頻URL的收錄將包含視頻播放頁URL,及頁面中的視頻文件、視頻周邊文本等信息,搜索對已收錄的短視頻資源將對用戶呈現為視頻極速體驗頁。此外,綜藝影視類長視頻,搜索引擎僅收錄頁面URL。

本文地址://www.wmmqog.com.cn/seo/1972.html

    發表評論

    評論列表(條)