• 經典案例
    • 江西省日威服裝有限公司
    • 北京后羿射日酒業
    • 天浪網絡
    • 贛州芒果小公館
    • 贛州中信旅游網
    • 江西益康紙塑工貿有限公司
    • 贛州天合移門
    • 贛州元吉裝飾工程有限公司
    • 贛州市登峰農業開發有限公司

    各種搜索引擎蜘蛛名稱

    發布于:2014-10-09 22:50來源:贛州網站優化專欄 作者:tinaweb 點擊:
    分享到:

    下面列出來的是比較出名的搜索引擎蜘蛛名稱:
    Google的蜘蛛: Googlebot
    百度的蜘蛛:baiduspider
    Yahoo的蜘蛛:Yahoo Slurp
    MSN的蜘蛛:Msnbot
    Altavista的蜘蛛:Scooter
    Lycos的蜘蛛: Lycos_Spider_(T-Rex) 
    Alltheweb的蜘蛛: FAST-WebCrawler/ 
    INKTOMI的蜘蛛: Slurp
    SOGOU的蜘蛛:Sogou web spider/4.0和Sogou inst spider/4.0

    按照以上的說明,我們可以給大案一個示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:
    User-agent: Sogou web spider/4.0
    Disallow: /goods.php 
    Disallow: /category.php

    tag標簽:
    ------分隔線----------------------------
    ------分隔線----------------------------
    久久WWW免费人成_看片,日产中文乱码字幕无线观看,青青成线在人线免费啪,在线看片A免费人成动漫