我爱读小说网

字: 大 中 小
关灯 护眼
我爱读小说网 > 此生应无憾 > 第279章 未雨绸缪 (4 / 5)

第279章 未雨绸缪 (4 / 5)

        即便有robots协议,爬虫还是可以爬取网站内容,但是搜索引擎服务却不能将爬取到的内容进行展现,否则就可以直接去法院把搜索引擎公司告得灰头土脸。

        但由于在PC互联网时代的中后期,搜索引擎就是最大的互联网流量入口,拥有互联网上最强大的话语权。

        中小网站如果拒绝搜索引擎的爬取,其实和自绝于互联网没啥两样。

        如果网站的拥有者还希望网站能被人们访问到的话,就只能乖乖接受搜索引擎的爬取,并祈祷搜索引擎公司足够讲道理,不过分使用快照等方式进行截流。

        其实robots协议里存在白名单的机制,看上去嘉盛可以只允许自家的搜索引的爬虫进行爬取,拒绝其他搜索引擎的爬虫。

        但实际上这一点也是行不通的。

        前世为了打击360,百度就曾使用robots协议白名单,禁止360抓取百度百科、百度贴吧和百度知道的内容,而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取。

        360认为百度对robots协议的使用具有歧视性而拒绝遵守,百度也因此起诉360不遵守robots协议。

        本来robots协议作为行业通用守则,虽然不具备明确的法律效力,但是依然非常具有参考价值,百度觉得赢面很大。

        但双方对簿公堂后,由于百度难以“证明竞争对手的行为具有不正当性”,无法支持采取针对性限制360爬虫措施的正当性,所以最终没能借助法律手段达到阻拦360的目的。

        2014年8月7日法院对百度诉360案做出的一审判决:回百度有关不正当竞争的诉求,判定其必须修改爬虫协议。

  The content is not finished, continue reading on the next page