* 新闻详情- */>
免费预约专业提供网站解决方案
根据上篇文章了解到每个网站爬虫抓取的频率和次数都是有限的,在你的网站和他的网站爬虫抓取的频率和次数对等的情况下如果他的网站导出链接数量过多,他网站分配给你的爬虫份额就会很少,这也是为什么大家都喜欢跟那种交换友链次数很少的网站进行友链交换。
ETags的问题在于它们通常用属性来构建,这些属性使它们对于特定的网站服务器是独有的。当浏览器从服务器获取源组件,然后尝试在不同的服务器上验证这个组件时,ETags不会匹配的。这种情况在使用集群服务器处理请求时很常见。默认情况下,Apache和IIS在ETag中嵌入数据,这样大大降低了在有多个服务器的站点上进行有效性测试成功的几率。Apache 1.3和2.x版本的ETag格式是inode-size-timestamp。尽管一个指定的文件在不同的服务器中保存在相同的目录,有着相同的大小,权限,时间戳等等,但是不同服务器的inode是不一样的。