百度收录了大量问号加字符串数字的页面,如何解决?
2014-08-28 21:50:29   来源:   评论:0 点击:

网上查找,无非就一种。是指所有动态链接百度在抓取的过程中有可能进入死循环。所有的页面访问都指向一个页面。一般可以在robots txt文件用Disallow: *?*或 Disallow: ?*进行屏蔽处理

网上查找,无非就一种。是指所有动态链接百度在抓取的过程中有可能进入死循环。所有的页面访问都指向一个页面。一般可以在robots.txt文件用Disallow: /*?*或 Disallow: /?*进行屏蔽处理:

这两个Disallow: /*?*和 Disallow: /?*有什么不同,详解如下:

Disallow: /*?* 这个是屏蔽了所有有?的链接,这个一般可以认为是所有的动态链接。

Disallow: /?* 这个是屏蔽了以?开头的url。

相关热词搜索:收录

上一篇:网站开启伪静态和动态重复收录一个页面对网站有什么影响?
下一篇:火车头采集器采集中文网址识别不了问题