Disallow: /*/$ Disallow: / ? 问的是这两个禁止的是什么
发布网友
发布时间:2022-04-29 10:16
我来回答
共2个回答
热心网友
时间:2022-06-26 01:39
你这2个写的都有问题。。
给你好好解释一下robots.txt文件* $符号的使用规则,你就明白了:
使用 * 匹配字符序列
您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以"专用"开头的子目录的访问,可使用下列条目:
User-Agent:Googlebot
Disallow:/专用*/
要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
User-agent:*
Disallow:/*?
使用 $ 匹配网址的结束字符
您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:
User-Agent:Googlebot
Disallow:/*.asp$
您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 搜索引擎蜘蛛不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:
User-agent:*
Allow:/*?$
Disallow:/*?
热心网友
时间:2022-06-26 01:39
光凭这个因为是很难解释禁止什么,应该还有别的英文名词,要不就是运行了什么软件或什么网络、程序等的进程,在过程中出现的非逻辑命令或操作。