为什么新建的网站会出现搜索引擎爬虫无法访问的情况?

发布网友发布时间：2022-04-23 01:16

共5个回答

热心网友时间：2023-10-09 21:42

1：检查robots文件中是否有屏蔽对应的搜索引擎蜘蛛。
如果robots中写入了禁止搜索引擎抓取，那么蜘蛛是不会抓取的。
2：检查网站空间或服务器的地理位置。
如果网站服务器空间在国外或相对偏远的国外，有可能爬虫有无法访问的情况。
3：咨询空间服务商看是否对你所需要的蜘蛛做了屏蔽策略。
国外的一些空间有服务商针对搜索引擎做了一些策略，不排除屏蔽百度蜘蛛访问的可能。
4：域名曾绑定别的服务器，但此时更换了空间和绑定，原有ip已不存在
进入百度站长资源平台进行抓取测试，如果ip错误则点击手动刷新，清除蜘蛛ip缓存记录。
5：检查远程服务器是否宕机，但是开启了CDN永久在线功能
这种情况偶尔是有的，由于cdn缓存了网站，因此浏览器能打开，但是蜘蛛等其他方式无法打开。追问怎样查看自己的服务器空间在哪里呢？我用的是阿里云的服务器。

追答到你阿里云的账号下看，如果还有其他问题可以私信我

热心网友时间：2023-10-09 21:42

这个问题有以下几种原因导致：

robots文件*了搜索引擎的访问。wordpress网站可以通过后台设置，建议检查以下

把搜索引擎加入黑名单中。

建议通过百度站长管理工具抓取网站错误看一下。

热心网友时间：2023-10-09 21:43

通过浏览器能打开，蜘蛛无法爬行，可能是因为你的robots禁止了蜘蛛爬行。你如果没有设置，你还需要发个你的网站的地址，这样我们才能帮你分析。追问

这个是网址：网页链接，我没有设置robots。

追答

你有没有发现你的网站就是一个单页，即使我点击任何栏目它都还是一个页面无任何变化，只有上面的网址地址在变化。

最重要一点，正常的域名是xxx。com/shouye

但你的是xxx。com：96/#top，这个不符合规则。

还有网站在电脑端不自适应，或者网页面积太大无法完全展示。

网站内部有大量的描述<解释说明标签>一般这个用于第三方的代码多一些，你这个网站内部都是这样的。

===========

最重要的点是蜘蛛爬行的是首页，你的网站域名无任何代码

正常输入域名是空白，查看源码也是空白

必须输入全部

建议解决方案，后台将主域名解析绑定网站。





热心网友时间：2023-10-09 21:44

查一查自己的网站地图，看一下我这些链接之间是不是有断链的情况？如果你的链接之前有断链，这情况发生，那么，搜索引擎在你网站进行访问的时候就会失去目标，我们要不断地更新网站上所以群主的的提交新网页的链接，从而增强网站快速收录的能力，明晚我们要让网站的结构，尽量的境界，从首页到达任何内容都不要错过三次，却把网站做得非常紧，访问速度非常的快速，你的网站在搜索引擎才会有好的表现追问感谢你的回答，我现在遇到的问题不是优化的问题，而是除了浏览器能访问，其他的途径没法访问的问题，请问你有这方面问题的经验吗？

热心网友时间：2023-10-09 21:44

新建的网站会出现搜索引擎爬虫无法访问的情况有两个原因：一是因为你空间速度慢，二是因为百度站长工具故障，你可以多抓取几次看看！