新手,用python写的爬虫,为什么出现404

发布网友发布时间：2022-04-23 01:16

共5个回答

懂视网时间：2022-05-10 12:47

这篇文章主要介绍了Django实现自定义404，500页面的详细方法，非常简单实用，有需要的小伙伴可以参考下1.创建一个项目django-admin.py startproject HelloWorld2.进入HelloWorld项目,在manage.py的同一级目录，创建templates目录，并在templates目录下新建404.html，500.html两个文件。3.修改settings.py（1.）DEBUG修改为False,（2.）ALLOWED_HOSTS添加指定域名或者IP，（3.）指定模板路径 ‘DIRS' : [os.path.join(BASE_DIR,‘templates')],# SECURITY WARNING: don't run with debug turned&

1. 使用Django实现自定义404，500页面的方法

简介：这篇文章主要介绍了Django实现自定义404，500页面的详细方法，非常简单实用，有需要的小伙伴可以参考下

2. Nginx自定义404页面（Linux环境下配置）

简介：:本篇文章主要介绍了Nginx自定义404页面（Linux环境下配置），对于PHP教程有兴趣的同学可以参考一下。

3. Magento如何自定义404页面？

简介：:本篇文章主要介绍了Magento如何自定义404页面？，对于PHP教程有兴趣的同学可以参考一下。

4. Apache错误页面404、403配置教程_PHP教程

简介：Apache错误页面404、403配置教程。在PHP网站开发中，在用户访问网站出错、找不到页面时，会出现HTTP 404,403错误信息，为了提高用户体验，我们需要自定义404、403错误页面，

5. php中header自定义404状态错误页面_PHP教程

简介：php中header自定义404状态错误页面。404页面就是一个告诉搜索引擎这个页面不存在了，同时也提示用户可以选择其它的操作了，下面我来给没有apache操作权限朋友介绍php中自定

6. appache 中设置自定义404、403错误

简介：appache 中设置自定义404、403错误

7. PHP开源网站系统PHPLD怎么自定义404异常

简介：PHP开源网站系统PHPLD如何自定义404错误各位兄弟，有谁知道怎么样自定义PHP网站的404错误的吗。能详细一点的。谢谢了------解决方案--------------------404页面是 web server 的事情，与服务器端脚本无关 ------解决方案--------------------Nginx 404 error_p

8. Apache错误页面404、403配置教程

9. 如何在linux系统下自定义404错误页?

简介：网站的整过转移过程十分顺利，除了404错误页面设置有异于windows系统外。那么在linux系统下如何设置自定义404错误页呢？下面将分两个步骤实现一、在网站的根目录下查看是否有.htaccess 文件，如果没有则自建一个。在.htaccess 文件中加入如下语句：

【相关问答推荐】：

404 - nginx配置40页面

toroPHP如何设置404页面？

热心网友时间：2022-05-10 09:55

可能是你的header写的太简单了，我刚刚也是一直404，因为一开始我的header里只有User-Agent，再加上Accept,Accept-Encoding,Content-Type,Host,Origin,Proxy-Connection,Referer,Upgrade-Insecure-Requests就行了，这些都可以从chrome的开发者工具里直接看，或者用fiddler等工具看。

热心网友时间：2022-05-10 11:13

解决办法：
当爬虫爬取国*站的时候，常常会出现HTTPErro 404的情况，而用浏览器却可以正常浏览网页，这时候只需要把爬虫伪装成浏览器即可，也就是加上User-Agent就可以了，具体如何获取User-Agent，可以用浏览器随便打开一个网页，然后右键选择‘审查元素’，在Network里面找到即可！

热心网友时间：2022-05-10 12:47

现在很多网站会对ip访问次数进行*，增加了网站反爬虫机制，当ip访问次数受限时会出现404的情况。
想解决这类问题需要配合http比如ipidea来进行爬虫工作，能提高爬虫效率节约时间，保护我们的本地信息！

热心网友时间：2022-05-10 14:39

很多了，基本上一搜就搜出来很多
什么618IP代理.牛魔站大爷蘑菇
其实都是差不多的，可能价格方面有不同，还有有的节点可能不一样
你可以对比一下，选个最适合自己的