Python爬虫常见错误及解决方案解析

Python爬虫错误合集及解决方案

记录一下你在使用Python爬虫时可能遇到的错误以及相应的解决方案。
请求头设置错误。
如果像下面这样写，当我们请求网站时，就不会使用我们设置的header，而是使用默认的header进行请求，这样访问受限网站就会失败。
正确的做法应该是设置请求头，将信息正确传达给服务器。
标头编码错误。
有时候我们直接从浏览器中复制请求头中的cookie时，一定要注意复制前一定要点击原始内容，否则会出现解码错误。
为了安全起见，您可以在复制的Cookie字符串前面添加r，以防止其转义特殊字符。
获取网页中乱码的HTML。
如果出现这种情况，就是解码问题。
您可以通过浏览器查看网页源代码，确定网页编码格式，并在请求时设置相应的解码格式。
如果不设置编码格式，则默认为UTF-8。
如果二进制数据解码错误，则需要将获取到的字节数据转换为正常的字符串。
如果出现解码错误，请确保使用正确的编码格式进行解码，例如utf-8。
如果使用相应的编码格式后仍然出现错误，请尝试使用兼容的编码格式进行解码。
使用代理IP无效。
使用代理爬取网站时，无法区分http和https协议会出现问题。
正确的设置应该区分代理协议并应用于请求类型。
请参考相关解决方案。
保存内容到EXCEL时出现乱码。
爬取内容保存到excel文件时，如果显示乱码，可能是编码设置问题。
根据系统默认编码，例如Windows默认为gbk2312，当你保存为utf-8编码时，就会造成乱码。
解决办法是在写入csv文件时添加一个encoding="gbk"。
在Apple系统中使用UTF-8编码不会出现乱码。
持续更新中...，后续更新中将提供更多解决Python爬虫错误的方法和相关技术。
如需转载，请注明出处，以保证信息的公平传播。

Python这里为什么break和continue会出错，怎么改？

Python中最常见的错误，也是最烦人的错误。
。
。
。
Python没有{}，所以它的程序必须严格对齐，否则会出错。
whileTrue:(四个空格)num=input()(四个空格)if():(八个空格)break(四个空格)elif:(八个空格)continue明白了吗？我只是缩写了格式，没有输入所有内容。
if和num需要对齐，但不能和while对齐。
if是while的一部分，因此if必须以4个空格结尾，并且不能与while对齐。
4个空格是Python的对齐要求。
那应该没问题。
这就是我不喜欢也不使用Python的原因。
。
。
很多情况下，程序从上到下的对齐方式并不正确，下面的内部函数都需要重新对齐，如果对齐了，就不会出现错位的情况。
我很沮丧，但是Python库有很多。
一般来说，如果Python有库，我只会用Python编写，而且我喜欢偷懒。
。
。
。
由于我写的时候有空格，网站自动删除了我的空格，所以我只能手写。
当我按空格键时，我担心按错键。
只需按键盘上的Tab键即可。
一般来说，一个制表符代表四个完全对齐的空格。
。
。