爬虫遇到的问题与解

学习爬虫过程中遇到的一些问题

requests的content和text方法的区别

Requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。两者区别在于，content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。直接输出content，会发现前面存在b'这样的标志，这是字节字符串的标志，而text是'，没有前面的b,对于纯ascii码，这两个可以说一模一样，对于其他的文字，需要正确编码才能正常显示。大部分情况建议使用.text，因为显示的是汉字，但有时会显示乱码，这时需要用.content.decode('utf-8')，中文常用utf-8和GBK，GB2312等。这样可以手工选择文字编码方式。所以简而言之，.text是现成的字符串，.content还要编码，但是.text不是所有时候显示都正常，这是就需要用.content进行手动编码。

re.findall提示类型不匹配的问题

外层找到后，下一步引用需要加上 str 进行转码，才不会报错

例子：

toc_block=re.findall('<h2>盗墓笔记(.*?)</div>',html,re.S)

需要转成str，否则会报类型错误的问题

toc_url=re.findall('href="(.*?)"',str(toc_block),re.S)

关于异步加载复杂json的解析

多层json，解析后，可以用re.findall查找元素