用asp做网站系统步骤,免费建设小说网站,汕头市网络优化推广平台,包头网站建设 奥北简介#xff1a; 前两天#xff0c;TaoTao发布了一篇关于“获取抖音评论”的文章。但是之前的那一篇包涵的代码呢仅仅只能获取一级评论。虽然说抖音的一级评论挺精彩的了#xff0c;但是其实二级评论更加有意思#xff0c;同时二级评论的数量是很多。所以二级评论是非常值…简介 前两天TaoTao发布了一篇关于“获取抖音评论”的文章。但是之前的那一篇包涵的代码呢仅仅只能获取一级评论。虽然说抖音的一级评论挺精彩的了但是其实二级评论更加有意思同时二级评论的数量是很多。所以二级评论是非常值得我们关注的。因此TaoTao花了一些时间写了一下这块的代码。接下来就让TaoTao带着大家来看一下整个过程是怎样的吧 视频讲解如下 【爬虫实战】全过程详细讲解如何使用python获取抖音评论包括二级评论 环境 代码执行环境如下 Vscode Windows10 Anaconda request csv fake_useragent需要执行代码的同学按照上面的环境检查自己的环境。如果不满足的话安装一下即可。安装方法也很简单pip安装指定的库。如果因为网络的原因没有办法安装使用清华镜像站进行安装即可。 安装命令如下 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fake_useragent代码执行 首先需要登录到抖音注意这里是需要登录的哦不然获取不到cookie值。 然后点击评论区之后我们再按F12,接着再将评论区往下拉。看到list/?/device_platform 这个文件就可以了。然后点击Preview中的任何一个comments。可以看到这里就有aweme_id的字段然后给这个复制下来。 复制下来以后就可以给这个数据粘贴到代码中的aweme_id了具体如下 同样的方法还需要给cookie的值替换成自己的。 Cookie值获取的方式依然是在list/?/device_platform文件中找但是它是在Headers中具体的如下图所示 获取到了这个值以后呢需要给这个cookie的替换到代码中具体替换位置如下所示 完成了上述的操作以后就可以Run代码了。还是需要提一嘴Run代码的方式大体上就两种一种是在idea中如pycharm中直接点击Run键另外一种就是我下面的方式直接在命令行中使用命令的方式执行。执行命令python douyinSecondComments.py 执行过程如下所示 最终的数据如下所示 主要包括‘页码’, ‘评论id’, ‘评论发布时间’,‘评论点赞数’,‘评论发布ip’, ‘评论内容’,‘评论用户名’,‘用户主页链接’,‘用户抖音号’ 详细如下所示 主评论 子评论 代码讲解 我们可以看到终端命令行中的输出信息有很多具体上可以分为两类一类是评论信息这里的话主要就是主评论还有子评论了。另一类就是一些相关信息的输出主要是浏览器的模拟还有就是休眠。至于为什么要模拟浏览器以及设置主、子评论的休眠主要是为了防止被反爬。 然后代码设置的话如下所示 user_agent UserAgent() random.seed() headers[user-agent] user_agent.random response requests.get(url, paramsparams, headersheaders, proxiesproxies)print(headers[user-agent]) sleep_time random.uniform(0, 5) print(sleep time:, sleep_time) print(爬取评论数量:, comments_count) print() time.sleep(sleep_time)同时我们从抖音请求到的数据时间是一个时间戳所以我这里又写了一个将时间戳转换成普通时间的代码具体如下所示 def timestampToNormalTime(timestamp):return time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(timestamp))然后就是数据的持久化保存了。持久化的方式有很多比如数据库、文件保存等等。我这里采用的就是直接保存在csv中。因为这样的话在后续的数据可视化使用是非常方便的。 使用csv保存呢主要分为两步一步是进行csv文件的创建另一个就是对csv文件的数据追加。具体的代码如下所示 with open(douyinComments.csv, modea, newline, encodingutf-8-sig) as f:csv_write csv.writer(f)csv_write.writerow([页码, 评论id, 评论发布时间,评论点赞数,评论发布ip, 评论内容,评论用户名,用户主页链接,用户抖音号])with open(douyinSecondComments.csv, modea, newline, encodingutf-8-sig) as f:csv_write csv.writer(f)csv_write.writerow([页码, 评论id, 评论发布时间,评论点赞数,评论发布ip, 评论内容,评论用户名,用户主页链接,用户抖音号])with open(douyinComments.csv, modea, newline, encodingutf-8-sig) as f:csv_write csv.writer(f)csv_write.writerow([page, cid, create_time, digg_count, ip_label, text, nickname, sec_uid, unique_id])with open(douyinSecondComments.csv, modea, newline, encodingutf-8-sig) as f:csv_write csv.writer(f)csv_write.writerow([sub_page,cid,create_time,digg_count,ip_label,text,nickname,sec_uid,unique_id]) 更加详细的讲解请看上面的视频 源码链接【爬虫实战】全过程详细讲解如何使用python获取抖音评论包括二级评论 由于笔者能力有限在某些表述方面难免有些不准确还请多多包涵