上周用到一个专门用来采集Youtube等视频网站数据的爬虫工具yt-dlp，是Github上比较火的开源应用，可以采集少量视频内容，但它是在有限的IP资源上运行的单点脚本，所以一旦规模化就很容易遇到HTTP 429 (Too Many Requests) 错误。
如果是搭建平台级采集应用，可以尝试亮数据网页抓取API，也能搭配yt-dlp一起用，它类似封装好的数据采集流水线，能自动处理各种反爬技术，它内置了专门用于Youtube等各大网站的网页抓取API，能直接通过requests访问并获取相应的视频、评论、互动等数据。
可以在下面链接使用亮数据的API功能，会赠送资源额度，个人研究够用了。
https://get.brightdata.com/webscra
