MediaCrawler，轻松爬取抖音小红书评论数据！

AIGC动态欢迎阅读

原标题：MediaCrawler，轻松爬取抖音小红书评论数据！
关键字：快手,爬虫,数据,环境,帖子
文章来源：大数据文摘
内容字数：3242字

内容摘要：

大数据文摘受权转载自法纳斯特
今天给大家介绍一个Python爬虫实战的项目，MediaCrawler。
可以实现小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫。
目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。项目地址：
https://github.com/NanmiCoder/MediaCrawler
原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低。
下面小F就来介绍下如何使用~
首先使用conda创建虚拟环境，Python版本3.9。
激活环境后，安装相关的依赖。
#创建conda环境condacreate–nameMediaCrawlerpython=3.9#激活环境condaactivateMediaCrawler#安装相关依赖pipinstall-rrequirements.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple#安装playwright浏览器驱动playwrig

原文链接：MediaCrawler，轻松爬取抖音小红书评论数据！

联系作者

文章来源：大数据文摘
作者微信：BigDataDigest
作者简介：普及数据思维，传播数据文化