标签:fiddler

抓包分析异步加载数据爬取评论

加载数据分为同步加载和异步加载,同步加载也就是我前几篇的文章那样,只需要分析网站格式,研究网站的自动翻页,这些东西在客户端我们就能根据变化来分析自动翻页,从而可以爬取全站数据。但是,有些网站不是通过翻页来更新数据,而是通过Ajax异步加载来推送数据,(给咱们看到的就是往下一直拉,数据一直更新),而这些包在客户端的开发工具里是看不到的。不过可以通过第三方工具来……