火车头采集微信公众号漫画站,需要注意的5个问题! -足球竞猜app
最近在采集微信公众号的漫画,使用火车头抓取漫画要比抓小说要困难一些,我也是遇到了很多的问题,下面给大家总结几点:
1、抓包,看通过手机端抓,也可通过pc客户端抓,这里不赘述了,不懂的可能在这里就遇到困难了。
2、列表页与内容页请求
列表页有的是post的数据,有的是get数据,get更好操作一些,列表页与内容页请求时返回的http头部数据有差异,这里要注意下,简单来说:
设置好列表页和详情页采集规则,测试时发现,用列表页的http头数据采不到详情页,用详情页的http头数据采不到列表页。
这里要注意!
3、图片请求出错
请求的图片出错,发现图片的地址不对,要注意拼接。
4、下载出错
请求下载时不要太快,有的站点响应慢,返回200 但是提示错误,解决办法,放慢请求速度。
5、cookie失效
大部分,90%的都会失效,需要重新抓cookie更新,采漫画,图片多,cookie失效确实很头疼。
希望采集漫画的小伙伴多加注意!
作者qq1290654348
---------------------20181208更新----------------------
着重强调:
1、漫画采集时,请求时间间隔拉长一些,有朋友因为自己网速问题,或者是目标网站的响应速度问题,导致请求错误,此时尽量保证速度慢一些,否则会导致出错。
2、漫画模板采集时请告知清楚,后期发布和规则制作时好进行匹配。
足球竞猜app的版权声明:如无特殊标注,文章均为本站原创,转载时请以链接形式注明文章出处。