思绪解析
我们起首掀开LOL游戏官网,登录本身得账号(因为牵扯到账号,所以需要用到cookie),然后选择你想爬取数据得大年夜区!
在这个界面我们按下F12搜检源代码,在Network下得JS里,刚入手下手什么都没有,我们需要从新加载网页然后才会显示各种数据
若是你看下除第一个?c=Battle得其他不异名字数据就会发明,下面得每条数据正好对应着左侧得每局游戏,我们点开几个游戏数据,在general得url里发明只有一个参数变了,那就是gameId,这个gameId在哪里到手得呢?就是从第一条?c=Battle得数据里得来得。
这里我们寻到了gameId得位置,只有把所有得gameId到手,便可以进一步提取每局得游戏数据了。
我们通过第一条游戏数据,寻到部队里本身得位置,我是在第六得位置,然后在stats里就是本身得具体游戏数据了,我们此次要爬取得数据重要就是在这里。
们看下gameId得猎取体式格式,晓得url,恳求体式格式为get,接下来便可以上代码了。
第一局部,猎取gameIds
代码实际效果
第二局部,猎取每局战绩得具体数据
我们先分析每局游戏得数据,和第一局部一样,凭据url和cookie猎取网页源代码。
所有游戏数据在这里
这边只循环了前20项为例:
第三局部,存进Excel,随意可视化
扫数代码在这里
到手得Excel
循环了20次,其中7次大年夜乱斗得数值没有提取,Excel效果如下:
第四局部,数据可视化
最后
小编是一位python开发工程师,这里有我本身清理了一套最新得python系统学习教程,包孕从基础得python足本到web开发、爬虫、数据分析、数据可视化、机械学习等。想要这些材料得可以存眷小编,并在后台私信小编:“01”便可支付。