基于腾讯用户位置信息的大数据,显示某个位置的人数:
越亮的地方,人越多。这是腾讯的星云图。
网站分析行getXingyunPoints是位置数据,数据三个一组,前两个是经纬度*100,最后一个是人数。
有4组数据,数据通过POST传输,数据包4.8M。
在头文件中,我们应该注意加框的部分:
url、帖子、内容类型、Cookie、Uesr代理、请求有效负载
这六个数据是Post模式的重要参数。
为了方便起见,我们可以使用参数管理器直接管理这些参数:
实际有四个查询,内容对应四个查询参数,内容是c0,然后是c1,c2,c3。
不同的是rank之后的值是0,1,2,3。
如果有很多参数,我们会找到一种方法来统一调用这些方法。如果数量少又省事,直接引用他们就行了。
定义函数POST方法,也有一些可以尝试直接抓成功,但是这个不行。URL中没有参数传递,所以结果如下:
所以我们必须定义函数并抓住它。
通过web analytics,我们发现唯一的变量是需要传递的参数,所以我们用这个作为函数的参数。这里的参数C对应于我们定义的参数c0、c1、c2和c3。
这个函数是一个抓取函数。抢完了,还是要整理。让我们将排序过程定义为一个函数,这样我们就可以得到结果:
我用了和昨天一样的编号透视法,应该有更高效的方法。
试抓让我们来测试一下:
效果很好。我们要引用四次,得到四个表,然后相加合并成一个表。
抓取通过参数调用4次:
我们直接输入的参数名称将被视为文本,因此我们需要自己去掉引号:
作为新查询添加:
只是加载数据,有点大,需要一些时间。