京东库存查询软件(百亿级数据查询秒级响应!京东数坊是如何做到的?)



每年的618,11.11都是全球消费者的购物狂欢节,也是各品牌推广的盛会。但近年来,随着市场环境日趋复杂,品牌间的竞争越来越激烈,要想在这场大促中“突围”,通过对潜在客户的精准投放和营销,无疑是最有效的解决办法。


JD.COM数码店是一套专为品牌商打造的精准营销工具,可以帮助商家实现消费者洞察,制定有效的营销策略,重新检查投放效果。截至2021年2月底,已开通并积极使用JD.COM数码广场的品牌超过3000个,覆盖家电、美妆、快速消费电子、手机、食品等主要行业的全球品牌。

京东库存查询





高并发业务场景背后的技术挑战


在JD.COM 618和JD.COM 11月11日活动期间,JD.COM数字工作室需要支持3000多个品牌同时选择线圈中的潜在客户。庞大的数据量对数据存储、处理、传输和读取的性能提出了严峻的挑战。



因为之前的几个车间都是用离线计算来选择潜在客户,所以离线任务数量少的时候,资源和有效性就能满足用户的需求。但在推广期间,圈选频率增加,受资源调度影响,查询结果需要半小时才能显示。在极端情况下,系统甚至可能变得没有反应。如何让品牌主拥有流畅无感的服务体验,对几个车间的系统后台提出了更高的要求,秒级响应、安全稳定是重点。


数码广场的业务系统具有节假日需求剧增的特点。每年的促销期和节假日期间,潜在客户的选圈需求往往会爆发。具体来说,需要支持3000个品牌的频繁轮询需求,需要保证系统有足够的“弹性”来应对6月18日和11月11日促销前的流量高峰,以保证业务服务不中断。


海量数据秒级响应的法宝——京东云数据仓库JDW


为了更好地帮助JD.COM数字广场服务品牌,解决海量数据的复杂处理问题,使系统响应更快,结果更准确。基于京东云开源项目Greenplum构建大规模并行处理(MPP)数据仓库JDW产品,可广泛应用于OLAP(联机分析处理)场景下海量数据的查询和处理。告别高延迟,百亿数据查询可以秒级响应!


数据仓库的JDW服务默认采用高可用性架构,实现VPC部署,还提供高可靠的日志服务和自动扩容功能,使数据仓库可以根据业务需求随时在线扩容,满足业务的快速增长,提高业务数据分析的效率。同时,数据仓库JDW兼容ANSISQL2003和PostgreSQL数据库生态,不仅提供高性能离线数据处理,还支持高并发在线分析。


在海量数据处理方面,数据仓库JDW采用位图位图数据结构,可以优化海量数据存储、计算和查询的性能。在此基础上,京东云使用压缩比更高的稀疏位图——roaring bitmap来存储数据,大大减缓了每天数据量快速增加的存储和计算压力,大大提高了数据存储、处理、传输和读取的性能。


在数据查询响应方面,数据采用分布式架构,通过位图插件实现实时交集和差量计算,实现分钟级甚至秒级分析,大大提高了用户对潜在客户的圈层选择效率。


在运维和服务方面,京东云便捷的运维安全管控能力、丰富的可视化监控指标和自动报警机制,极大地减轻了多个车间的运维压力,为多个车间的品牌提供了优质的服务体验。

通过以上措施,京东云数据仓库JDW完美解决了JD.COM数字工场数据处理量大、查询延迟高的问题,让品牌商秒级筛选出目标客户,帮助品牌商快速开展营销活动,抢占先机,保持增长。


业务场景大规模离线并行处理的好帮手


京东云数据仓库JDW拥有丰富的生态建设,支持冷热数据分离。用户的热数据可以存储在数据仓库JDW进行分析计算,冷数据可以通过京东云自研插件实时传输到云对象存储。

京东云数据仓库JDW可广泛应用于精准营销领域,如商业区位分析、商圈运营分析、金融业务分析、游戏运营分析等大规模线下和线上并行处理场景。


-End-

您可以还会对下面的文章感兴趣

使用微信扫描二维码后

点击右上角发送给好友