随着双11的开启，物流行业也迎来了年度大考。2021年双11期间，迪思方作为物流仓储服务商，拥有超过40+的仓库和分拣点，50w+平米的运营场地，单日订单峰值达到千万级别。海量购物订单由迪思方配送到家，消费者每一秒都从最后付款人变成收货人。

迪斯方成立于2004年，创立于深圳，是中国最早的国际物流和全球仓储服务的物流供应链服务商。主要为从事跨境电商的客户、平台和普通用户提供仓储物流服务，通过GPN(直单)和GFN(海外仓储)为客户提供更好的全球跨境电商优质生态环境，致力于帮助中国企业走出去。目前，它在世界各地有100多家分支机构，服务于世界各地。

为了应对双11单日订单峰值达到千万单的情况，第四方利用大数据合理优化资源，提前做好全球仓储人力、物力、运力配置，保证仓储流程高效有序。从今年10月中下旬开始，上海转运中心和东莞转运中心相继开工。截至目前，四方已陆续在华东、华北、华南新建、扩建超级枢纽，集纳40余个仓库，并持续加大在全国的布局；在中国拥有40+家分公司/分销服务网点，在全国范围内拥有50万+平方米的办公/运营空间。

业务方面，借助自主研发的分拣系统和云技术，第四方可以快速识别条码，根据指令进行分拣，实现称重分拣一体化的全面覆盖，确保每一票货物都能自动识别，准确分拣。称重和分拣已经从传统的手动模式升级到100%手动控制模式。此外，四方信息科技的黑科技硬件洪光在双11首次亮相。四方信息科技在分拣效率不变的情况下，利用光幕等技术手段对分拣机的掉落包裹进行验证，将仓库内的错分拣率降低到万分之三，达到行业领先水平。特别是对于仓库环节，不断加大仓库的自动化、数字化、智能化建设，结合大数据、AI算法、云计算等手段进行系统化的R&D和升级，引进高科技设备，提高产能，保证时效。

随着双11期间订单的剧增和应用复杂度的增加，我们的业务系统也面临着严峻的挑战，原有的实时仓库架构已经不能满足当前的业务需求。在寻找新的解决方案时，我们对比了业界常用的大数据实时查询数据库，如HBase、ClickHouse和Druid。但都在数千亿数据的多表连接查询中遇到瓶颈，无法满足实时业务和服务稳定性的要求。

四个方向实时仓库盘点的应用场景主要包括以下几个方面:收款、仓库作业、仓库中转、通关发货预警监控，其中面包包含了单票作业的每一个步骤。这些场景需要实时监控，实时决策，提高物流的整体时效。尤其是在“双十一”高峰期，如果人力或资源配置不足，很容易堵塞某个环节，从而影响整体物流的时效。在技术层面，我们有很多业务系统，既一致又独立。复杂索引涉及多个系统和多个表。所以我们的实时数据仓库对表连接的查询能力非常强，对数据的更新和插入速度也有很高的要求。

今年双11，我们升级了支持业务的实时仓库盘点系统。通过基于flink+ho roles的新一代实时仓库盘点系统，我们仍然可以实时监控每一票订单的物流情况和每个仓库的运营情况，实时仓库盘点的整体成本降低了50%，真正做到了“多、快、好、少”。

下面我们将具体介绍四方实时仓的升级和演进。

1实时数据仓库1.0

在第一版实时数据仓库的初期，时间窗口比较紧，我们要把有限的精力放在数据建模和业务开发上，所以在比较了数据库的吞吐量和处理能力之后，我们选择了ADB。在ADB数量较多的情况下，查询速度和插入速度非常快，支持DTS、OTTER等数据同步访问，同步性能非常好。

是阿里云的PolarDB、MySQL、RDS等数据库的数据源。它利用阿里云的DataWork数据同步，将增量数据实时同步到ADB，然后在ADB做实时数据计算，数据任务调度在DataWork完成。

但是当时有一个非常大的问题，就是ADB的并发性有限，计算任务消耗了大量的资源。各种大屏、实时报表拉数据的时候，在高并发的情况下，ADB的延迟很高，给我们实时服务的稳定性带来了很大的挑战。

2实时数据仓库2.0

在经历了实时数据仓库的第一个版本之后，我们总结了实时数据仓库的两个重要特点，一是实时性，二是服务稳定性。

第一版的实时数据仓库不能很好地满足稳定性，所以我们决定对新的实时数据仓库进行深入的研究和探索。我们在阿里云上看到了很多关于ho roles的应用，性能非常出色，带来了不错的效果。在对比了业界不同的实时仓库架构后，我们最终选择了Flink+ho roles作为实时仓库。

这里有两条路径:

此次采用的batch-stream一体化的ad hoc计算和查询混合模式，既发挥了Flink stream的计算能力，又充分利用了ho logic es强大的查询能力。HBase，ClickHouse，德鲁伊等。广泛应用于互联网的是实时查询数据库。我们的业务复杂度是互联网的好几倍。这些实时数据库并不能完全满足我们的需求，它们的架构各有利弊，但我们的架构是未来五六年业务快速增长的最佳选择。

1你为什么选择ho roles

那么你为什么选择Hologres呢？通过调查发现，它有几个特点，比较适合实际情况。

2HoloRes应用场景

在面向分析的OLAP系统中，Hollogres承担实时和离线数据的查询。因为Hollogres不仅支持高并发写，还能满足及时查询，同时还能支持OLAP分析，所以在我们不同粒度的表连接起来的时候能充分发挥优势。这里有两个不同的场景来详细解释。

场景1:图书馆中的操作场景

实时数据从Binlog解析到ODS层，微批处理任务将分钟级(可调范围)统计数据计算到DWS宽表中，同时与离线数据进行插入和更新，从而得到实时全数据表，由DataWorks调度每5分钟一次。

场景2:仓库间转移场景

对于一些数据量较小的表格，依托ho logic强大的连接能力，通过视图构建DWS中间层，如下图所示:

DWD是过滤ODS层的视图，DWS层是DWD层聚合层的宽表。每次查询DWS图层，都意味着再次查询所有表。这种查询语句非常复杂。对于关系数据库，可能会有性能瓶颈，速度会很慢。而对于ho roles来说，毫秒级的查询可以无压力的完成，可以实现实时响应，节省调度资源，提高查询的灵活性。

目前食人魔的3个缺点

在ho roles的使用过程中，我们也发现了一些不符合实际需求的问题:一是对/错空列无法进行索引，在几个亿级表无索引连接时查询速度下降。第二，ho roles兼容Postgre生态，但不支持很多功能，与MaxCompute相比很难开发。

在整个双11期间，迪思方升级了实时数据仓库技术，基于Flink+ho roles的实时数据仓库支持实时大屏高频刷新访问，实时监控物流动态，促进业务高效运转，让消费者的快递更快到家。整体架构升级给业务带来的价值包括以下几个方面:

稳定性:基于ho logic RES持续的高稳定输出，整个双11期间，无论是实时数据写入还是数据读取都表现出了很强的稳定性。整个双11期间，故障率真正为零。

实时性:实时收款、仓库作业、调拨、调拨等实时大屏为我们的运营提供了非常强大的实时数据支持，整体时效性比去年提高了很多，给用户带来了良好的物流体验，提升了公司的服务水平。

云原生:除了以上两个核心价值，由于双11的流量高峰期是日常流量的几千倍，所以可以通过Hologres实现动态扩容和收缩，满足我们对资源的不同要求，从而降低运维成本。

这是第七届第四方参与的双11狂欢节，第四方在这场物流大考中交出了一份满意的答卷。随着业务的快速增长，四方背后的实时仓库盘点技术也在不断演进，以支持更丰富的仓储物流场景，使得物流逐渐从“人工”向“智能”转变。

作者|梅子酱

原文链接:https://developer.aliyun.com/article/815724? UTM _ content = g _ 1000310437

本文为阿里云原创内容，未经允许不得转载。