作者:任伟
(一)什么是车联网?
智能互联是未来不可逆转的趋势。生活中常用的东西都在逐渐联网,比如洗衣机、电视、智能家居等设备,都可以通过联网用手机控制,甚至智能穿戴设备、衣服、眼镜、鞋子都在逐渐联网。
手机作为第一个智能终端,已经从一个简单的通讯工具,发展成为一个可以社交、查看新闻甚至工作的工具。汽车也是如此。现在汽车逐渐联网,成为第二个智能终端。汽车作为智能终端接入网络后,利用车载设备实现智能交通、移动金融服务、购物、车与家的相互控制逐渐成为现实。在这些场景中,会产生越来越多的数据。例如,现在可以从手机直接连接到汽车4S店的服务。甚至当汽车与手机的终端相连时,也可以互联互动。也可以从车侧直接控制家电。比如车内的一些高端车,可以直接与车和家进行交互,控制车内的空开关和洗衣机。
除了这些,未来娱乐内容等方面的数据,以及车内产生的状态轨迹数据,都将逐渐存储在云端,5G的发展无疑会加速这一进程。
(2)市场趋势
随着5G网络的建设,传统移动互联网市场已经趋于饱和,一些企业开始瞄准5G带来的汽车互联网机遇,探索5G驱动的汽车革命。与此同时,在过去的几年中,汽车企业已经提高了认识,并逐渐开始实践数字化转型,一些企业已经取得了初步成效。5G之所以能给汽车互联网带来发展机遇,主要是因为5G支持云计算在汽车上的应用,使得云语音等服务成为可能。
不同于其他设备的移动互联网应用,汽车互联网的应用有一定的难度,主要是汽车企业的主动性不强,完全外置的设备不容易发挥作用。随着5G带来的云平台的接入,汽车企业带来了主动数字化转型的力量,汽车互联网的发展将大大加快。
第一阶段:2G/3G/4G联网的时候,主要是解决“连接性”的问题,能够看到车的状态,比如现在租车或者网约车的车的状态和位置,使用2G/3G/4G数据传输就可以了。
第二阶段:带宽逐渐增加后,可以获得更多车上生成的数据,扩展联网数据。而车联网的大数据分析可以为保险行业或其他金融行业提供车主驾驶行为的数据判断。
第三阶段:V2X,5G,云互联。在带宽越来越高的情况下,可以连接更多的车和其他系统,实现更多更丰富的功能。
第四阶段:借助云端无穷的计算能力,做一些智能的计算和判断,实现智能驾驶远程连接系统、与第三方系统对接、对接车辆、车辆与路测终端的互联、更紧密的互联等更大场景的智能应用。
中国车联网用户规模不断上升,5G/V2X技术应用有望实现强劲增长,2022年用户总规模将超过5100万。短期来看,中国车联网市场的增长主要依赖于软硬件负荷的提升。中长期来看,随着车联网生态的丰富,以车联网为核心的广告、CP/SP等车载增值服务将带来更广阔的增长空。
早在2017年,国家就推出了车联网产业新四化:网联、智能、共享、电动。无论从国家规划还是科技发展趋势来看,这四化都将成为未来汽车工业的发展方向。未来所有的汽车行业都将从传统的汽车制造企业向出行服务转型。随着国内汽车保有量和人均收入的快速增长,为客户提供更加可靠、安全、优质的出行服务将成为车企的主要目标。针对这一目标,阿里云存储产品需要为车企提供可靠的数据支持,方便他们进行自我优化和完善。
源水印,侵删
前瞻产业研究院发布的《车联网行业市场前瞻与投资份额规划分析报告》数据显示,2020年,我国汽车保有量约为2.5 ~ 3亿辆,按照15%的普及率计算,具备联网能力的汽车保有量将达到4000万辆左右。以每款1000元硬件产品的价格计算,仅硬件市场就有400亿元的规模。随着产品功能的丰富,单个汽车的硬件产值会翻倍,加上互联网服务,车联网的空市场可以在5~10年内达到千亿甚至万亿的规模。
(1)车联网系统的数据存储
一方面可以解决过去难以解决的各种系统的互联互通问题,另一方面可以通过推进工业互联网平台,为不同地区(不一定是同一家公司)的工厂之间的信息共享提供基础条件。
上图左右是智能互联系统的云架构图。从左边的逻辑架构图可以看出,下面的产品都是通过网络连接到云端的。首先,连接底层产品的数据库。资源汇集到云中后,用户可以用更贴近业务的方式定义一些与业务相关的应用和产品。
所以要把第一层的数据连接起来,就要进入数据库在云端的集中存储。对于集中式数据存储层,需要构建应用层应用平台,或者智能规则引擎和数据来驱动平台。根据不同的业务交互场景构建相关应用。
右端是数据架构图,表示数据首先从车企采集后,不仅是车上各项指标的数据,还有其位置信息和其他更丰富的数据,如智能后视镜、采集的视频数据、语音数据、云服务交互的数据等。这些数据是多样化的、非结构化的、半结构化的或结构化的。因此,需要一个代表大数据的池化云存储平台,能够支持多模态、异构数据的存储、查询和分析。
这些数据不仅仅是汽车产生的,还有第三方系统产生的,比如汽车和支付宝平台的对接,微信的对接,第三方全国银联的平台对接,或者内容提供商的平台对接,服务商的平台对接。这些数据源也可以作为我们数据库全景数据的补充。
有了全景数据,未来可以支持更多更丰富的场景。
的一般部署结构如下:
首先,车企端通常使用OBD和OBU导出数据。TBox是汽车集群中的计算平台,就像我们的电脑一样。它从OBD和OBU平台获取数据并上传,通过SIM卡与云端交互。在云端获取数据后,对数据进行分析和统一,然后整合到第三方数据源,实现数据在不同场景下的应用,例如车载应用:IVI新功能规划、新交互方式、智能座舱体验;TSP服务:加油和充电、道路帮助、交通信息、停车服务;正常定位:国家标准(国VI、EV)、第三方数据输入、安全体现等。都可以基于云数据来构建需求应用系统。
(2)车联网典型数据场景——新能源汽车监控
BEV新能源汽车的监控场景主要是满足GB/T32960国标和地标的要求,使车厂获得平台符合性和车辆符合性认证。在整个车辆段建设过程中,由于日常运营需求,往往会在国标的基础上建设附加服务,如:通知、报警、监控、跟踪、调度服务、系统报告、数据转发等功能。
调度服务:可选服务,可用于车辆运营。
报警信息:可选服务,可以通知车主、4S店铺等定制报警服务。
统计报表:可选服务,根据OEM要求定制。
数据存储:实施验收(10S频率),北京地区一年,上海地区三年。
数据查询:各种数据(实时数据/历史数据)的查询显示界面,需要提供新的告警显示和单体电池电压数据显示;动力电池组温度数据显示;车辆数据显示;极值数据显示。
(三)车联网的典型数据场景——远程信息处理
远程信息处理是指使用无线通信技术的车载计算机。新一代远程信息技术将以公有云为核心,实现车辆远程控制、远程信息读取和智能赋能。目前有两种实现方式:内置和OBD连接器。其实质是对汽车各系统ECU的远程监控。已经实现的功能包括远程检测、远程控制、呼叫中心等。比较成熟的有bluelink、OnStar on-star、美国snap-on、德尔福的威瑞森无线等。
(4)车联网典型数据场景——智能后视镜监控
为贯彻交警“便捷、高效、互联、共享、共治”的互联+思维理念,充分发挥智能行车记录仪在交警执法中的积极作用,运营商积极配合深圳市交警局打造“车联网生态系统平台”,建立中国智能交通产业联盟上下游企业生态系统,支持车联网生态系统等相关企业发展,实现星级用户“一人一车一器”愿景,为车主提供多元化的车联网平台管理方案。
(5)车联网车载娱乐系统的典型数据场景
车载信息娱乐系统(IVI)是智能驾驶舱中信息交互的重要载体。基于总线系统和互联网服务,形成车载综合信息处理系统,可提供导航定位、车身控制、无线通信、车载娱乐、汽车运动等多种服务内容。在产业链中,中控厂商凭借软硬件一体化的产品优势和技术积累,占据了驾驶舱电子产业链的制高点。未来,中控系统将成为人机交互的核心驱动,应用前景广阔。目前,IVI可以实现包括3D导航、实时路况、IPTV、驾驶辅助、故障检测、车身控制、移动办公、无线通信、在线娱乐功能和TSP服务等一系列应用。车辆电子化、网络化和智能化的水平在很大程度上取决于云能力。
与云中数据的交互量将会大大提高。不仅是服务能力为汽车赋能,影音车主在驾驶时操作的数字路径也需要从云端获取,这些数据也需要集中存储在云端,这是一个场景和海量数据存储的现状。
(1)什么是云原生多模态数据库Lindorm?
云原生多模数据库Lindorm适用于任何规模、各种规模的云原生数据库服务,支持海量数据的低成本存储处理和灵活的按需付费,兼容HBase、Solr、SQL、OpenTSDB等多种开源标准接口。是互联网物联网、车联网、广告、社交、监控、游戏、风控等场景的首选数据库。
未来车联网场景下会有大量的数据和多种类型的数据。不同场景下产生的数据类型多样,包括视频、文字、代码链接、用户的数字轨迹等数据,以及在车载终端点击应用的操作行为。这些都会使得云数据库建立相应的存储模型和查询能力,所以云的多模式存储能力是一个必要的选项。
同时需要考虑现有系统与第三方平台的对接能力,多模式数据库需要一个开放的标准和协议支持,以支持更广泛的数据生态。
Lindorm主要有以下四个特点:
1。极高的性价比
当数据量激增时,如果没有好的数据压缩存储或冷热数据自动转移方案,数据成本也会激增。大部分监控数据都是机架密度数据,一些运维数据在没有故障的情况下是没有价值的。只有出了问题,才会起到回顾分析和定位的作用。如果将这类数据存储在传统的关系数据库或自建数据库中,操作和数据授权的成本非常高,是一种不经济的存储方式。
所以,未来我们需要性价比极高的物联网存储,需要能够提供PB甚至EB存储容量的存储平台,才能有效支撑这种场景。
2。云的原始弹性
未来,我们需要云提供一种随时共享资源的方式。没有业务的时候,可以收缩资源消耗,节约成本。当并发业务量较大时,在保证性能的前提下,满足成本控制的需求。
因此,弹性可伸缩数据库的存储是云原生场景中的一项关键能力。
3。企业稳定性
要支撑如此庞大的在线车辆数量,稳定性非常重要。
比如汽车OTA场景中,出现故障或网络中断、数据丢失时,汽车升级可能中断,导致车载机故障或智能控制指令丢失,执行失败。
4。数据生态整合
对接更广泛的生态系统,无疑会支撑我们更大场景下的这个数据应用,这也是非常关键的。
目标行业:工业物联网、车联网、APM运维、NPM运维...
这些场景都有一个共同的特点,就是产生海量的、指标连续的监测数据,这些数据的价值密度很低,需要一个经济友好的数据库进行存储。
上面是Lindorm数据库架构图。
目前,Lindorm的核心能力不仅可以与广泛的数据生态对接,而且在数据库内部拥有多模式的数据传输通道,可以在宽表、时间序列、全文搜索和文件搜索引擎之间协调数据。
除了支持SDK等接口,上层还支持其他广泛使用的大数据生态接口查询语言。
(二)林多马产品战略
以上是产品开发策略,未来演进方向是云原生多模超融合数据库。
首先,在金字塔底层的第一阶段,需要具备海量多模式数据的存储能力,以更经济的方式存储结构化、半结构化和非结构化的数据,并对这些数据做云处理,这就是所谓的数据云。
在此基础上,构建跨数据库引擎的横向集成能力,如宽表、时序、图、关系等模型数据,实现数据库协同查询能力。
在Lindorm数据库中,用户可以通过一致的查询语句透明地查询各种数据库,以获得所需的信息。无论这些信息来自广泛的表格、时间序列还是文本检索引擎,对用户都是透明的,从而更加友好地支持未来数据应用的开发。
向上层的垂直集成是指除了数据库引擎、上层数据交换、ETF流数据处理和计算引擎之外,数据库的内部操作,如异常检测、趋势预测、关联分析、关联分析等。,可以建立在上层,从而进一步纵向整合数据库的能力,进而实现超集成、统一查询语言、数据视图和数据访问。
在车联网的一些特定场景中,比如新能源汽车当前电池组的健康监测,或者公共场景中具有业务特性的计算,都可以做成数据库中计算的运算符,或者直接由标准的带函数的SQL语句调用,最后从存储到计算一体化执行,最终达到顶层推理的效果。
推理的效果就是我们只要把自己的需求告诉数据库,就能得到相应的信息。统一的数据视图建立后,可以用SQL语句定义,如生产不良率上升的主要原因、汽车故障报警的主要原因等。,这是现有数据库和查询无法实现的。
为了提供上述功能,需要一系列数据工具,如下所示。
上图为逻辑架构图,图底可对接的第三方数据源提供无缝对接和支持。数据进来后,进入宽表序列等文件引擎,在这里可以根据不同的业务场景划分不同的场景进行存储,并且有配套的数据转储和数据采集工具。
然后是计算引擎和数据检索引擎。如Phoenix SQL引擎、Lindorm监控服务、时序数据分析服务等。上层是人机界面。为了便于开发基于数据库的数据应用,上层是应用系统。
1)经济高效的存储
2)多模式融合检索
1)时间序列数据压缩
2)工业场景数据的建模
3)时间序列统计和非确定性推理检索。
1)LindormStudioIDE、工具、SDK
2)文件、方案和案例库
3)专业、系统的IT&OT整合服务能力
1)开放生态:开源:CQL、PhoneixSQL、ES、machine beat……
2)业务:OSIsoftPI、Splunk
OSIsoft,Intel,工业大脑,IoT,东软,飞翔互联…
相比之前和现在的存储方案,原部署方案对应用开发者和运营人员的动手能力要求较高。如果后续数据量增加,每个系统都需要单独集群,需要大量的人力和专家来支撑。
目前的Lindorm存储方案是帮助客户解决日常问题的数据库,用一个界面查询所有多模型数据库。
(C) Lindorm车联网数据存储解决方案
从部署形式上来说,未来的车联网和物联网是一个便捷的、地理上广泛分布的场景,仅仅在云端构建数据库无法满足实时性能的需求,所以未来数据库的逻辑和物理部署可能是一对多的,称为云边缘端一体化的数据库部署方案。
边缘,无论是车联网路测终端的设备,还是车上的TBox,都可以嵌入到一个轻量级的数据库中进行持续的数据采集,也可以嵌入到多模式的数据库中。在行业场景下,边缘数据库已经部署在边缘计算节点上,可以无缝连接混合云、私有云数据中心或公有云平台数据库,根据策略做实时或批量数据同步。
在实际部署和使用过程中,用户可以将分布式部署数据库作为一个逻辑集成的数据库来管理和实现。比如边缘部署,可以采集并存储一段时间的数据,然后支持对连接到边缘的设备或车辆的数据进行实时查询和监控的场景。
一旦需要全景数据或者需要追溯分析报表和统计数据,我们可以利用云强大的计算和存储能力追溯总数据,做复杂的计算和根源分析,甚至机器学习场景的模型训练,完美实现逻辑上的融合和实际物理上的分离。可以同时支持实时场景和批量分析场景的数据存储解决方案。
BEV新能源汽车的监控场景主要是满足GB/T32960国标和地标的要求,使车厂获得平台符合性和车辆符合性认证。在整车厂建设过程中,出于日常运营需要,往往会在国标基础上建设附加服务,如:通知、报警、监控、跟踪、调度服务、统计报表、数据转发等功能。
针对这一场景,我们提供了基于阿里云Lindorm数据库的整体解决方案。
首先,在该方案中,除了Lindorm,还使用了其他阿里云数据库产品,如多维数据分析数据库ADB、第三方开源Spark streaming、物联网网关MQTT等。
一般来说,这个过程有两种方案可以将汽车连接到云端。一种方案是车厂连接车联网的服务商。他们有自己的私有云平台将汽车连接到云端,然后他们的平台连接到阿里云的Lindorm数据库。
此外,也可以按照标准协议直接连接扩展坞已有的TBox,直接与REST接口同步数据,或者直接将MQTT协议发送给IoTGateway。数据到达云端后可分为两股流,一股实时写入Lindorm并快速上报国家平台,周期为10秒,周期内完成上报国家平台和存储到数据库的动作。
为了实现实时报警和数据分析,还将另一个数据流同步推送到Spark streaming,使实时流数据分析生成事件,然后存储在Lindorm数据库中。
如果有第三方数据的连接,比如车辆段和其他第三方系统的数据采集和备份,或者第三方平台的应用也需要这些数据,需要推送到Kafka中,然后通过Kafka消息队列发送到车辆段的数据中心。
车厂数据中心还可以部署一套Lindorm数据库,与云端进行实时数据同步。当网络链路不稳定或车辆段做数据分析时,数据分析也可以在车辆段本地数据中心完成。
国家数据平台主要是北京理工大学的平台。有标准的接口协议直接在云端开发相应的数据推送服务节点与国家平台连接。本地平台有本地标准和相应的接口,可以直接在云端转发。
这里使用的主要数据库有:Lindorm数据库用于存储总数据。Lindorm数据库需要结合其他数据,如CRM数据、车辆信息数据、基于密码的查询相关信息等复杂高维的数据查询,可以同步到ADB,再由ADB同步到数据分析平台QuickBI,做数据统计和可视化。
另一个是开源的Grafana。如果需要监控全景或者特定车辆的信息,可以通过Grafana实时查看最新时间窗口的状态。
IoTGateway主要负责与车载终端或车联网专有云平台的接口。
(4)车联网场景下,Lindorm的商业价值是什么?
1)可以快速并发写入高吞吐量的车联网数据。
2)时间序列数据聚合、加窗和统计计算速度快。
3)海量监测数据的快速检索和查询
4)快速构建数据生命周期管理流程。
1)节省了海量车联网数据存储成本。
2)节省计算和存储资源。
3)节省了数据库建设和应用对接开发的工作量。
4)全生命周期数据运维管理的成本节约
Lindorm的商业价值在车联网的场景下可以总结为两点,一是快,二是省。
Fast 是指在高通量车联网数据并发写入的场景下,可以在云端进行云端原生模式和随机抽取模式,实现车企和线上车辆产生的实时海量高通量数据,快速写入云端数据库,快速转发到第三方平台。
在对时间序列数据进行汇总、窗口化和统计时,当有原生的自研时间序列数据库时,可以在数据库中快速汇总、窗口化和统计分析大量数据。海量监控数据检索查询速度快,因为它由时序数据库引擎处理,可以支持海量多维数据聚合查询的计算检索。
数据全生命周期的管理流程搭建的很快,因为很多能力都是数据库中提供的,所以不需要手动搭建,或者维护自建开源数据库来定制开发能力或者数据对接接口,所以搭建过程也很快。打开阿里云上的Lindorm数据库,几分钟就能完成。
Save 即海量数据的存储成本会大大降低。除了自主研发的冷数据和热数据备份策略,存储层也进行了自我优化。在时序数据库数据压缩方面,对现有的压缩算法进行了一些改进,数据压缩效果达到了10倍。
被占用的计算存储资源被云原生方式随机吸收,其计算能力在没有太多上线车辆的情况下被收缩,实际数据访问使用量被计费,节省了大量的数据超配成本。
构建数据库应用对接开发的工作量,也会节省大量的人力成本。一方面数据库本身支持众多第三方大数据生态接口的对接,另一方面云构建不需要关心数据库安装、备份策略等配置问题。
数据库全生命周期的运维管理成本也会节省很多。容灾集群方案和数据库整体转储都在数据库中自动解决。
(Lindorm的主要技术优势
1。高压缩比的实时无损存储>:10:1
10:1深度优化,基于ZSTD算法的压缩,可以将原始采集的时间序列数据,比如10GB的数据,存储到数据库中进行无损压缩,这样10GB的数据可以存储在数据库中,1GB数据的存储容量足够了,压缩效率比现在常用的SNAPPY压缩高50%以上。
2。低值密度监测数据的冷热分离和低成本存储
冷热分离的低成本存储方案,我们在Lindorm数据库中做集成的整体分离,数据自动分层,冷热分离不需要人工干预。冷数据的存储成本一般比当前热数据低80%以上。为了满足热数据的性能要求,一般使用SD等高端存储来存储冷数据,使用性价比更高的存储来存储这些历史数据。这样,既节省了查询性能,又节省了成本。
3。云边缘融合存储,数据自动实时批量同步
1) Edge版本轻量级快速集成部署
2)2HA高可用性架构
3)具有与云版本相同的功能。
4)数据自动同步到阿里云TSDB实例集群
云端一体化存储方案,边缘端数据库,嵌入式数据库,实时云数据同步,根据策略批量数据导入导出。
4。多引擎超融合数据快速迁移同步
数据库内部集成了一个ETL工具,可以在多模态数据之间导入导出数据,甚至可以对接HBase、Cassandra、OpenTSDB等第三方数据的迁移。,使得第三方数据源的数据可以通过LTS直接迁移到Lindorm数据库,不再需要依赖第三方工具。
5。多模式数据融合检索开放IT&OT数据交互
多模式数据融合检索,打通IT&OT数据交互,实现跨引擎查询,提供全维度检索能力。
1)系统自动维护索引,应用开发不知道索引表。
2)索引支持非冗余、冗余部分列和完全冗余。
3)查询时自动路由到基于RBO的搜索引擎,智能判断是否需要回查宽表/计时引擎。
1)异步增量索引,提供基于LTS的可扩展同步通道,数据同步可视化。
2)实时同步索引,引擎间数据一致性强。
针对IT数据和OT数据的交互融合,这样可以实现一致的跨引擎查询和全文数据检索能力。通过上层一致的数据,试图帮助评估下层数据存储和数据引擎的异构性,进一步简化使用成本和维护成本。
#阿里云# #数据库#