摘要:2016年1月20日，阿里云大数据产品家族在上海正式发布。两年过去了，阿里云的大数据产品有了怎样的发展和变化？在这篇文章中，阿里云高级产品专家班公将揭示阿里巴巴大数据技术的前景和案例。
本文内容根据演讲视频和PPT整理。
本次分享将围绕阿里巴巴大数据产品的整体布局展开。这里会提到两个关键词:全球赋能和智慧全球。
今天，大数据行业已经远远超出了自己的行业，不仅仅是服务于一个或几个行业。现在大数据已经渗透到各行各业。大数据领域的核心点其实是计算能力的升级。事实上，计算能力已经像水电煤一样成为一种新能源，能源的特点是具有包容性。如果计算能力能够通用，就需要大幅提高核心计算能力的性能、稳定性和性价比。那么在计算能力方面就需要注意基础引擎的构建了。其次，近年来人工智能可以说是非常热门，那么AI和大数据是什么关系呢？事实上，大数据+计算能力+算法可以促进AI产业的繁荣和发展。对于大数据行业来说，AI是一个垂直发展，也就是说有了大数据和非常强大的计算能力，结合算法和AI解决方案，就可以解决以前不敢想象或者人肉方法在行业内效率非常低的问题。所以阿里云希望通过产品和解决方案赋能合作伙伴和客户，真正垂直解决一个实际问题。横向需要大幅提升计算能力，纵向需要借力AI产业。
说到全球，其实我们今天想去中国任何一个地方，无论是旅游还是商旅，都是计划明天到达，不用担心到达后不了解当地的信息。基本上不管是国内还是国外，打开APP就能知道当地的所有信息，可能推送的信息太多，导致我们的选择有障碍。没关系，有AI智能助手帮你规划，而且这个规划是免费的。在没钱的基础上，按它买套餐更便宜。这是大数据行业在出行方面的一个小案例。事实上，大数据技术和AI技术已经在我们生活的各个领域全面铺开。它们真的很像水电煤，可能大家平时感觉不到，因为看不见摸不着。但是真正用到的时候，一定是得心应手的。这也是对大数据行业的简单想象。
阿里云大数据产品家族
下图是阿里云大数据产品的一般体系。这个图虽然没有列出阿里云有什么产品，但是在概念上有一个大概的划分。这张图右下角是计算能力的核心，因为有了足够的数据之后，这些数据需要非常强大的计算能力，这就涉及到几个非常核心的引擎。有了数据和引擎，数据分析师可能需要做一些基础的数据分析和BI工作，这就需要传统的大数据分析和产品呈现。图中上面两层相当于application中提供的服务，这里有典型的大数据应用和人工智能应用。图中间是一个开发平台。也就是说，在整个大数据过程中，阿里巴巴拥有强大的计算能力和各种应用，希望用阿里云非常轻松地帮助合作伙伴打造专业高效的应用。
计算引擎，R&D系统，应用生态
因此，阿里云的大数据产品大致可以分为三类:计算引擎、R&D系统和应用生态。计算引擎是计算能力的核心；R&D体系就是如何帮助更多的合作伙伴走上来，和阿里巴巴一起构建整个生态。应用生态就是为各种应用提供专业的生态，让应用具备横向扩展的能力。这里创造了很多官方的原子应用，也有一些解决方案级的应用，都是结合了阿里巴巴的一些内部经验和阿里云这么多年积累的行业经验，所以也希望这些应用能帮助到大家。
下图中还列出了阿里云三个方向的一些相关产品。在计算引擎方面，首先是阿里云打造的MaxCompute大数据计算引擎，也包括分析数据库。对于其他的，我就不赘述了。下面，我将选取一些比较重要的产品进行详细讲解。
MaxCompute2.0
MaxCompute是计算能力的核心，作为计算能力的核心引擎，其性能将是2018年的重点。性能的提升其实可以帮助生态伙伴进一步降低使用成本。同时也可以看到，大数据时代已经有很多产品和行业，但是大数据和水电煤还有一定的差距。如果要将计算能力升级为新能源，整个平台上需要更多的平台，包括传统的结构化数据和异构数据。当这些数据都上来的时候，会对计算能力造成很大的挑战，这也是MaxCompute一直在密切关注的。MaxCompute也是第一个通过100TB测试的引擎，成绩已经达到了8200。MaxCompute的性价比也在不断提升。2018年，阿里云MaxCompute将继续向阿里云的合作伙伴和客户释放存储、计算等方面的红利。
数据工程
DataWorks在阿里云的大数据产品家族中间扮演R&D平台的角色，也就是说整个大数据产品有各种引擎。在这个过程中，如何使用引擎，如何更高效地使用引擎，而DataWorks提供了大数据云的一站式R&D平台，可以大大降低大家做大数据相关工作的门槛。DataWorks希望帮助合作伙伴和客户快速高效地实现云计算。同时，因为在整个大数据行业中，有很多专业领域需要大量的配套设施，包括数据治理、数据安全等，在DataWorks上自然都有。DataWorks的用户自然可以利用这些功能。对于DataWorks，我们可以从下图看到从底层引擎到数据采集，一步步向上到数据服务和数据解决方案。
阿里云流量计算
下图是2017年24点天猫双11购物狂欢节的图片。这是介绍阿里云的流计算产品。其实现在整个行业对实时数据处理的需求非常多，阿里云的流计算产品就是经过阿里巴巴双11磨练出来的非常强大的实时计算引擎。双11那一天，这款产品服务了全球数十亿客户。每秒处理的事件数可以达到4.7亿以上，反馈延迟都是亚秒级。这个响应在客户体验中非常流畅，它依赖于MaxCompute和流计算引擎，现在可以把这个能力释放给阿里云的所有客户。
在上海云起大会上，阿里云的流计算也将正式发布独占模式。
独占模式具有以下优势:UDX开放性、网络连接性、硬件适配性和数据湖。开放UDF等底层API，将允许用户定义自己的方法，可以实现更好的可扩展性，满足用户的业务需求。在网络连接方面，独占模式可以与用户无缝对接，用户可以自主定制访问权限的控制模式。同时，重点是在硬件方面也会适配各种机型。在异构计算方面，也会和GPU、FPGA对接，可以大大提高用户计算效率，降低使用成本。当然，还会有一些配套设施的建设工作。
希望阿里云流计算的专属模式能在大规模场景下降低30%的成本，并能连接上下游生态系统。
阿里云Elasticsearch
如今，开源和传统搜索引擎都提供了各种功能。那么为什么阿里云一定要做Elasticsearch呢？首先，阿里云Elasticsearch可以兼容开源的Elasticsearch，同时提供托管服务。在这种情况下，用户不需要太担心可用性、可扩展性和运维。阿里云Elasticsearch会提供各种X-pack的商业插件，保证整个系统的数据安全。阿里云Elasticsearch也将在新版本中提供APM和SQL功能。同时，重点是会推出智能运维产品，因为当你使用开源工具搭建系统的时候，你会觉得搭建过程非常容易，但是维护成本会非常高。另外，因为是在云上，弹性也很高。
阿里云开放搜索
今年OpenSearch最重要的方面是“智能”。今年，淘宝搜索算法的技术能力将通过开放搜索传递，即未来人们使用开放搜索时，将拥有和淘宝一样的能力。
个性化推荐
同时，开放搜索也会支持个性化推荐，这也是当今业界非常热门的领域。未来，阿里云的客户将可以在电商、小说、视频、导购等诸多场景下，很好地利用阿里云、天猫、淘宝现有的技术能力。
领先，从AI的基石开始
分享的前一部分主要侧重于计算能力，后一部分侧重于人工智能。阿里云理解的人工智能三大核心要素是数据、计算能力和算法。现在基于阿里云的大数据平台可以提供海量数据处理能力和实时数据处理能力，计算能力也非常先进。因为整个深度学习领域的需求，对异构计算也有非常高的要求。阿里云还在全球范围内部署了异构计算的资源，这意味着客户走到哪里，阿里云的产品就跟到哪里。阿里云也希望帮助所有客户的能力，立足中国，走向国际市场。在算法层面，基于阿里巴巴集团和阿里云现有的最佳实践，沉淀了很多东西。那么如何结合这三种能力为客户赋能呢？接下来就分享给大家。
AI彻底改变了阿里经济体的商业效率
首先，我们可以看到，在阿里巴巴内部，AI已经彻底改变了阿里经济体的运行效率。AI的核心能力是做我们以前想都不敢想的事情，做以前手工做的事情会非常低效。例如，在工业中，“看远处”平台是一个非常典型的工业解决方案，它使用图像处理和图像识别的能力来帮助我们识别工业生产和工业过程中的问题。比如设计部分，“鲁班”智能设计师，因为双11手淘里有非常丰富的产品和各种场景，每个人看到的都不一样，因为是个性化的，涉及到很多材质设计问题。如果让设计师用传统的方式一个场景一个场景的设计，即使多招10倍的设计师也解决不了这么多诉求。“鲁班”智能设计师可以在学习材料之前，根据设计师的一些设计经验，自动根据场景进行设计，大大提高了工作效率。同时，在很多场景中，我们发现“鲁班”设计师智能输出的材质设计，其实已经达到甚至超越了手工设计的水平，并取得了相应的商业效果。
面向开发者的AI开发平台
今天，阿里也希望所有企业都能拥有和自己一样的AI能力。然后在机器学习领域，因为属于需要开发者重度参与的领域，阿里云也推出了一系列面向开发者的AI平台。首当其冲的就是机器学习PAI平台，相当于一个人工智能工厂。下面的大部分服务都属于人工智能领域的原子服务，比如NLP自然交互平台、ALiGenie语音开放平台，相当于AI领域一个又一个的小积木。积木本身需要很高的专业性，但对于用户来说，不需要完全了解内部细节。阿里云希望提供更多这样的积木，可以全面开放给开发者，让开发者基于这些积木快速搭建自己的业务，让开发者更加关注自己的业务场景。
阿里云机器学习平台PAI商业化、国际化
阿里云的机器学习平台PAI于2018年正式完成商业化和国际化。PAI平台集成了100多种现成的算法，涵盖了传统机器学习的所有领域，并且可以提供拖拽式的体验。开发者可以在画布上搭建积木实现人工智能的全过程，实现从数据处理、算法训练、算法评估到模型输出、离线预测、在线预测的全链路。PAI平台还针对近年来非常火热的深度学习部分，支持各种深度学习框架和GPU分布式计算。开源深度学习框架的稳定性或性能可能存在一些问题，最关键的一点是它的分布式能力。针对这些问题，PAI团队对TensorFlow等非常流行的引擎进行了大幅升级，无论是支持的计算能力还是支持模型的复杂程度，都远远超出了目前的开源产品。同时，作为端到端的解决方案，经过算法训练，在线预测方面，今年PAI平台还将推出高性能弹性在线预测服务EAS，即弹性算法服务。也就是说，未来无论是深度学习模型还是传统的机器学习模型，在PAI上的训练完成后，都可以一键变成在线预测服务，而且这个服务是有弹性和可伸缩性的，再结合阿里云在深度学习和传统机器学习上的一些优化，在线预测的效率变得更高。
NLP:自然语言，自然人机交互
人工智能领域还有很多原子操作，AliNLP平台就是一个很电信的例子。事实上，阿里云已经通过这个平台释放了NLP的能力。目前业务场景超过230个，日API调用超过200亿次，覆盖各个行业。当然，NLP只是AI原子操作的冰山一角。
阿里云AI产品家族
可见阿里云整个AI产品家族已经有了非常丰富的布局。阿里云希望自己和合作伙伴的系统能够理解、看到、理解背后的知识。那么在语音服务、图像服务、自然语言处理以及背后的系统建设方面，阿里云都提供了非常丰富的积木，让大家一起拼。
阿里云AI解决方案
这里还有一个问题。作为一个非常熟悉这个领域的专家，这些积木可以构建一个又一个系统。但是如果没有足够的经验，阿里云也提供了非常丰富的解决方案，比如司法领域、直播领域、舆论等解决方案。在整个过程中，一方面可以复用这些解决方案，同时通过系统的拼接能力和开放开发能力，有针对性的定制自己的解决方案。这样才能释放AI在各个行业的应用价值。
下图是阿里云计算能力的国际化布局。阿里云还希望与客户合作，推动计算能力的能源化，并垂直渗透AI人工智能的能力。
