云中实现数据与智能的大融合将成为企业加速创新的引擎一直以来都是亚马逊云科技的观点。一方面数据正在成为企业最重要的资产，另一方面是数据的价值目前还没有得到充分的利用挖掘。越来越多的企业选择走上数据驱动型的组织的道路，通过业务产生的数据反向驱动公司的战略与执行，这一特点，不难适用于目前的商业版图，哪怕是在目前更灵活的战争中也得到了充份的体现。

亚马逊云科技大中华区产品部总经理陈晓建

据福布斯调研报告，如果成为一个数据驱动型公司的话，收入会增加20%，同时成本会减少30%，所以这是双赢的局面。以亚马逊自己为例，数据在亚马逊自己的仓储、物流优化中已经发挥了巨大的作用，亚马逊有很多创新的产品，比如智能语音助手Alexa和智能机器人Astro都是通过大数据和AI的技术催生的。

亚马逊云科技认为要做到数智融合，有两个关键因素，即企业要重塑数据洞察，一定是将数据（大数据技术）和智能（机器学习技术）进行融合和统一。

需求趋势：有越来越多的公司和企业从以下四个层面更加高效地围绕数据构建和实施项目，使得数据在两者之间无缝流转，成员快速具备相关能力，推动公司企业数字化转型迈向新的高度，实现数、智统一与融合的价值。

1）组织架构层面，将原来分散在各个部门的机器学习实践进行整合，并与大数据项目进行统一协调和资源配置；

2）人员能力层面：要求和安排原有传统的大数据实践者掌握机器学习技术，应用到大数据具体项目或承接新的机器学习相关的项目需求，要求机器学习从业者也要掌握大数据处理能力，更好、更便捷地完成模型所需的数据准备和加工；

3）项目实施层面：仅依靠传统的大数据技术是无法全方位提供充足的数据见解，仍需要机器学习的模型能力补充，越来越多的数据项目会融合大数据和机器学习两者的能力；

4）工具支撑层面：需要面向大数据技术和机器学习构建统一的开发平台和技术基础，可能是对已有大数据平台进行改造增加机器学习相关场景和能力，或是完全推倒重新构建一个面向两者的通用的平台。

亚马逊云科技帮助用户实现大数据和机器学习融合

从技术发展趋势来看，这两个技术走的是完全不同的道路，大数据技术往往侧重点在于怎么样完成海量数据的采集、清洗、查询等能力，但对机器学习来说更看重算法本身的优化。对企业而言难点在于一是大数据和机器学习目前是分而治之。二是数据处理能力不足。三是数据分析人员参与度低。

一个好的、合理的大数据和机器学习融合架构，要建立一个统一融合的数据底座，包括数据质量、权限、开发、可视化。在这个上面会有两个独立的技术（大数据、AI机器学习）。

亚马逊云科技的技术实现：

构建云中统一的数据治理底座，打破数据及技能孤岛。亚马逊云科技能帮助客户构建统一的数据治理底座，实现大数据和机器学习的数据共享，数据权限的统一管控，以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合，还能减少大数据和机器学习重复构建的工作，并且显著降低成本。其中， Amazon Lake Formation推出诸多新功能，实现了数据网格跨部门的数据资产共享，以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务，该服务基于多种专门构建的服务，如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce （Amazon EMR）、云数据仓库服务Amazon Redshift、Amazon SageMaker等，为大数据和机器学习提供统一的开发平台。

助力机器学习由实验转为实践，为机器学习提供生产级别的数据处理能力。机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务，帮助客户进行复杂的数据加工及处理，应对数据规模的动态变化，优化数据质量。其中，Amazon Athena能够对支持多种开源框架的大数据平台，包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源，对这些数据源进行联邦查询，快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka （Amazon MSK）和 Amazon EMR 为代表的无服务器分析能力，可以让客户无需配置、扩展或管理底层基础设施，即可轻松地处理任何规模的数据，为机器学习项目提供兼具性能和成本效益的特征数据准备。

让数据分析智能化，赋能业务人员探索创新。亚马逊云科技还不断提供更加智能的数据分析服务，赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如，在日常分析工具中集成机器学习模型预测能力，其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML，可帮助用户使用熟悉的技术，甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务，让业务人员探索机器学习建模。

小结：

亚马逊云科技坚持以架构而不是以单一的产品帮客户解决问题的理念。亚马逊云科技和合作伙伴一起去帮助客在云上探索和创新，丰富的实践经验是独特的优势。

机器学习和大数据的融合不仅仅是技术能解决的问题，亚马逊云科技也坚持“授人以渔”，通过面向快速算法原型的数据实验室的应用科学家、面向生产精度可用的模型训练指导的机器学习解决方案实验室，以及提供端到端咨询及交付的专业服务团队，通过不同分工的专家，和客户肩并肩一起，帮助客户探索机器学习与大数据融合挑战时，共同去学习优秀的企业在数据驱动转型成功路上宝贵的经验。