惠普大数据平台 如何做到实时分析

作者: 王海峰

责任编辑: 张金祥

来源: ISMB

时间: 2015-10-13 12:03

关键字: 惠普 大数据

浏览: 7434

点赞: 53

收藏: 3

对于企业来说,身处移动互联网和大数据的时代,最关键的是如何把企业的数据真正变为有用的信息和洞察,从而创造价值。

一般而言,企业管理会应用Enterprise Data Warehouse(EDW),即企业数据仓库这一平台将一些交易系统数据,如电信企业的计费、运营,或者是银行里的核心数据、电子银行等,上传至企业的数据仓库,然后通过企业的数据仓库来制作各类报表,这是传统意义上企业的采用数据方式。

但现在对于企业而言,结构化、交易型数据仅仅是是企业数据的一部分,还有很多半结构化或者非结构化数据。一旦所有结构化和半结构化数据无法实际加载到传统的企业数据仓库中,企业就错失了把所有数据进行完整分析和兑现价值的机会。

针对大数据平台,惠普的解决方案是:“全数据和实时分析”,关键词是全、实时。只有做到这两点,企业才可以做下一步的决策。如智能制造、互联网产业能够通过企业生产线数据的实时分析,极大提升良品率和企业效率,降低企业成本。

中国惠普有限公司软件集团总经理副总裁李时认为,惠普从数据湖的概念,不仅可以处理传统的结构化交易数据库里中的数据,同时通过HP Haven平台可以做进一步的洞察。

HP Haven平台到底如何满足不同企业、不同部署方式,实现实时分析呢?

中国惠普有限公司中国区副总裁、软件集团总经理 李时

满足任意部署

HP Haven平台主要组成部分是基础架构,既可以部署在传统的数据中心,也可以部署在大型企业自身的私有云、一些中小企业所采用的公有云上,以及基础数据所在的Hadoop架构,具体可以从其三个核心组件看如何将数据变成对企业有用的信息。

第一是HP IDOL,可以处理非结构化和半结构化数据,即前面所提到的文本、视频、音频的数据;

第二是HP Vertica,是一个大规模并发处理的数据库,主要负责处理结构化数据,可以实时处理上百TB甚至是几个PB级海量数据;而惠普刚发布的新版HP Vertica新品以E开头的“Excavator”,提供强大的全新流和高速分析功能。

比如数据流分析——Excavator提供Apache Kafka开源分布式消息系统的本地支持,帮助企业近乎实时地快速获取并分析物联网等高速流数据。该功能可以为广泛的使用案例提供可行动的洞察,包括制造流程控制、供应链优化、医疗监测、财务风险管理和欺诈检测。

还有先进的机器日志文本搜索——Excavator能够帮助企业收集系统和业务应用生成的大型日志文件并进行索引,帮助IT部门快速发现和预测应用故障和网络攻击,并调查授权和未经授权的访问。

第三则是称为“分布式R”的开发工具,可以支持超大规模数据的预测性分析,另外可以采用基础架构集群,提升建模和运行的效率。

通过这三个核心组件的智能接口,可以连接企业内部所有类型的数据,进行超大规模的快速部署分析,利用HP Haven OnDemand平台存储所有公有云、私有云数据,另外通过分布式R的先进分析能力,为开发者提供很好的接口来利用HP Haven的杰出能力,构建复合分析应用。

惠普软件集团中国区大数据平台总经理 石建强

满足不同规模

HP Haven大数据平台对于不同规模客户的不同需求,都有相应的解决方案。

首先,针对大型企业,有HP Haven Enterprise,即HP Haven企业级平台。其组件包括IDOL、Vertica和分布式R,可以和云基础架构相结合实现复杂应用分析,在处理能力、安全性、可维护性等方面都具有非常好的性能。

第二,从云上提供Haven On Hadoop,适用于对数据量要求不大、对预测分析建模性没有实时性要求的中小企业,这些企业都可以部署在Hadoop上。同时可以借助HP Vertica,在Hadoop上查询,既能利用Hadoop的拓展性与成本优势,同时也能使开发者采用熟悉的SQL语言,实现更优质更快速的应用开发。

第三、云上Haven OnDemand。实际上就是将Haven这样一个大数据平台部署在亚马逊、Azure等公有云平台上。对于开发者或者是中小企业而言,可以将Haven当做SaaS平台,把自身数据上传到云中,通过API和编程接口来使用Haven所具有的快速搜索、查询和人脸识别等功能,迅速构建适合所在企业分级查询的应用。

特别指出的是,针对初创公司,HP Haven有初创企业加速器为初创企业带来企业级大数据。

惠普软件集团中国区大数据平台总经理石建强表示,这项新计划旨在向初创公司提供惠普大数据和应用交付管理软件产品,从而支持和扩大惠普的开发者和创新者生态系统。对于寻求利用分析和数据来开发强大的差异化应用的企业而言,该计划消除了之前的障碍。

满足开源创新

对于开发者而言,通过惠普的Haven和Haven OnDemand平台,充分利用各种信息的价值,快速连接和使用开源,快速获得打造成功业务所需的工具。

这次,惠普的一大创新就是帮助企业整合开源创新和惠普大数据平台的企业级规模、可靠性和安全性。

首先,HP Vertica对于SQL on Hadoop本地文件支持,新版Vertica大幅提升了ORC和Parquet等流行Hadoop格式的性能。惠普与Hortonworks携手开发了一个新的高性能访问层,帮助SQL查询能够直接在ORC文件上运行,执行速度提高了五倍。

第二,HP Vertica Flex Zone Table Library——惠普已经向全球开发者社区开放了其创新的Flex Table“按需模式”技术的源代码。如此一来,企业将能够全面利用几乎任何形式的半结构化数据以满足自己独特的需求。

第三,与Apache Spark的原生集成——惠普承诺未来将继续集成Vertica和Apache Spark。这将实现Vertica和Spark之间更快速的数据传输,帮助企业充分利用基于Spark的部署。这项未来功能将让开发者在Spark中开发自己的模型,并在Vertica中运行以进行高速的复杂分析。

对于企业来说,企业可以利用数据实现很多目标:如根据企业运维数据,预估企业的生产部件何时会发生故障,更好地预测分析和管理布置备品、备件;或者,通过用户历史购买行为,预测用户下一步购买需求,更快速地将用户希望购买的产品递送到位。

而惠普最新发布的大数据解决方案,迎合客户需求,帮助企业利用数据和分析来开发新产品,提供用户体验、并帮助企业更高效地运行,在竞争中实现差异化。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。