如何管理大数据

作者: 王焱

责任编辑: 阚智

来源: 中小企业IT网

时间: 2012-08-28 09:40

关键字: 大数据

浏览: 0

点赞: 0

收藏: 0

中小企业IT网8月28日编译 有一个不争的事实是集成主数据管理的数据量越来越大,但还有很多工作需要在这发生之前完成。当讨论大数据增长内容和势头的时候,提出的问题是如何让主数据管理(MDM)适合的进界面。从我所已经看到的,主数据管理与大数据的结合很像福尔摩斯探案故事里的狗不会叫——没有什么值得注意的。


在旧金山最近的MDM和数据治理峰会上我听说(或者说,没听到)类似的事情,我介绍了其中一个版面的主数据管理和数据治理。消息简而言之就是,仅仅只是以一个例集成主数据管理与大数据为例,但是还没有太多的远距离覆盖。

有一种价值主张把就是主数据管理归为大数据分析,基本上不同于标准的MDM的使用案例:提供身份验证(即唯一性)的实体。产品的营销团队,收集和整理互联网上消费者,在感兴趣的论坛上,个人博客和其他的地方所作的评论。数据的搜集伴随而来的就是一个典型的大数据模式:

1.大的规模和可以迅速进入超过数百兆兆字节。

2.半结构化。(把短语“结构化数据”比作一粒盐,因为它的内容可能是自由的形式,但是几乎总有某种有趣的结构都围绕在它的周围,以至于可以用于分析)。

3.通常很高,来的快而且富有激情,这提出了一个对传统的数据提取、转换和加载(ETL)体系结构和关连数据库的挑战。

该产品的核心是主数据管理和大数据的融合。在所有消费者的反馈中有潜在的重要信息,但除非我们在我们的产品目录上附带自由评论,所有这些信息会有用吗?这需要一个经典的追根溯源方法——技术和技巧(如自然语言处理),以帮助理解自由言论的一端,(主产品)在另一端的一个准确和一致的产品层次结构。MDM显然是这里推动者。

我听说过其他类似的故事。在最近的一次大型数据仓库设备供应商用户组会议上,一个普遍的消息就是需要掌握的身份来支持消费者分析。在会议上,我和Reltio的创始人和CEO做了个有趣的聊天,是一个风险capital-funded大数据的倡议,(别打扰访问网站,因为它在现在处于隐身模式)。他对MDM大量数据集成时所面临的挑战有一个健全的理解,MDM供应商此前产品营销和策略上处于领先。他的想法使用MDM来支持大数据分析与新兴主题形成共鸣:MDM有助于为大数据分析奠定基础,但是我们在早期阶段应该定义这个集成框架。

大数据之外,会议凸显了常见的和成功的从业人员和供应商的决策者。例如,在一个有趣的陈述数据治理方法的基础上,制定了马尔科姆·格拉德威尔的临界点理论(松散定义为一个快速和突然的改变,戏剧性地改变一个情况)可以被用来在驱动数据治理组织中加深和扩大。

数据治理的挑战相当于无处不在。最常见的是预算和资源的不足,尽管不是特别感到奇怪,特别是执行层缺乏兴趣的数据治理。数据治理的咒语似乎“少花钱多办事”。在产品部分,两个产品吸引了我的目光,这两项都是新的,但似乎都演变成了成熟的产品因此值得关注。

乐团网络的MDM / DG产品从有大量集成工作架构占主导地位的MDM平台上提供了一个可喜的变化,如IBM,Informatica,甲骨文等。乐团网络开始是使用一个工具您的数据建成一个模型,呈现了一个更简单、更易于管理的方法,尤其是我怀疑,为各部门和较小的MDM实现应用。

Talend继续实施开源和云计划。这是一个产品范围的扩大和快速地成熟的过程,而且似乎是在逐步迫近极限(称之为“引爆点”),在那里值得认真考虑MDM战略,尤其是如果你没有被锁在了IBM、Oracle、或SAP上。当然,要知道,“开源”并不一定能保证“自由”。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。