主页 > 知识库 > 数据库 > 数据库综合 >

分析师:“大数据时代”的生存法则

来源:TechTarget中国 作者:网络 发表于:2012-07-03 10:42  点击:
在Talend Connect大会上,一名IT业内分析专家指出,企业若不抓住大数据带来的机会,将很有可能在同行中遭到淘汰。 Jeff Kelly是Wikibon.org的首席研究员,也是SiliconANGLE的编辑。他说,诸如Hadoop和MapReduce这样的大数据技术才 刚刚起步;很多人由于技术有
在Talend Connect大会上,一名IT业内分析专家指出,企业若不抓住大数据带来的机会,将很有可能在同行中遭到淘汰。
   Jeff Kelly是Wikibon.org的首席研究员,也是SiliconANGLE的编辑。他说,诸如Hadoop和MapReduce这样的大数据技术才 刚刚起步;很多人由于技术有限或观念陈旧,仍然将它们拒之门外。然而,在不久的将来,当软件使用门槛变低大量企业开始采用的时候,这些今天已经采用了大数 据技术的企业将再次占领高地。到那时,他们会具备更丰富的信息来进行决策,也会比其他企业赚到更多的钱。
  作为曾就职于TechTarget的记者,Kelly说:“我们已经研究大数据两三年了,得到的结论就是,大数据是目前业内赢取竞争优势最有力的武器。当我们得出这个结论时,我们意识到了它的轰动性。事实的确如此,我们实在想不出有哪一个行业不会受到大数据的影响。”
   “大数据”这个词今天常在对机器生成的海量结构化与非结构化信息、社交媒体网站和移动设备的形容中用到。除此之外,它也用来形容可从信息中提取出有用商 业洞察的存储、管理和分析技术。比较熟知的大数据管理技术包括:Apache Hadoop分布式文件系统、MapReduce、Hive、Pig和Mahout。
  数据指向性的优势
  在 Talend Connect大会上大谈决策制定流程中业务数据指向性问题的不止Kelly一人,Tony Fraser也是其中之一。Fraser是Ogilvy & Mather(一家大型公关广告公司)旗下营销公司Neo@Ogilvy的创立人之一,也是技术合伙人。
  Fraser说:“我们做的是数字广告。只要你能想到的领域,我们都有涉及。”
   Fraser在发言中举出实例,说明了数据指向性决策为他们公司成功带来的帮助。其一是,巴黎酒店和拉斯维加斯赌场与Neo@Ogilvy合作,吸引更 多的顾客。Neo@Ogilvy首先通过社交媒体和旅游网站针收集顾客对巴黎酒店的正面评价,发现大多数都与Bellagio酒店喷泉的景色和街道对面的 赌场相关。根据这个信息,公司团队投放了一期电子广告,内容为喷泉旁的巴黎酒店。
  Fraser说:“广告一投放出去,酒店的预定人数激增。”
  大数据运用的障碍
  Kelly称,大数据管理技术的概念早已传播到大街小巷,但为什么真正使用它的企业却很少呢?主要有两个原因。
  第一,Hadoop与其他大数据软件的使用极其困难,而正确使用技能的培训尚未出台。目前,企业只有高薪聘请相关专业的博士才能对大数据方程式进行分析。
  Kelly说:“一个Oracle DBA不一定具备管理、部署与监控Hadoop的技能。比如,一个分析层面的数据工程师需要编写MapReduce,而这样的工作可与SQL查询的编写完全不同。”
  第二,目前大部分企业还缺少实施大数据的概念和计划。
  现今的许多大型企业都已习惯于通过数据仓库与BI报表技术来获取业务信息。然而,Kelly认为,BI或数据仓库模型是通过数据分析对过去进行评估,而大数据技术是通过数据分析对未来进行预测。
  他说:“对于这些企业来说,大数据运用需要一种观念上的转变;你需要信任数据并跟着它指的方向前进。大数据的意义就在于向前看、做出预测,然后行动。”
  大数据管理的普及
  Kelly认为,大数据管理和分析与其他新兴技术无异,最终都会普及,或者说会变得大众化。但是,这也需要一个过程。
   由于大数据技术的复杂度对很多刚刚接触的企业都是不小的挑战,所以这些新的应用工具和软件技术需要被简化。Talend、Hortonworks和 Cloudera等公司目前都在简化大数据技术的难度。Kelly说,大数据技术还需要很多革新,以让用户更简单地进行部署和管理、对Hadoop集群进 行防护并在流程与数据源之间创建集成。
  “现在你想成为一个顶级数据程序员,就必须具备编写MapReduce、SAS或其他语言程序的复杂技术。所以,我们需要研发出可以剔除部分专业性的工具;这样一来,即使你没有博士学位,也可以编写大数据程序了。”
  大数据的普及少不了对用户的大量技能培训,内容包括大数据架构、Hadoop部署管理、数据集成与MapReduce的编程等。
  Kelly说:“我们需要全面解决存在问题。一方面简化工具与技术;另一方面加强人员的培训,使DBA和业务分析师能够胜任‘大数据时代’的工作。”

    有帮助
    (0)
    0%
    没帮助
    (0)
    0%