Hadoop技能有高度需求

标签:技术前沿HadoopCIO技能

访客:24677  发表于:2012-05-24 17:59:48

由於成长型企业在Hadoop和相关技术方面的兴趣,同时也推动了企业在巨量资料(big data)方面的专业人力需求,而资料分析师、资料科学家和资料管理师将获得大鸣大放的机会。

在纽约举办的Hadoop World会议上,分析师和IT经理人一再指出,采用Hadoop技术的公司面临的主要挑战之一就是技术可用性(skills availability),并表示具有Hadoop技能的人同时也掌握了更多收入。

摩根大通集团(JP Morgan Chase)和EBay的IT主管利用主题演讲的机会,大肆招揽与会学员加入Hadoop的行列,这种情况似乎也显示了这样的技能在市场供给上多麽有限。eBay负责搜寻平台的资深副总裁Hugh Williams除了在演讲中提到eBay正在招募Hadoop专才以外,同时更邀请现场有兴趣的人直接找机会与他对谈。摩根大通总经理Larry Feinsmith也接着Williams的讲谈内容,更开玩笑地告诉听众,摩根大通也雇用Hadoop技术专才,同时还愿意付比eBay高10%的酬劳!Forrester分析师James Kobielus则说,Hadoop 是一种新的资料仓储型态,是企业中资料的新来源。企业对那些具备足够Hadoop技能的人提供一份优渥的薪资,期望能利用这样的技术为公司在市场上取得优势。

Hadoop允许企业储存和管理的结构化或非结构化资料的资料量,远远大於今日的RDBMS(关连式资料库管理系统)所能处理的量,而且经济实惠。

在这方面技术有需求的企业数量一直不断成长,为了储存和分析像weblogs的peta级资料量、点击串流资料和社交媒体内容,以对他们的顾客和生意有更深入的了解。由於越来越多企业的投入,也使得高阶分析人才需求度不断增加,这包含在以下方面具有专长的人:像是多变量分析、资料探勘、预测模型、自然语言处理,内容分析,文字分析与和社交网路分析,Kobielus说。「就广义的巨量资料(尤其是Hadoop )来说,这些企业应用的需求同时也驱动了企业对IT专才的需求,企业更需要能够在使用进阶分析方法上(像是为了预测和统计模型的MapReduce和R)有经验的人才,」Kobielus说,因为这些资料分析师或资料科学家们可以利用Hadoop的环境,来处理结构化或非结构化资料,以提商务智慧和洞察力。

企业对Hadoop平台的兴趣也创造了Hadoop平台管理专才的需求,Kobielus说。这些专才的工作是以Hadoop丛集、安全、管理与最佳化来回应企业需求,并确保丛集可用性。在每一个执行Hadoop应用程式的背後,他们就是能建立Hadoop平台并予以最佳化的关键。

这些专才已经意识到全新世界的来临,他们和负责管理Teradata或Oracle Exadata的资料库管理员是同一批人,而他们正开始重新定义自己,将自己视为Hadoop丛集管理员的角色。另一方面,企业不仅期待可以找到储存管理的专才,也希望可以找到能在关连式资料库中进行Hadoop环境整合的专才。

Karmasphere是一家销售Hadoop平台软体的公司,其CEO Martin Hall表示,Hadoop专才的需求来自三大面向:资料分析师、资料科学家和资料管理师。

资料管理师将是唯一可以选择、安装、管理、预先提供(provision)和扩展Hadoop丛集的人,由他们决定要将Hadoop部署在云端或是在本地、该采用哪一家供应商、该使用哪一个版本的Hadoop套件、丛集的规模如何、是否要在Hadoop部署生产相关的应用程式还是只作为品质测试之用。这个角色所需的技能,同样也类似於传统关联式资料库和资料仓储环境所该做的,他说。Hadoop的资料分析师同时也负责建立资料处理的流程,同时建立分散式MapReduce演算法用於资料分析。而Java和C++都属於那些领域的技术,因此企业可以找到更多开始导入Hadoop的机会点。最後一个需求很高的专才是资料科学家,这样的人必须在SAS、SPSS 和程式语言(例如R)方面有相当的经验。他们可以汇整、分析、分享并整合收集到的情报,最後储存到Hadoop环境中。

就目前来说,Hadoop人力短缺意味着企业需要从服务提供者取得协助,以部署相关的技术。你可以从现况看到一件事,那就是同样以Hadoop为主,但专业顾问公司的收益仍比卖产品的系统整合商好得多!某些公司,像是Cloudera、MapR、Hortonworks和IBM等,目前都在公司提供Hadoop训练课程,因为可以藉此建立自有的Hadoop顶尖研究中心。(来源:台湾企业经理人杂志)


评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");