滴滴大数据架构部总监张浩:大数据主宰现在与未来

标签:大数据滴滴机器学习张浩出行

访客:152018  发表于:2015-11-19 10:28:24

先后通过投资GrabTaxi、Lyft将业务伸向海外市场之前,滴滴的技术团队已经跑了好些遍美国。目的很简单,就是寻觅海外优质的技术人才。

事实上,相比在业务和资本领域的高调,滴滴的技术更多习惯性地隐藏在幕后。

但作为一个互联网公司,技术的重要性却不容小觑。

按照滴滴出行CTO张博的理解,大数据才是滴滴的心脏。“不只是滴滴产品的心脏,还是滴滴商业的心脏。”

滴滴大数据架构部总监张浩:大数据主宰现在与未来

“挖角”硅谷人才

记者见到滴滴出行大数据架构部总监张浩的时候,他刚入职滴滴半个月。

尽管滴滴大部队已经搬去了位于北京西二旗软件园二期的全新办公楼,但由于装修进度,张浩和他的团队暂时还得留守在得实大厦办公。

仅有1部客梯和2部货梯的写字楼,拥挤的工位,这是一个与远在大洋彼岸的硅谷截然不同的工作环境。

但张浩还是决定举家从美国搬回来。

在此之前的2015年7月,刚过完美国独立日不久的张浩在推特楼下见到了张博和滴滴大数据领域负责人。

加盟滴滴之前,张浩有过微软多年的工作经历,当时关注最多的就是大数据和人工智能。

“但我始终觉得这个东西属于技术,属于极客们特喜欢玩的,其实没有真正触及到人的生活。但出行领域加上大数据真的可以改变这个行业。”按照张浩透露的信息,和他一起从硅谷回来的大数据领域高端人才还有好几个。

这些人加盟滴滴更多缘于一个今年上半年开始正式启动的人才招募计划。

5月22日,滴滴对外宣布将正式成立“机器学习研究院”,同期公布的是上述研究院的科学家招募计划,计划将在全球范围招募相关领域的世界级科学家。

而张博也因此多了一个任务,就是经常性地带着团队飞美国张罗招聘。

张浩入职滴滴第一天最为直接的感受就是这个团队太年轻了。“公司里所有的领导都比我年轻,我们这几个国外待了十几年回来的,一下把平均年龄拉大了不少。”

大数据的想象力

滴滴出行战略负责人朱景士日前对外公布了这样一组数据。

滴滴目前每分钟要匹配200万次需求,超过所有地图软件,每天数据分析量级是50TB,大约是5万部高清电影。每天连续上传的定位数据是50亿次。

“中国市场的规模、人口密度、收入、车辆保有率、交通环境的各种差异,决定了中国市场需要一个超越单一专车App的全平台服务。”而且中国的交通问题和美 国根本不是一个量级的,面对中国如此复杂的交通体系和所需路线的精密计算,按照朱景士的观点,“我们等于每天都在做微积分,而其他的公司只不过是在做一些 算术,加减乘除。”

也正是这样一个复杂的业务需求和庞大的数据量带来的想象空间使得滴滴成为不少大数据业务专家加盟的重要原因。

但随之而来的问题是,这些从海外费尽心思寻觅而来的技术人才能给滴滴带来什么。

张浩的回答是两点,海外经验对大家视野的扩展和硅谷的工程师文化、工匠精神。

“滴滴一个很大的强项是拥抱变化,这点我是在美国别的公司没有见到的,每个员工都非常有激情,对我们的目标非常看好,这些都是好的。”而张浩在入职之后更关注的是如何让坚持以业务为驱动的滴滴在高速发展的同时保持工程师团队的技术沉淀。

在大谈特谈大数据的当下,移动互联网的普及已经让获取数据变得相对比较容易。但是如何有效地分析和理解海量数据仍是一个很大的问题。

按照张博此前的介绍,滴滴研发的基本原则是想办法撮合乘客和司机,满足他们的需求,保证他们的体验。简单点说,就是将订单发送给合适的司机。

以滴滴专车业务为例,目前还要用到人为制定的规则,例如如何将信息推送给最适合区域内的司机、谁优先获得订单等等。在数据量较小的情况下,可以基于规则、人的经验来设定算法,但是在数据量更大更丰富的情况下,这样的做法可能和现实存在一定程度的脱节。

这是一个颇为繁杂的过程。“除了推荐算法要准确、匹配效率要高、计算要快、推送要及时,还要在推送订单到这位司机之前,通过对小费、长短途、时间、方向敏 感等静态特征和司机与订单之间的位置关系、时间关系等动态特征进行综合分析来预测他对订单感兴趣的程度。”张博解释道。

此外,给乘客什么样的补贴、给司机什么样的补贴、谁更敏感、多少金额影响更积极,这些策略的背后都是大数据在起作用。

一键式一步出行平台

作为大数据方面的专家,张浩向记者描绘了一个移动出行相当诱人的未来场景——真真正正实现一键式一步出行平台。现在还需要自己筛选出行方式,是坐公交车还 是选择顺风车、坐快车、专车。未来通过更多的数据与更精确的算法和匹配,用户只要输入目的地就能获得更多更精准的出行方式推荐。“到那个时候,即使是没有 地图产品,即便是不太熟悉智能手机的老人、小孩都能够真正享受这个大数据提供的优越性。”

在过去的几年间,滴滴每张订单的乘客信息、司机信息、出行轨迹都被悉心记录下来。但出行领域的大数据与电商和搜索引擎方面的有着不同的标准。

在张浩看来,电商和搜索引擎这块的大数据分析已经做得比较成熟,但从效果来说,电商和搜索引擎的大数据分析如果不够准确损害程度并不大。“大不了给我推荐 的东西我不喜欢就没买;给我推荐的工作大不了完全不搭界我不理睬就行了。但真正涉及到每个人每天的出行,如果有一步做得不对,没赶上开会或者误了航班都会 带来很大的麻烦。”

从2014年底便开始酝酿的滴滴“机器学习研究院”要解决的就是更好更精准的数据匹配。

按理说,在使用机器学习的方法后,可以自动设定合理的规则,提高数据处理效率。而且,对机器学习来说,数据量越大,分析结果就越精确。

但实际上越是智能、越是自动化的东西,就越会出问题。“这意味着对我们的科学家和工程师团队要求会越来越高。”张浩补充道。

入职滴滴之后,张浩遇到最多的问题是如何在保持系统的通用性的技术上,满足不同业务线独特的需要。

将业务从单一的出租车迅速扩张到包括专车、快车、顺风车、代驾等多个领域之后,来自技术部门的烦恼是滴滴的各个业务线产品大多每个星期都需要有一个迭代,而此前滴滴快的合并之后还给工程师们留下了不同系统整合优化的任务。

“我现在一半的时间花在系统整合和优化,另一半的时间花在勾画出未来6个月到一年需要做的新的事情,这两个事情都得同时做。”这样的工作状态和滴滴快速的业务拓展有点类似,“就好像一边造自行车,一边在往前骑。”


评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");