TalkingData数据科学家张夏天:算法是机器学习的核心

标签:大数据数据分析数据挖掘TalkingData机器学习张夏天

访客:37601  发表于:2015-12-09 09:54:39

张夏天,曾在IBM中国研究院,腾讯数据平台部,华为诺亚方舟实验室任职。对大数据环境下的机器学习、数据挖掘有深入的研究和实践经验。在TalkingData负责数据挖掘和机器学习工作,为TalkingData各个产品线和服务线提供支持。

TalkingData数据科学家张夏天:算法是机器学习的核心

              TalkingData首席数据科学家    张夏天

记者:请简单介绍下您和目前的工作,以及说说您自己曾经的计算机经历?

张夏天:目前我是在TalkingData的数据科学部主要负责数据挖掘,机器学习,业务建模等方面的工作。目前我 主要的工作有三块,一是大规模机器学习能力的建设,二是基础数据的深度挖掘和整理,三是支持不同业务的数据挖掘和业务建模的工作。前两个工作都是为了支持 第三个工作的高效进行。我们最大的责任就是在不同的行业,把数据的价值发挥出来。

我是初中开始接触计算机的,当时学校有个微机房有几十台286电脑,记得也就是学了些打字和最简单的Basic语言。后来在高中,参加了学校的计算机奥赛 的小组,参加时间不长,学了点Pascal。大学学的数学,计算机学得比较少,不过在系里还算学得比较好的。研究生转了计算机专业,做了很多项目,毕业进 来IBM中国研究院,主要从事推荐系统方面的研究工作。在IBM呆了4-5年,感觉做推荐系统、数据挖掘得有数据,后来就去了腾讯,从此就踏入了互联网行 业。

记者:您对算法是怎样的理解?以及相比于产品决策团队、数据工程师,算法工程师在一个公司里如何安排好自己的位置?

张夏天:算法是机器学习的核心,所有的研究都是为了最后设计出更好的算法。机器学习的进步也是被一种又一种新的算法 的出现而推着前进。当然,任何一种算法都有自己的局限性,在实际工作中我们不能指望算法帮我们解决所有问题,不要过度的崇拜算法。实践中,对问题的理解, 对数据的理解,对数据的清洗,处理和加工带来的影响可能比算法更大。我们团队还比较小,没有专职的算法工程师,目前公司的各种数据应用尝试又比较多,所以 在我的团队我是要求大家向数据科学家的方向发展,而不仅仅是实现算法、使用算法。

数据科学家是个很炫酷的职位。我个人理解数据科学家需要具备理解业务的能力,洞察数据的敏锐性,懂机器学习理论和算法,又具有一定的编程开发能力。是能够独立运用各种技术解决数据驱动的业务问题的专家。

记者:目前TalkingData的算法团队情况是怎样的?又是如何支持公司各个产品线和服务线的?

张夏天:目前我们的团队还在发展中,目前一共是5个人,除了我以外都还比较年轻,现在也在努力引进一些资深的人才。 因为我们是数据公司,在很多产品和服务中就少不了数据挖掘能力的支持。对工具类产品,我们团队主要提供算法库的支持,同时也会跟产品经理一起梳理算法在产 品中如何应用。而对于数据类的产品,我们会参与产品核心算法的研究。我们目前有很多的数据应用服务的项目和探索,在这块我们团队会根据需求,在项目不同的 阶段参与进来提供支持。

记者:能够简单介绍下TalkingData大规模机器学习的应用情况?

张夏天:我们目前的大规模机器学习是基于Spark平台的,目前主要用于Lookalike(相似人群)挖掘。我们 累积的数设备数已经超过23亿,在这么大的池子中做Lookalike是一个规模很大的问题。为了支持这个应用,目前可以做到10亿级别的样本,数百万的 维度下将LR算法10分钟训练完。不过为了支持这个能力的产品化,我们还在想办法能够将算法效率进一步提高,个人的目标是10秒以内。

记者:在这个信息完全碎片化的时代里,大数据的出现让整个广告行业日新月异。广告主从漫无目的量化式投放成功过渡到精准到个人的精细化投放。这种小成本大收益的模式得益于大数据背后精准的数据支撑,而算法在这类的实际应用中有着怎样或多大的作用?

张夏天:算法当然是起到了非常关键的作用,精准投放比盲投提高一倍的ROI不是什么难事。算法的精度、效率直接决定了广告的效果和收益。

记者:精度非常好理解,效率也很重要么?

张夏天:因为广告市场的变化是很快的,每时每刻都有新的广告进来,老的广告退出,用户兴趣也在发生变化。一个再精准 的算法模型,如果训练时间太长,训练出来的模型就已经落后于实际情况了。所以趋势是模型的更新速度越来越快,现在已经向on line learning的方式在发展了。精准投放是一个系统工程,算法仅仅只是其中一环,更基础的还是数据。算法是屠龙刀,但是还得有龙屠,我们公司最主要的还 是在养龙。

记者:如果想从事算法方面的工作,能够推荐一些有效的学习方法?以及结合多年工作,可否推荐一些工具或学习库。

张夏天:我对我们团队的要求是不要第一步就去看算法,先把概率与统计好好复习一遍,再来看机器学习方面的书。我认为 机器学习实际是统计学的衍生,主要是为了解决多维问题。如果不理解本质而只追求方法,就很难有很大的提高。以前做实验我用weka比较多,后来都是处理大 规模的问题,基本都只能靠自己写,这方面也难给出什么推荐。

记者:可否推荐一份机器学习和数据挖掘的书单?

张夏天:我看过的觉得比较好的有《统计学习理论》、《统计学习方法》、《数据挖掘:概念与技术》、《Machine Learning: A Probabilistic Perspective》、《模式分类》。

来源:CSDN

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");