今天我们来解读Airbnb的朱赟写的微信文章《公司里的数据科学家在做些什么》   首先，大家可以看看关于异常检测的两篇很有名的文章：《Airbnb支付平台如何进行异常检测》，《Breakout detection in the wild》。   看完这两篇文章，我们会觉得数据科学家似乎很高大上，他们做各种图，整理各种idea，梳理各种数据，成为整个公司的灵魂。很久以前我们就听过一句话：“人人都是产品经理”。如今这句话已经开始变成“人人都是数据科学家”了。   数据科学家日常在做些什么？   数据科学家的日常工作总结起来有四个方面： 仪表盘 采清算 调模型 A/B测试   1.仪表盘     其实数据科学家人才最早是用在商业智能（Business Intelligence）上。说起商业智能，大家可以这样想：如果CEO每天早上到办公室，需要用五分钟的时间了解公司的运营情况，你会给CEO呈现什么？这就是CEO仪表盘。为了做这个仪表盘，我们需要找到公司最关键的指标，并发现里面的复杂联系，而且要一目了然。   举个例子，酷我音乐的一个团队有50多人，用户达到千万，收入也超过千万。那么每天早上需要准备什么数据呢？这几个数据比较重要：昨日的用户量，用户的登录比例，用户的付费比例，然后是人均消费。这是从财主的角度来看的。我们也可以从主播的角度看，昨天主播视频的播放量，平均播放时长，哪些留存哪些遗失了，整理出相关的数据。   其次，团队每个月要向CEO汇报整个事业线的运转情况，这时又需要汇报哪些指标呢？除了刚刚我们提到的，还要汇报流失率，以及流量的情况，如流量转化率、单流量价值等。数据科学家需要明确这些指标是如何整合起来的，哪些是关键指标，这是数据科学家要做的第一件事。   2.采清算     虽然已经规划好了整个流程，依旧需要落地实践，实际地做事。首先是埋点采集，比如我想收集所有流量的情况，那么首先要针对每一个流量源进行埋点。随后，对于用户流入之后的登录、注册、付费等各种行为，都需要埋点收集。   收集到这些数据之后，会有很多噪音，怎样清洗这些噪音成为一个非常重要的步骤。比如团队在做音乐推荐功能时，想统计用户喜欢的音乐的比例，收集用户为歌曲点红心的情况，结果发现有些噪音用户会一天点上千次的红心，那这样的用户还要保留吗？如果保留，会极大地影响整个系统的准确性，所以要清洗掉他们。   最后是统计整理。统计整理不仅是要把数据算出来，还要选择合适的指标。比如统计酷我音乐系统的服务等级（SLA）时，我们想看用户访问直播服务时的卡顿情况，如何评估呢？是统计大家的平均卡顿值还是其他指标呢？我们最后选择的是95%的指标，即把大家访问这个网站的卡顿排序，算出排在第95%位置人的卡顿指标，用它来评估整个服务的情况，也以此为依据来选择不同的服务提供商。   3.调模型     第三个任务是调模型。首先是搭建模型，现在模型已经越来越Popular，各种开源包也越来越多，因此找一个模型搭建起来往往不是最难的。   之后要分析模型的结果，因为不同模型跑出来的效果是不一样的，所以往往还要搭配很多测试的程序，来看模型跑的结果好不好，甚至还要在之前准备一些测试集、训练集来调整模型的参数。   最后一步是根据不同的结果调整参数。调整参数往往还包含两部分，一部分是对准确率的调整，即能不能算得更准；另一部分是性能调整，比如以前需要100台机器来做，能不能调成10台机器就能做呢？   举个例子，我们做音乐推荐系统时，模型是基于协同过滤（CF）来建的，当然也用了一些矩阵向量的方法，或一些更高级的机器学习方法。无论用什么方法，都需要分析各种结果，不同方法的性能也不一样，怎么去调整、整理是一个非常耗时的工作。   当这个模型应用了之后，其实还有很多领域知识能够增加你的结果。比如我们发现给用户推荐音乐时，要推荐20%他已经明确表达了喜欢的音乐，即点过红心的音乐，这样可以增加用户的满意度。此外，我们还需要增加多样性，让用户更持久地使用这个产品，所以我们添加了很多多样性的指标，来将整个系统调整得更好。   4.A/B测试     数据科学家最后一个任务是A/B测试。它的核心就是将用户分组，测试收集每组的不同结果，最后进行分析决策。   […]