数据产品设计典型流程
数据产品设计的流程包括3部分:
01
数据获取
做数据产品首先要有数据,数据来源有两个:
l从别人得拿:质量好得一般要花钱,免费的一般会有使用限制。,数据质量也可能存在问题,乱码、缺字段等。
l自己抓:自己的系统可以埋点,别人的数据看看能不能通过爬虫抓取(爬虫帮你圆大数据的梦),也有很多基于爬虫的数据分析产品,用户分析、舆情分析、物价分析、量化投资等。
数据获取和清洗环节PM的工作:
1.针对业务需求进行解读转化成不同的数据需求,PM首先要确定这些数据如何获取,确定最终的方案。
2.特别注意数据质量和数据稳定性。上游数据质量差的话,下游的每个环节都要浪费很多时间来处理。数据质量可以靠校验、对比,数据稳定性可以靠监控。
3.评估数据的成本和收益。数据是有成本的,量越大,质量越高,成本越高。所以,要合理的设计数据获取的策略:
02
数据转换
数据转换环节高端的说法是ETL,即拿到基础数据后,根据不同的业务需求再做数据清洗,然后将数据导入各个数据转换或计算模型,并对下游应用提供数据服务。
模型不一定是用户画像、推荐较复杂的模型,也可以是基础的筛选、排序、匹配、简单的逻辑计算。
为了让应用层拿到更高质量的数据,减少应用层的计算,这一层做大量的计算模块或做服务分层,分为基础数据服务层、业务强、弱相关层。数据转换环节,PM需要和架构师深入沟通(或者工程师),PM的职责包括:
1.需要了解数据存储、计算的知识
MySQL、Hadoop、HBase、Spark、Redis、Kafka...很多很多,不需要都深入了解,但至少了解他们的功能、特点、差别,能更好的沟通,参与方案设计。
2.全局设计能力
PM了解业务,工程师了解技术,两者协作,完成数据处理流程的设计或优化。
03
数据应用
各个公司的数据应用层就丰富多彩千差万别了,有流量分析、广告分析、用户分析、销量分析、财务分析、传播分析、ERP...。
本环节PM应该:深度理解业务
用户画像、反作弊、广告投放策略、推荐、NLP这些,是和业务紧密关联的,比如广告、打车两个领域,都有反作弊。这些应用离钱更近,一点点的指标的改进,都能带来很多钱。
基本术语
埋点:一般意义上的埋点,是利用如友盟、Talkingdata等第三方公司的SDK,通过在App中嵌入一段SDK代码,设定触发条件,当满足条件时,SDK会记录日志,并将日志发送到第三方服务器进行解析,并可视化地呈现给我们。这一过程就叫埋点。
维度:维度就是指我们平时看事物的角度,也可理解成分析一个数据能从哪些方面去分析,这些“角度”都是有值且可被枚举的。比如我们注册用户数有10万,那可分析的维度有:用户所在省份、用户性别、用户角色、用户来源等。不同维度来观察数据,可以得出不同结论,能否拓展观察维度,也是评估数据分析能力的一个关键。
度量:度量和维度相辅相成,是指可量化的数值,用于考察不同维度观察的效果,也可理解成“数据指标”。观察度量值可总体查看,如App总用户数,也可配合“维度”分层查看,如不同省份的注册用户数、活跃用户数,不同来源的App启动次数、平均日使用时长等。
渠道:指App的不同安装来源,如通过第三方应用市场安装,通过广告点击安装,通过地推