极客时间

近日，爱奇艺高级技术经理杜益凡在 DataFun 发表的演讲中分享了爱奇艺大数据分析平台的演进之路。他表示，目前爱奇艺的业务线达到 20 多条，存量的设备信息达到 30 亿，每天处理的用户行为日志超过 300T。这种业务数据量对数据运维、开发人员提出了很高的要求。

1. 起始时代

爱奇艺刚刚起步时平台架构很简单，数据流从日志通过 RSYNC 流入到 Hive，然后通过脚驱动 Hive SQL 语句统计分析，结果导入到 MySQL，最后形成报表展示。

2. 魔镜时代

在魔镜系统中进行投递管理、投递验证，分析人员可以在魔镜系统上通过配置进行自助取数，不需要等待开发排期。

3. 通天塔时代

通天塔集合了整个爱奇艺技术部门所有数据、所有计算资源和服务框架，重新构建形成一个大数据平台框架。底层是大数据平台所用的计算资源；再往上层是开发平台层，主要负责工作流开发；最上层就是直接面向用户的分析报表平台。

4. 工作流管理与开发方式的演变

刚开始的时候在这方面投入不是很大，使用 Crontab 直接驱动数据处理脚本运行。之后，他们利用 Shell 写了一个框架，可以自动批量维护很多计算。随着业务发展又无法满足需求，引入了 Linkedin 公司的开源工作流调度器 Azkaban。

5. 爱奇艺 BI

爱奇艺 BI 平台是一个很大的平台系统，报表只是其中的一部分，最核心的部分就是对不同业务线进行拆分。在前期的基础上，之前从 SQL 语句开始配置是基于开发的思路，现在是从报表构建的思路去配置，先配置报表的雏形，然后详细配置报表的各个组件爱奇艺大数据，这种方式更加符合数据分析者的思路。

6. 魔镜与庖丁刃

魔镜是通过勾选配置的方式写 SQL 达到取数的目的，通过定义指标、选取维度、定义详细的条件、排序方式，通过勾选方式生成 SQL，最后落在 SQL 执行的引擎上。庖丁刃就是提供给用户一个 SQL 编辑的工具，同时还提供一些数据源的管理。

7. 莫奈系统

莫奈系统目标是只需要鼠标如作画般划过屏幕，就可以进行大数据分析，将抽象数据变成画作。

8. 爱奇艺大数据分析体系

该体系集成了 BI 报表、莫奈分析、魔镜与庖丁刃和分析工具。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!