58同城实时计算平台架构执行

58同城作为覆盖生活全领域的服务平台，业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。 丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析，实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。 本文主要介绍58同城基于Flink打造的一站式实时计算平台Wstream。

和很多互联网公司一样，实时计算在58拥有丰富的场景需求，主要包括以下几类：

1.实时数据ETL

实时消费Kafka数据进行清洗、转换、结构化处理用于下游计算处理。

2.实时数仓

实时化数据计算，仓库模型加工和存储。 实时分析业务及用户各类指标，让运营更加实时化。

3.实时监控

对系统和用户行为进行实时检测和分析，如业务指标实时监控，运维线上稳定性监控，金融 风控等。

4.实时分析

特征平台，用户画像，实时个性化推荐等。

在实时计算平台建设过程中，主要是跟进开源社区发展以及实际业务需求，计算框架经历了Storm到 Spark Streaming到 Flink的发展，同时建设一站式实时计算平台，旨在提升用户实时计算需求开发上线管理监控效率，优化平台管理。

实时计算引擎前期基于Storm和Spark Streaming构建,很多情况下并不能很好的满足业务需求，如商业部门基于Spark Streaming构建的特征平台希望将计算延迟由分钟级降低到秒级，提升用户体验，运维监控平台基于Storm分析公司全量nginx日志对线上业务进行监控，需要秒级甚至毫秒级别的延迟，Storm的吞吐能力成为瓶颈。 同时随着实时需求不断增加，场景更加丰富，在追求任务高吞吐低延迟的基础上，对计算过程中间状态管理，灵活窗口支持，以及exactly once语义保障的诉求越来越多。 Apache Flink开源之后，支持高吞吐低延迟的架构设计以及高可用的稳定性，同时拥有实时计算场景一系列特性以及支持实时Sql模型，使我们决定采用 Flink作为新一代实时计算平台的计算引擎。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!