展望当下大数据体系的4大技术趋势

大数据体系的领域架构

大数据体系未来演进的4大技术趋势：

趋势1：近实时架构兴起

在离线batch计算和纯流式实时计算之间，以开源Apache Delta/Hudi为代表的近实时架构成为热点。近实时架构避免了流计算庞大的状态存储与管理，在成本和延迟上找到了另一个平衡。随近实时架构的形成，计算架构最终完成从离线到实时全频谱支持。

趋势2：数据共享与隐私保护成为热点

数据成为资产，开始具备可变现和可交易的能力。可保护隐私的数据交换/共享能力成为强劲的需求。基于DifferentialPrivacy的数据编码交易，以及基于Federated Learning的多方面安全计算是该领域的热点技术。

趋势3：IoT成为新热点

目前人的行为数据（日志）是大数据计算的主要来源，超过80%的数据都来源于行为日志（例如浏览、点击）。随5G+智能化设备的兴起，设备日志会成为更大的数据源增长点，面向海量低价值设备数据的处理和优化，需要得到更多的关注。

趋势4：AI for System

AI for System，即上文中提到的大数据自动驾驶。AI作为工具，成为优化的常用手段。在大数据领域大数据技术架构，随数据量/系统复杂度的增长，DBA模式已经不再试用。利用算法优化系统成为主流方向，大数据的“自动驾驶”会越来越自动。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!