大数据平台的落地关键——数据接入

数据接入概述

在大数据平台落地的过程中，数据接入是必不可少的一个关键环节。面对各种来源、各种类型的数据，需要通过数据接入将这些零散的数据整合在一起云闪付大数据，完成从数据采集、数据传输、数据处理、数据缓存到统一的数据平台的过程。

图：数据接入在大数据平台落地中所处位置，来源于网络

数据接入的意义在于，规范的数据接入能够大大减少后续的维护及使用代价。

因此数据接入时通常需要遵循如下规则：

1）意义明确：有实时更新的修改信息说明

日志级别：明确说明接入数据在整个公司业务流程中的位置；

记录级别：每条日志的打印时机和对应业务操作对应关系；

字段级别：写明每个字段的具体意义；

2）格式规范：对流程的规范性负责

后续可以做到数据的扩展性、易读性、解析、压缩（数据接入要求越严格，接入代价越大，但后续越容易自动化，能够节省解析、开发资源）。

3）责任人、使用方明确：需要考虑数据后续时效性、有效性、维护问题，同时建立数据意义、格式变更通知机制。

数据接入的类型

从数据类型的角度，数据接入主要包括结构化数据（数据库）的接入、日志数据的接入、IoT数据的接入和文件的接入。

1.结构化数据接入：结构化数据的接入主要是通过ETL工具来实现的，包括Hadoop平台提供的Sqoop，开源的kettle、talend，以及商业化产品Informatica、DataStage等;

2.日志数据接入：日志的接入工具通常有Flume、FileBeats、Logstash等;

3.IoT数据接入：IoT数据通常是以流式数据的方式，通过Kafka接入大数据平台；

4.文件接入：通过FTP或者WebDAV协议接入。

从数据处理方式的角度，数据接入可分为批处理和流式处理。

1.批处理

优点：数据覆盖面广，时间跨度长，支撑业务范围广 ，计算准确度高；依靠历史数据预先计算相关数据模型

缺点：数据实效性不足 存储空间、存储类型需求大

2.流式处理

优点：高效查询、快速响应、“热数据”价值高效利用

缺点：上下文关联密切场景业务支撑不足

几种常见数据接入手段的对比

1）socket方式

优点：

1.易于编程 java提供了多种框架，屏蔽了底层通信细节以及数据传输转换细节。

2.容易控制权限 通过传输层协议https加密传输的数据，使得安全性提高。

3.通用性比较强 无论客户端是.net架构、java还是python都可以。

缺点：

1.服务器和客户端必须同时工作，当服务器端不可用的时候，整个数据交互过程不可进行。

2.当传输数据量比较大时会严重占用网络带宽，可能导致连接超时，使得数据量交互时服务变的不可靠。

2）ftp/文件共享服务器方式

优点：

在数据量大的情况下，可以通过文件传输，不会超时，不占用网络带宽，且方案简单易操作。

缺点：

实时性不强，且必须约定文件数据的格式，当改变文件格式的时候，需要各个系统都同步做修改

3）message形式

优点：

1.由于jms定义了规范，有很多的开源的消息中间件可以选择，而且比较通用。接入起来相对也比较简单。

2.通过消息的方式比较灵活，可以采取同步、异步、可靠性的消息处理，消息中间件也可独立部署。

缺点：

1.对开发人员来说，学习jms相关的基础知识、消息中间件的具体配置以及实现的细节学习成本较大。

2.在大数据量的情况下，消息可能会产生积压，导致消息延迟，消息丢失，甚至消息中间件崩溃。

大数据接入处理面临的问题

大数据接入处理时通常会面临如下问题：

对于如上问题，可通过以下思路进行解决：

数据接入是数据平台最基础的环节，同时也是很重要的环节，基础不牢，就无法为上层应用提供稳定可靠的数据服务，不能充分发挥出数据的价值。将来可以通过以下几个方面完善数据接入：

1、规范统一接入方式，降低接入成本

2、加强数据接入底层建设，提供稳定、可靠的传输服务

3、完善接入平台功能，对外提供自助接入服务，让用户可自助玩转数据

参考文献：

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!