上海市计算机行业协会《工业大数据平台技术规范 数据接口服务》 团体标准解读

上海宝信软件股份有限公司1上海标镕信息科技有限公司2 上海市计算机行业协会3

周明1，胡劲华1，滕逸龙1，欧阳树生2，王克勤3 ，周晓婷3，裘维东3

摘要：本文结合参与的团体标准编制工作，介绍了《工业大数据平台技术规范 数据接口服务》团体标准的制定过程、标准编制过程中的技术、意见的处理等，介绍了《工业大数据平台技术规范 数据接口服务》团体标准的主要内容，对团体标准应用水平的提升、制定和应用推广，具有一定的借鉴作用。

关键词：数据实体，数据源，熔断

1.标准制定背景

2020年4月，工业和信息化部关于工业大数据发展给出的指导意见中，关于工业大数据治理方面，明确指出要开展数据管理能力评估贯标，推广《数据管理能力成熟度评估模型》（GB/T 36073-2018，简称DCMM）国家标准，构建工业大数据管理能力评估体系，引导企业提升数据管理能力。构建工业大数据管理能力体系需要工业大数据治理平台软件的支持，然而，目前还没有工业大数据治理平台的标准材料，因此需要由集信息化与自动化，产品开发、系统集成与工程应用，物联网共性技术与行业知识积累为一体的公司提出并制定。

工业大数据的数据接口服务标准，可以很好的指导工业大数据行业的多个产业多方协作，将推动工业大数据市场的良性发展。

2.编制原则

本标准按照GB/T1.1-2020《标准化工作导则》给出的规则起草，同时参考了有关数据治理和工业大数据的标准，在此基础上编制而成。编制原则如下：

1)、借鉴成熟经验

编制组对工业大数据的数据接口服务的产品开发过程进行了详细研究分析，借鉴成熟的数据接口服务平台开发流程和经验，融合工业大数据平台系统的特殊要求，使得整个开发过程更加适用于工业大数据的产品开发过程。

2)、结合产业实际情况

在本部分制定过程中，坚持产学研用相结合，听取各方意见，充分调研国内产业的实际需求，提炼出符合国内产业实际情况的工业大数据的数据接口服务规范。

3)、强调标准的可实施性

通过定义产品开发过程中的流程及关注点，指导各行业工业大数据服务应用开发过程，增强标准的可实施性。

3.贯彻标准的措施建议

可以基于《工业大数据平台技术规范 数据接口服务》标准研制适用于工业大数据平台产品，实现工业大数据平台技术产业化发展。本标准面向我国工业行业企业发展需求，突破工业大数据治理平台共性关键技术，形成上海市具有自主知识产权的工业大数据平台标准，推动产业发展。

4.标准主要内容

4.1数据接口服务综述

数据接口服务是数据开发建模形成的数据实体与外部应用系统之间的桥梁。数据接口服务应将数据实体封装成数据接口的形式，以服务的方式提供给外部应用系统调用。

4.2数据接口开发

数据接口应对接Hadoop等分布式存储引擎、工业时序数据引擎和传统关系型数据引擎等数据存储引擎，可通过配置方式关联一个或多个数据集。

数据接口开发包含：

动态数据集开发：对接数据实体的动态数据集的配置。动态数据集应由数据接口服务动态生成，而非固化在对应数据存储引擎中。应包含动态数据集名称、数据源、数据实体、数据实体之间关联参数等配置；

应用程序接口开发：通过可视化的向导模式或脚本模式快速生成应用程序接口。向导开发模式应包含接口名称、动态数据集、输入参数、返回参数、是否缓存数据、超时时间等配置；脚本开发模式应包含接口名称、动态数据集、数据查询脚本等配置。

4.3数据接口路由

数据接口路由应是按照指定的协议响应数据接口访问请求的一种应用服务。

数据接口路包含：

数据接口鉴权：数据接口路由应有鉴权机制，根据鉴权结果来决定是否允许调用数据接口；

数据接口请求分发：数据接口路由应根据数据接口的运行策略来决定将数据接口访问请求分发到指定的数据接口服务上。

4.4数据接口解析

数据接口解析位于数据接口路由之后，应包含数据接口数据源配置解析、参数配置解析和执行脚本转换的工作，数据接口解析应统一处理抽象的数据接口配置到具体的执行脚本之间的转换工作。

数据接口解析包括：

数据源配置解析：数据接口服务应加载数据接口的数据源配置，解析出目标数据源地址并保存在内存中；

参数配置解析：数据接口服务应解析数据接口配置的请求参数和返回参数，应可将调用的实际输入参数同配置相匹配，转换成实际的脚本输入参数；

执行脚本转换：应可将数据接口配置同转换成对应数据引擎实际可执行的命令。

4.5数据接口管控

由于数据接口的特殊性，为减少导致数据引擎压力过高的情况出现，应对数据接口进行管控。

数据接口管控宜包含以下管控机制：

熔断：熔断机制应针对数据源，当数据源的执行错误率达到指定的比例时应限制访问；

限流：应可限制数据接口的调用，应可限制在指定时间内数据接口的访问数量。

4.6连接池管理

数据接口服务应具备连接池管理功能。使用相同数据源的数据接口应使用同一个连接池。连接池管理应包含超时时间、并发量等多个配置。

连接池管理应包含如下生命周期管理：

初始化：当数据源被第一次请求时，其对应的连接池应被初始化，与数据引擎建立连接，同时保留该连接池；

运行：连接池初始化完成后，应提供正常连接给数据接口使用的状态；

重置：数据源的配置变更后原有连接池应被回收，同时用新的连接池来代替；

回收：对连接池进行回收销毁。

5.验证方法

5.1数据接口开发验证方法

在工业大数据平台中，创建动态数据集，检查动态数据集是否创建成功；

在工业大数据平台中，使用向导模式创建应用程序接口，检查接口是否创建成功；

在工业大数据平台中，使用脚本模式创建应用程序接口大数据标准，检查接口是否创建成功。

5.2数据接口调试发布验证方法

在工业大数据平台中，通过可视化方式配置数据接口，检查数据接口是否创建成功；

发布数据接口后，检查是否存在数据接口文档；

发布数据接口后，检查是否可以正确使用一个或多个协议调用数据接口。

5.3数据接口路由验证方法

使用调用无权限调用的数据接口，检查数据接口路由是否正确的鉴权；

使用调用有权限调用的数据接口，检查数据接口路由是否正确的鉴权；

调用数据接口，检查调用请求是否正确的分配到了指定的数据接口服务上。

5.4数据接口解析验证方法

调用数据接口，检查数据接口解析后的执行命令是否可以正确执行。

5.5数据接口管控验证方法

调用数据接口并达熔断的调用量，检查数据接口管控是否有效熔断；

调用数据接口并达到限定的调用量，检查数据接口管控是否有效限流。

5.6连接池管理验证方法

调用数据接口，检查相关连接池是否正确的初始化、运行、重置、回收。

6.标准发布、发行信息

《工业大数据平台技术规范 数据接口服务》（T/SCTA 008—2022）团体标准由上海市计算机行业协会于2022年2月10日发布，从2022年2月28日起实施。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!