云计算与大数据

量 象 固 除 荸 衡 勤 悠 云计算与大数据 刘 波 ( 东南大学计算机科学与工程学院， 南京 211189) 2013 年 12 月 13 15 日，国际高级云计算与大 数 据 会 议 (Inter n ational Conference on Advanced Cloud and Big Data， CBD)在南京东南大学成功召开。 本次会议由东南大学和 IBM公司联合主办、 东南大 学计算机科学与工程学院承办， 会议主席为美国佐 治亚州立大学(~ orgia State University)的Y i Pa n 教 授和 IBM 公司 Ling Shao工程师和 Zhong Tian 工程 师 。 由东 南 大学 的 罗军 舟 教 授 、 IBM 公 司 Garth Tschetter 和加拿大圣弗朗西斯塞维尔大学 (St． Fran— cis Xavier University) 的 Laurence T． Yang教授担任 大会程序委员会主席。 来 自 全球各地的大学、 研究机 构和知名企业的专家学者以及相关领域的东南大学 师生出席了会议。 本次会议共分为 4个主题演讲和 6个专题报告。

本次会议旨在为来自企业界和学术界的研究人员提 供—个在云计算与大数据研究方面的交流平台， 促进 研究的发展与突破。除了展示最新的研究成果， 会议 还在新型商业数据管理系统、 基于云计算和大数据技 术的新型商业应用以及研究新进展在实际中的部署 经验等方面提供了与会者深入交流的机会。 在为期3 天的报告会上， 各位参会代表就云资源管理、 云系统 管理与应用、大数据处理技术和大数据存储与管理 介绍了计算智能方法在 CDMA 通讯中的应用。 来自 浙江大学的Bai Li 介绍了其与中国台湾国立清华大 学的合作研究成果，提出了一种基于内部反馈信息 的人工蜂群算法，并针对蛋白质序列应用与粒子群 优化方法、标准人工蜂群算法和差分进化算法进行 了比较， 结果验证了该算法的有效性和鲁棒性。 来 自 南京邮电大学的Zhengzhong Zheng介绍了一种新的 动态网络半监视学习方法。来自南京邮电大学的 Bin Liu介绍了一种新的机遇计算智能和贝叶斯模 拟的通用算法策略。来 自北京航空航天大学的 Zhe Liu介绍了改进的马尔科夫链蒙特卡洛技术的目标 辨识方法， 并用仿真实例验证了算法的有效性。

来 自 浙江大学的Jie Zhang 计算智能方法在风电场电能 质 量控制领域 的应用 。来 自上海交通 大学 的 Zhongxing Ye 介绍了计算智能在游戏理论中的应 用。 来自华东师范大学的Y ingna n Liu介绍了计算智 能方法在社会网络中信用评价系统中的应用。来自 刘收稿 1 3期 ： 2014— 01— 10 波： 副教授。 30 北京南瑞智芯微电子科技有限公司的 Har t Zhang介 绍了计算智能方法在芯片系统设计中的应用。来自 江南大学的 Nayun Bian 介绍了计算智能在网络安 全方面 的应用 ，而来 自马来 西亚科廷大学 的 Ashutosh Kumar Singh介绍了计算智能方法在多智 能体领域的应用。 除了上述研究者围绕论文进行了口头报告和讨 论以外， 其他录用的论文则进行了poster报告。 此次会议为国内外学者、专家提供了一个相互 交流的平台，也是主办方展示相关科学研究成果的 重要窗口。会议的召开有助于加强国内外学术机构 之间的合作，使我们更好地了解计算智能方面的最 新进展及学科发展动态。会议的举办对促进浙江大 学的国际学术交流、提升浙江大学及电气工程学科 的国际影响力和科技创新能力都具有十分重要的意 义， 为未来的合作研究建立良好的基础。

等专题进行了深入、 广泛的交流。 大会共作学术报告 38 场 ， 收录学术论文 34 篇 ， 出版论文集 1份 ， 这是 近年来企业界和学术界在云计算与大数据研究领域 联合召开的一次难得的高水平盛会。 1 主题演讲 大会邀请 Laurence T． Yang 教授 、 Yihua Huang 教授、 Ling Shao工程师和 Hai Ming Y ang 博士分别 作了4 场精彩的主题演讲。Laurence T． Yang教授对 数据 即服务框架 ( Data— as— a— Service framework )进行 了详尽的介绍，并将其运用于解决 CPS 系统(Cy— ber-Physica l — Social CPS Systems)Yihua Huang教授从实际应用中总结大数据本质和 大数据处理的特征，研究适合特征的新型的平行计 算模型，进而提出一种用于 Spark 内存级别的计算 模型和平台。 L i ng Shao 工程师从 IBM 视角给出了对 软件定义环境(Softwa r e Def i ned Environment)的一些 新的看法。 随着软件定义环境的发展， 未来数据中心 能够“理解”应用和负载的需求， 能够自动调整底层 资源从而使得应用运行更可靠、响应更及时并且可 扩展性更强。

来 自IBM 中国系统与技术研究院的 Hai Ming Yang 博士畅谈了云计算在中国目前的发 展情况，并对利用开源技术开发商业云存在的风险 和机遇进行了深入的分析。 的大 数 据 问题 。 2专题报告 (1)云资源管理(Cloud Resource Management) 来 自兰州大学的 Xiaoliang Fan 首先对目前云工 作流研究中存在的机遇与挑战进行了讨论，并提出 种基于上下文的方法改进面向用户的云工作流设 计机制。在跨文化交流过程中针对多语言信息资源 管理的复杂性， 上海外国语大学的 Yaojun H 种基于 Min— Min 算法的调度算法，能够有效改进 在云环境中信息资源调度性能。针对智能手机电池 消耗问题云计算与大数据， 西北大学 的 J ie Ren 研究发现 ， 智能手机 在下载大数据信息时其电力消耗与所在的网络环境 有关， 基于此提出一种智能下载策略， 其根据不同的 网络环境适当地放宽下载时延从而达到减少电池消 耗的目的。云资源管理中的核心问题之一在于如何 提高资源利用率， 东北大学的 Dancheng Li 提出一种 新的虚拟机迁移方法，通过迁移虚拟机完成硬件资 源的重调度， 从而达到优化资源使用， 提高资源利用 一提出 一率的目标。

在数据中心资源管理方面，来 自 伊朗 Information Technology PNU 的 Hamid Shoja 指 出其 可靠性主要取决于如何有效地应对负载并保持负载 均衡。在其报告中， Hamid Shoja对云计算环境下现 有的负载均衡技术进行了综述， 并展望了未来的发 展方向。 (2)云系统管理与应用(Cloud System Ma n age— ment and Application) 基于国防信息安全方面考虑，北方电子设备研 究所的 Chen Yasha 向我们介绍了云计算环境下完 整性保护框架( Dua l Systems Architecture) ， 并对其 中 涉及的关键技术进行了深入的探讨。随着细粒度访 问控 制 的发 展 ，基 于 属 性 加 密 的密文 策 略 (CP— ABE )在数据保护方面得到广泛应用， 针对现 有的控制策略表达能力有限的问题 ，来 自北航的 Runhua Xu 提 出一种基 于树访 问结构的带 隐藏 CP— ABE 策略(CP— ABE— HP) ， 既能够保护加密策略 又具备很好的访问控制能力。 来自德国University of Potsda m 的 Amir A zodi 认为 IT 系统产生的日志记录 是各种安全事故发生的根源所在，因此也成为入侵 检测系统和安全信息与事务管理系统首要解决的问 题。

他在报告中提出一种新的平台以解决联合入侵 检测系统面临的挑战，平台基于通用事务表示标准 将所有事务都规格化为统一的超事务，由此可以检 测到对规格化 日志集合的攻击行为。苏州大学的 J ua n Zhang对云计算环境下安全线性代数外包进行 探讨， 主要关注外包策略两方面特性， 其一是输入输 出隐私性， 其二是客户端加密、 解密、 验证算法以及 云端计算的高效性。 (3) 大数 据处理技术 I (Big Data Processing Technology I) 大数据处理技术被广泛应用于多个领域，西北 大学的Ni Gao分享了他们在新闻话题检测方面的 研究成果， 通过对重大灾难新闻分析， 利用组平均分 层聚类(GAHC)实现话题检测。GAHC 的核心思想 是将大数据划分为更小的组，然后将这些组进行分 层聚类， 最终归纳出话题。考虑 MapReduee处理框 架并不关心底层数据集的属性，而对于有序数据集 (例如，时间序列数据) 其数据本身已经有序， 但 MapReduce处理过程却仍需要执行排序过程，从而 导致大量不必要的时间开销。为此，针对有序数据 集 ，中山大学 的 Zhijia n Chen 提出采用 Bloom Filter 3 1 量 象 圈 除 荸 衔 勤 悠 兰 纂 目 除 荸 衔 勤 慧 改进 MapReduce处理性能。

其方法是将 Mapping 阶 段所有的记录都排序为一个 Bloom Filter集合， 利用 Bl0om Filter高效查询特性可以实现快速的数据查 询。在大数据处理面临的挑战方面 ，东南大学的 Ping Lu针对交叉联接的效率展开研究， 提出一种优 化的数据分布算法用于解决分布式交叉联接问题， 将第一个表格的每一行与第二个表格的每一行合 并，从而减少网络传输量同时保证分布式系统的计 算均衡性。针对在线分析系统(OLAP)中what— if查 询处理问题，东南大学的 Huan Xu 分别基于 Blo o m Filter和分布式缓存提出两种新算法， 通过在标准的 SSB 数据集上测试表明，基于 Bloom Filter算法 比 HIVE 快 30 ％， 对于较小的 delta表基于分布式缓存 算法依然可以获得更好的改进。 (4) 大数据存储与管理 (Big Data Storage and Ma n a g ement) 大数据存储与管理成为目前的研究热点，重复 数据删除技术被广泛地应用于当前的大数据存储系 统中以节省存储开销，但由此也带来了额外磁盘碎 片的问题， 从而影响读取性能。

针对这一问题， 国防 科大Bin Lin 提出一种新的数据重放置策略，该策略 通过消除热点数据的碎片使得绝大多数的I／ O请求 变得更加有序， 实验表明该策略可以获得 28％~40 ％ 的读取性能提升。 由于出色的I／ O 性能表现， 固态硬 盘(SsD) 目前已被广泛应用于大数据存储系统中，在大量实验的基础上，中山大学的 Da n w u 对 SSD 在 Hadoop 系统 中表现进行 了深入研究 。研究发现 在 SSD 和传统磁盘并存的环境中，其性能将随着 SSD 份额的增加呈线性提升，其提升情况与数据集 大小有关， 数据集越大则效果越明显，而在以SSD 为主要存储设备的环境中，其提升水平与数据块大 小和缓存大小并无太大关联。对于高性能分布式存 储系统而言，负载均衡和能耗均衡是需要重点考虑 的两个方面。但是现有研究往往仅关注其中之一而 忽略另一方， 从而导致难以应用于实际系统中， 东南 大学的 Xiangyu Luo综合考虑并提出一种非均匀的 副本放置策略有效实现了负载均衡和能耗均衡。 (5) 大数据处理技术 II (Big Data Processing Technology II) 在大数据处理技术的应用方面，河海大学的Ye Feng 向大家分享了他们在构建基于云的大数据挖掘 与分析服务平台方面的成果和经验， 该平台为一个 3 2 四层结构， 包括基础设施层、 虚拟层、 数据处理层和 服务层。

报告以K— Mea n s算法服务的实现为例介绍 整个平台的架构及功能。北京邮电大学的Liu Xin 对 基于读者浏览记录的图书推荐算法进行研究， 利用读 者的浏览记录构建评分矩阵， 从而将协同过滤算法应 用到推荐系统中。关于推进系统，焦点科技公司的 Pingsong Xia 向大家介绍了该公司面向B2B 电子商 务平台开发的个性化推荐系统， 系统采用混合 TopN 推荐算法， 同时结合了协同过滤和基于内容过滤， 以 改进推荐效果。实际测试结果表明该推荐算法的平 均绝对误差(MAE )均优于同类算法 l0 ％一 l 5％。在 传统的QoS感知服务选择研究中， 通常假设用户对 服务的权重已知，却没有考虑用户偏好不确定的情 况，昆明理工大学的Yong y ing Xia通过收集用户历 史选择信息运用组决策理论计算服务的组评估， 从 而帮助用户从相似的候选服务中选出满意的服务。 (6) 大数 据处 理技 术 III ( Big Dat a Processing Technology III) 为了提高从大数据集中挖掘频繁项集的效率 ，南京 师范 大学 的 Zhigang Zhang 提 出一种基 于 MapReduce 编程框架的并行算法 MREclat，该算法 能够有效克服内存和计算能力不足等问题， 具有较 高的扩展性和加速比。

大规模近似 k- nearest邻居搜 索在多媒体应用中十分常见和有用的技术，目前大 部分搜索算法均采用集中索引方法， 难以满足大数 据集的需求。南京大学 的 Wenhui Zhou 提 出了一种 随机划分策略并基于邻接图设计了一种双层分布式 索引策略。该策略被用于处理 1O亿高维视觉描述 符， 取得非常好的性能。随着大数据技术的发展， 数 据提取技术逐渐成为研究热点之一， 传统的数据提 取并不支持并行处理，尤其对于大规模网页数据的 处理。南京大学的 Shen Yi 在 Hado o p MapReduce的 基础上提出一种并行的方法处理大规模网页数据提 取任务，该方法能够在数据提取的整个过程包括网 页导航、 数据抽取和数据聚合发挥作用， 实验表明其 可获得线性加速比。 3天会议期间里 ，主办方在每个邀请报告结束 后安排时间供与会者提问或建议，为与会者们的相 互交流与探讨提供了的足够的空间和时间。许多研 究人员在探讨中加深了彼此的了解，为进一步合作 交流提供了契机。此次高水平的国际学术会议得到 与会专家的积极评价， 并取得圆满成功。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!