《大数据技术原理与应用》课程教学大纲（本科）

《大数据技术原理与应用》课程教学大纲 课程编号：04284 课程名称：大数据技术原理与应用 英文名称：Principle and Application of Big Data Technology 课程类型：专业选修课 课程要求：选修 学时/ 学分：32/2（讲授学时：20，上机学时：12） 开课学期：7 适用专业：数学与应用数学 授课语言：中文 课程网站：超星泛雅平台 一、课程性质、目的和任务 《大数据技术原理与应用》是计算机科学与技术专业的专业课。本课程以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，系统讲授大数据的基本概念、大数据处理架构 Hadoop、分布式文件系统 HDFS、分布式数据库 HBase、NoSQL 数据库、云数据库、分布式并行编程模型 MapReduce、数据仓库 Hive、基于内存的大数据处理架构 Spark、流计算框架 Flink 等内容，为学生在大数据领域的应用提供良好的理论和技术支撑。 二、课程与其他课程的联系 本课程要求的先修课程是《计算机网络》、 《Linux 操作系统》、《数据库系统原理》以及计算机语言类课程《Java 程序设计》。

先修课程为学习大数据技术提供了必备的基础理论知识、实践语言基础、数据库实践准备以及应用实践平台知识。 三、课程教学目标 1.学习大数据的基本概念、大数据处理架构 Hadoop、分布式文件系统 HDFS、分布式数据库 HBase、NoSQL 数据库、以及数据 Hive 等内容，培养初步具备工程实践领域大数据应用问题的分析能力；（支撑毕业要求 5.2） 2.学习大数据的应用方案、分布式并行编程模型 MapReduce、大数据处理架构 Spark、流计算框架 Flink 等的实现原理、应用场合和实施方案，培养基于分布式架构数据计算问题的框架规划设计和实施能力；（支撑毕业要求 2.1） 3.学习编写基于分布式并行编程模型MapReduce的程序、基于Spark计算框架以及基于、流计算框架 Flink 的应用程序，完成基本的并行数据处理计算，为解决复杂大数据具体应用打下良好技术储备(支撑毕业要求 12.1)； 四、教学内容、基本要求与学时分配 序号 教学内容 教学要求 学时 教学 方式 对应课程教学目标 思政元素融入点 1 第 1 章 大数据概述 学习大数据的基本概念及应 1 讲授 1 融入点1.1 大数据概念 1.2 大数据的应用 1.3 大数据关键技术 1.4 大数据计算模式 1.5 大数据产业 1.6 大数据与云计算、物联网的关系 用领域； 学习大数据的关键技术、计算模式和产业发展； 学习大数据与物联网、云计算之间的关系，培养基本的大数据应用职业素养； 1：责任意识 2 第 2 章 大数据处理架构Hadoop 2.1 概述 2.2 Hadoop 项目结构 2.3 Hadoop 的安装与使用 学习 Hadoop 的发展历史、应用现状以及Hadoop项目基本知识； 学习基于Linux操作系统部署Hadoop； 1 讲授 1 3 上机 1 Hadoop 的伪分布部署 基 于 Linux 安 装 和 部 署Hadoop，初步具备大数据架构的设计和部署能力； 2 上机 3 4 第 3 章分布式文件系统 HDFS 3.1 HDFS 分布式文件系统 3.2 HDFS 简介 3.3 HDFS 相关概念 3.4 HDFS 体系结构 3.5 HDFS 存储原理 3.6 HDFS 大数据读写过程 3.7 HDFS 编程实践 学习分布式文件系统HDFS的概念、体系结构、存储原理和读写过程，具备基本的数据存储理论素养； 学习基本的 HDFS 编程实践，培养初步的数据存储能力； 2 讲授 1 5 上机 2 HDFS 的程序设计 学习基本的 HDFS 编程实践，培养初步的数据存储能力； 2 上机 3 6 第 4 章 分布式数据库 HBase 4.1 概述 4.2 HBase 访问接口 4.3 HBase 数据模型 4.4 HBase 的实现原理 4.5 HBase 运行机制 4.6 HBase 编程实践 学习 HBase 的工作原理、访问接口数据模型实现原理和运行机制； 学习访问 HBase 数据库的基本实现方法，培养非关系型数据库的应用设计能力； 2 讲授 1 7 上机 3 HBase 编程实践 学 习 实 现 基 于 程 序 访 问HBase 数据库的基本方法，培养非关系型数据库的应用设计和实施能力； 2 上机 3 8 第 5 章 NoSQL 数据库 5.1 NoSQL 简介 5.2 NoSQL 兴起的原因 5.3 NoSQL 与关系数据库的比较 5.4 NoSQL 的四大类型 5.5 NoSQL 的三大基石 学习 NoSQL 数据库与传统的关系数据库的差异； 学习 NoSQL 数据库的四大类型及 NoSQL 数据库的三大基石； 学习 NewSQL 数据库的发展原因以及发展趋势； 2 讲授（部分内容自学完成） 1 5.6 从NoSQL到NewSQL数据库 9 上机 4 非关系数据库的部署使用 学习部署和使用非关系型数据库的基本方法，培养非关系型数据库的应用设计和实施能力； 2 上机 3 10 第 6 章 MapReduce 计算框架 6.1 概述 6.2 MapReduce 工作流程 6.3 实例分析:WordCount 6.4 MapReduce 的具体应用 6.5 MapReduce 编程实践 学习 MapReduce 工作流程、基于 MapReduce 框架的程序设计基本方法，初步理解基本的应用实现过程； 2 讲授 2,3 11 上机 5 MapReduce 编程实践 学习实现基于 MapReduce 框架的单词统计的程序实现方法，培养初步具备大数据应用实践能力； 2 上机 3 12 第 7 章 Hadoop 再探讨 7.1 Hadoop 的优化与发展 7.2 HDFS 的新特性 7.3 资源管理调度框架 YARN 7.4 新加入的功能组件 学习 Hadoop 框架的发展、HDFS 的新特性； 学习新引入的YARN的意义以及实现的原理； 1 讲授 1 13 第 8 章数据仓库 Hive 8.1 概述 8.2 Hive 系统架构 8.3 Hive 工作原理 8.4 HiveHA 基本原理 8.5 Impala 8.6 Hive 编程实践 学习数据仓库的理论知识、Hive 的系统架构以及工作原理； 学习 Hive 的 HA 实现机制以及编程访问的方法，培养基本的数据仓库设计规划方法； 1 讲授 1 14 第9章 Spark 9.1 概述 9.2 Spark 生态 9.3 Spark 运行架构 9.4 Spark 部署与应用方式 9.5 Spark 编程实践 学习 Spark 工作流程、基于Spark 框架的程序设计基本方法，初步理解基于 Spark 的应用实现过程； 2 讲授 2,3 15 上机 6 Spark 程序设计实现 学习实现基于 Spark 框架的单词统计的程序实现方法，培养初步具备基于 Spark 的大数据应用实践能力； 2 上机 3 16 第 10 章 流计算 10.1 流计算概述 10.2 流计算处理流程 10.3 流计算应用 10.4 流计算开源框架 学习流计算的基本概念和应用场景； 学习流计算框架 Flink 的设计思想和设计架构； 2 讲授 2,3 融入点2：创新精神 17 第 11 章 图计算 11.1 图计算简介 11.2 Pregel 简介 11.3 Pregel 图计算模型 11.4 Pregel 的 C++API 11.5 Pregel 的体系结构 11.6 Pregel 的应用实例 11.7 Pregel 和 MapReduce 实现 PageRank 算法的对比 学习图计算 Pregel 模型的原理、实现方法以及应用实例，培养初步的图计算问题设计实施的基本方法； 1 讲授 1 18 第 12 章数据可视化 12.1 可视化概述 12.2 可视化工具 12.3 可视化典型案例 学习数据可视化的概念、公交以及基本的可视化实现方法； 学习数据可视化的基本实现案例，引入思政教学； 1 讲授 2 融入点3：家国情怀 19 第 13 章大数据在互联网领域的应用 13.1 推荐系统概述 13.2 推荐算法-协同过滤 13.3 协同过滤实践-电影推荐系统 学习推荐系统的概念、方法以及推荐系统的应用场景； 学习协同过滤算法的基本实现，初步具备推荐系统实施的理论知识。

2 讲授 2 课程思政元素案例解析： 元素标识 主题 章节 案例解析 融入点1 责任意识 1(1.1) 学习大数据发展历程，尤其是国家层面的大数据发展规划，引导学生理解国家战略，增强责任意识，培养学生奋发图强，为国家梦想而努力奋斗的责任意识； 融入点2 创新精神 11(11.4) 学习流计算框架，通过介绍Flink为阿里自研的流计算框架，引入介绍阿里代表的中国企业的自主创新发展和成就，激发学生的创新精神； 融入点3 家国情怀 12(1) 学习数据可视化的应用案例，展示当年新冠疫情发生时候的武汉市可视化案例，引入我国“生命至上”的崇高理念，增强学生的家国情怀的民族自豪感。 五、 其他教学环节 1. 线上自学。对教学中的部分内容，通过教师的前期指导、精讲，强调由学生独立自学完成，以培养学生的自主学习和获取知识及问题总结能力； 2.对自学内容，基于超星学习通，辅助学习效果考核大数据技术架构，以掌握学生自学情况，并根据测试结果发现需要加强的重点（难点）内容，以便再下一次理论课上重点讲解。 六、教学方法 本课程以线下理论教学为主，适当辅助线上自学、学习研讨、作业、阶段小测验、上机实践及期末测试等教学手段和形式完成教学任务。

1. 部分内容以自学实现。对规划的内容较浅或应用型较强的内容安排自学完成，教师课前布置学习任务和目标，学生自主学习，教师线上答疑；并通过自学之后的测试，总结学生掌握情况，确定线下重点讲授和讨论的内容； 2. 课堂教学。对单元教学内容和学生自学结果反馈发现的重点（难点）内容，通过线下集中讲授、讨论和启发，在学习知识的同时，重点使学生获得理论课程的学习方法； 3.上机实践。 根据上机实践安排，通过提示、启发、引导等方式，培养学生工程实践能力，使得学生初步具备能够运用所学知识，描述、分析和解决工程应用问题的能力，激发学生的创新思维和探索精神。 七、考核及成绩评定 考核内容、方式及评分依据 考查教学 目标达成 成绩 占比 平时作业（ 含 测试） 1.考核学生对大数据基本知识的应用能力，学生综合运用所学知识分析问题、解决问题的能力； 2.共布置 5 道题目，平均每 2 次课 1 道题，题型主要有分析和简答题； 3.根据作业完成质量、规范性等评分。 1,2 30% 33分 课内实验 1.考核学生对大数据应用能力的掌握情况，要求学生能够部署实施大数据计算框架、能够部署非关系型数据库、能够实施 HDFS 存储，并能够设计程序实现相关应用； 2.本课程共安排六次课内实验，12 个学时； 3.根据实验准备、完成能力、实验质量等情况评分。

1 67分 期末考试 1.主要评价学生对大数据基本知识的系统性掌握情况，学生综合运用所学知识分析、解决复杂问题的能力； 2.闭卷考试，试题库生成（课程组背靠背等）2 套试题，题型主要有简答题、选择、填空、综合分析题等； 3.根据课程组试卷评阅标准，采取网络阅卷方式评分。 1 70 分 八、选用教材及参考书目 1．教材 [1] 大数据技术原理与应用，林子雨，人民邮电出版社，2021 年 1 月第 3 版 2．参考书目 [1] 大数据技术基础．林子雨．人民邮电出版社．2014． [2] 云计算的关键技术与应用实例．王鹏著．人民邮电出版社，2010．

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!