新工科背景下大数据技术案例教学设计与实践探究

王小超

摘要：分析大数据技术课程目前面临的主要问题，为增强大数据课程的教学效果，以新工科为背景，提出了大数据技术案例教学设计的主要内容及实践方式。从教学案例设计、原理性知识讲解、课程基础、学习资料与教学平台搭建等几个方面开展了一些探索。为突出解决复杂工程问题的目标，设计了一些经典的大数据教学案例。通过教学实践表明，大数据案例教学可以有效提高教学的质量，有利于培养大数据方面的应用型人才。

关键词：新工科；大数据；案例教学；教学设计；教学实践

中图分类号：G642      文献标识码：A

文章编号：1009-3044（2024）07-0149-03

开放科学（资源服务）标识码（OSID）

0 引言

近年来，大数据技术迅速发展，对推进社会变革与发展产生了深远的影响，已经深入人们生产生活的各个领域。目前随着大数据相关产业的发展，使得大数据工程师成为就业市场上比较热门的人才之一，与之对应的大数据人才培养却相对滞后，大数据培养体系建设不完善。随着大数据技术的兴起，国内高校陆续开设了相关课程，积极开展大数据教学与研究工作。在新工科背景下，立足大数据技术课程，围绕解决复杂工程问题这一目标，如何培养适应大数据时代的大数据科研人才与大数据相关产业应用人才，实现大数据的产学研协调发展，构建大数据人才培养课程体系的工作刻不容缓。

1 大数据教学存在的问题

大数据是计算机领域相关信息技术相互融合产生的新技术、新方法，依托于Linux操作系统、程序设计、数据结构、数据库技术、计算机网络等诸多课程，是一门交叉程度高的技术课程。大数据技术课程作为一个新兴的课程，课程内容复杂程度高、实践性较强，对于学生的培养，既要求建立扎实的大数据理论基础，掌握大数据系统基本的原理与过程，同时还应具备大数据应用开发能力，因此，大数据课程需要培养具备多层次知识技能的复合型专业人才。而复合型人才的培养，并不是将各种相关课程简单糅合在一起，用广度来覆盖技术，而是在课程内容的设置上，融合各门课程的知识，平滑过渡课程内容，做到循序渐进、深入浅出，在实践中提高学生的工程能力[1]。

目前高校对学生实践能力的培养主要依赖开设与理论课程相关联的实验课程。在实验中，会设置多种类型的实验，包含验证实验现象的验证型实验、围绕问题设计解决方案的设计型实验、综合运用多领域、多方面的知识解决问题的综合型实验，以达到锻炼学生实践能力的训练目标。实践能力对于提高学生掌握大数据技术的效果意义重大。在实践中设置问题，通过反复训练，提高面向问题的分析解决能力，最终达到综合运用的程度，完成对大数据系统的深入理解。传统方式的出发点很好，但大数据教学依然面临一些不利的因素，主要包括基础课程教学环节较为薄弱、大数据作为新课程教学上可以借鉴的案例不够丰富、大数据课程相关教材建设相对滞后以及大数据实验环境搭建相对复杂，这就造成了学生学习大数据的门槛较高，课程内容理解困难，实践很难与理论学习保持协同，加大了理解与认识大数据技术的难度。特别是对大数据存储与处理原理的理解、大数据应用的开发实践上都有着较为困难的瓶颈。如果在实践教学上对实践内容设置不合理，就会造成学生对大数据的理解与应用无法有效达成。在实践中，由于设置的实践问题深度与强度不足，交叉学科融合能力薄弱，使得大数据工程能力的培养变得更加困难[2]。最终，导致大数据入门难，学习效果不佳。

综上所述，如何将复杂的大数据原理以比较直观的方式呈现给学生，并设置比较合理的大数据教学案例，迫切需要进行理论研究与实践的探索，注重大数据相关学科知识的融会贯通，将多种实践能力综合运用以提高解决复杂工程问题的能力[3]。

2 案例教学设计

针对目前大数据技术教学存在的问题，需要设计合理的教学案例，开展案例教学。案例教学可以使学生更好地掌握大数据分析与处理的工具与方法，直观地了解整个数据处理的过程，全面了解大数据的技术栈。按照学习知识的层次，可以将大数据技术教学内容分为系统运行原理、工具使用、问题分析3个部分，更加注重理论知识与技术实践相结合。

在设计教学案例时，从大数据生态系统出发，让学生全面了解大数据的基本概念，大数据的主流系统及其相应的处理内容，主要包括Hadoop、Hive、Spark等，再具体学习主要的大数据系统的运行原理与运行过程。在掌握系统原理的基础上再去学习工具的使用，这样可以在遇到实际问题时分析系统发生问题的可能原因。最后，也是最为重要的方面在于如何在实际应用场景下运用所学的大数据技术解决复杂的工程问题。

2.1 面向实际应用场景的项目设计

案例的实践内容要与计算机专业课程Linux操作系统、Java程序设计、数据库、数据结构以及大数据处理技术课程相融合。以新工科为背景，以实际的工程案例为依托，教学案例设计强调了真实性与应用性，提高了学生解决复杂问题的能力。在项目设计时，应基于大数据目前主流的框架Hadoop与Spark设计教学案例。Hadoop的教学案例应包含分布式文件系统HDFS与分布式并行计算框架MapReduce两大核心组件的功能。Spark的教学案例应主要围绕Spark RDD运算及Spark流式计算展开。具体的案例设计图如图1所示：

1） 大数据文件存储——HDFS云盘实现。以云盘系统为案例，展现HDFS在大数据存储方面的应用。云盘系统是由搭建的计算机集群通过网络提供文件的存储、读写、上传下载等数据管理功能。用户可以跨终端实时实地查看自己的文件、分享文件。HDFS具有可扩展性、可靠性、高可用性和成本低等优势，为实现云盘系统提供了近乎完美的底层环境。通过本项目的实践，学生可以充分了解HDFS的分布式结构与工作的流程，并掌握使用Java API编程开发大数据存储应用的方法。

2） 大数据离线计算——MapReduce成绩分析系统。采用分布式并行计算框架MapReduce可以处理分析大数据集的学生成绩数据，并且支持多样化的数据格式，通过快速地处理，最终计算得出有价值的分析结果，是教育大数据的典型应用场景之一。

3） 大数据实时计算——常规统计。在大数据实时计算场景下，设计的教学案例主要围绕Spark核心的RDD运算，根据给定的大数据集，综合运用主要的RDD操作，涉及Action和Transformation两大类别，来实现对数据的各种统计功能，并给出统计结果。

4） 大数据流计算——Spark Streaming处理系统点击流。系统点击流的处理是目前大型应用，特别是互联网应用常见的处理场景，能快速分析出当前系统用户的使用行为。Spark具有实时处理的能力，并且提供了机器学习、图计算、数据查询、流计算等完整的软件栈。通过使用Spark中的流计算框架Spark Streaming可以实现实时的系统点击流处理分析，在处理高并发的系统点击流方面具有很高的性能。

教学内容体现了项目驱动性与实践性，根据大数据技术课程的教学大纲在课程中设置了包括HDFS、MapReduce、Spark等具有较高应用价值的教学案例。改变围绕知识点的课程内容设计，突出“能力为本”的教学理念[4]。

2.2 大数据抽象原理性知识具体化

以实际的大数据案例为基础，建立并开发大数据文件存储、大数据计算、大数据流计算等多个具体的大数据应用。在教学过程中，需解析分布式文件系统HDFS、分布式并行计算框架MapReduce、实时计算框架Spark中的抽象系统架构与系统工作流程。通过比较具体的模型直观地反映给学生，真正实现大数据处理技术的所见即所得，体现大数据处理技术课程的应用性。依据企业业务、产品在市场上的需求，依据企业大数据技术发展的现状，依据计算机专业学生专业能力培养要求，建立真实应用场景下的大数据开发项目。根据项目内容设计的要求，指导学生运用所学的专业知识开展学习实践活动。这样可以降低大数据课程中知识的复杂、抽象程度，避免机械的学习，体现了学生实践操作的实际应用性。

2.3 实践教学中强化专业基础

通过建立合理的大数据处理技术课程教学案例，将大数据相关学科中的知识联系起来，并且以较为合理的层次关系组织在一起，打破各学科知识的“信息孤岛”，形成多学科的互动交融。通过教学案例，让学生掌握大数据的应用开发，理解大数据系统工作的原理，可以分析大数据软件生命周期中可能遇到的各种问题，切实提高学生对大数据研究、应用开发实际工作的适应性，使大数据相关人才较为满足当前企业对大数据人才的需求。具体的做法是将大数据应用开发融入教学中，突出应用性，强化专业基础课程的学习。在大数据实践中，需要灵活运用Linux操作系统、Java程序设计、数据库、计算机网络等多方面的知识，这对强化计算机专业的专业基础知识，提高专业知识的整体学习效果具有积极的影响。将课堂教学中的方法知识，直接以实践的方式练习，真正做到“理论与实践、专业与应用的紧密结合”，具体的大数据课程与专业基础课程之间的知识点关联如下所示。

Hadoop、Spark框架的安装与配置：

①Linux操作系统

②计算网络

Hadoop Shell、Spark Shell命令：

①Linux操作系统

Hadoop与Spark API编程：

①Java面向对象程序设计

②数据库

2.4 编写合适学情的学习手册

目前，市场上的大数据入门课程教材种类繁多、内容设置上难易程度参差不齐，对大数据原理性知识的描述过于复杂且晦涩难懂。需要根据学生实际情况，编写出适合所教学生的大数据处理技术课程学习手册，对原理性的知识与编程实践内容进一步归纳整理，这样可以提高学生学习信心，让学生对大数据原理有所理解，同时提高分析解决实际问题的工程能力。

2.5 建立实践教学平台

建立中小型规模的大数据处理技术课程实践教学平台。通过搭建供学生使用的大数据实践教学平台，屏蔽了大数据平台搭建时复杂的底层细节，以共享方式让学生真正可以接触到大数据技术的学习，还可以自己动手开发大数据相关应用。同时，学生也可以通过平台进行交流学习，真正实现了实践平台的开放性。充分考虑实际的大数据应用场景，在案例教学中深入融合工程案例，以面向市场、面向需求的方式打造平台，提高平台的包容性。

3 目标达成

坚持以计算机专业人才培养方案为基础，在课程个中整合大数据的案例教学，并实现了大数据理论教学与实践教学的统一。以复杂的大数据工程项目推进大数据教学提升，实践应用型本科人才培养的目标。

3.1 达成情况

1） 构建出合理的大数据处理技术课程实践教学项目，根据各专业课程的学习情况与本校学生的特点，设计出难易适中、问题规模适当、有趣味性强、综合性强的大数据处理技术课程实践内容。并选择合适的解决方案搭建大数据处理技术课程实践教学的实训系统供学生使用。

2） 通过深入的教学研究探索，整理了一套比较合理的大数据课程考核体系，优化了考核的流程，解决实践教学过程对学生的监管与评价问题。对学生的整体学习情况进行把握，并能够通过系统及时得到学生的反馈信息，开展有针对性的指导活动。

3） 基于云平台，搭建起一套中小型规模的大数据实践平台，让学生学习大数据基础知识时有平台可实践，提供了学习交流的平台。学生在实践中既树立了创新思维，也锻炼了分析、解决问题的能力。

4） 开创了大数据教学的新模式，构建以学生为中心，产学研协同推进的知识传递方式。模拟相对真实的大数据应用场景，让学生与实际应用相接触，做到学以致用。同时，建立健全学生学习过程监管、反馈机制与学习效果评估机制。

3.2 实际效果

根据分析近3年巢湖学院物联网工程专业大数据技术课程的学习情况，通过引入案例教学，在课程考核中，发现学生成绩有明显提升，学习兴趣增强的同时，学习效果也有一定的进步。最关键的是当遇到大数据方面的实际的复杂工程问题时，对问题的分析能力与解决能力有呈现明显的增强态势。通过大数据案例教学，使得课程教学质量有了显着提高，并充分体现了新工科的实际要求。

4 结束语

“新工科”给计算机类课程的教学提出了新的、更高的要求，特别是大数据作为前沿的新学科，其实践意义更为突出。大数据案例是大数据课程核心知识的重要载体，凝重着计算机较多学科的专业知识与工程能力的培养。做好适当的教学案例设计，并应用于教学的各个环节，对于提升教学质量，提高学生工程能力具有重要意义[5]。本文强调了新工科背景下大数据课程复杂工程问题的案例设计，给出了一些实际的项目设计，并提出了一系列改进案例教学的手段，包括强化专业基础、编写适合学生学情的手册、搭建实践教学平台。尤其实践教学平台的搭建，有利于学生在课外时间参与到大数据案例的实践中，真正动手实践，交流问题，得到工程能力的提升。通过大数据案例研究的开展，有助于更好服务于教学，推动大数据课程的建设，全面提高大数据专业人的培养。下一步，将进一步扩展大数据教学的案例库，努力完善教学案例库，丰富大数据教学平台内容，进一步提升案例教学的效果。

参考文献：

[1] 薛晓霞，薛万欣，王晓红.延伸电子商务专业实践平台，探索应用性人才培养新途径[J].计算机教育，2009（1）：81-82.

[2] 贺子珊.应用型本科院校人才培养评价指标体系构建[D].广州：华南农业大学，2019（12）：17-20.

[3] 潘炜，史豪斌.面向电子商务技术型人才培养的创新实训模式[J].计算机教育，2014（12）：17-20.

[4] 贾建敏.同步云盘在期刊编辑移动和协同办公中的应用[J].编辑学报，2019（3）：10-14.

[5] 侯亮.计算机基础中操作系统基础知识的教学思考[J].魅力中国， 2010（20）：239-239.

【通联编辑：王 力】