赵世浡 陶槊 董芳 邹涛

摘要:文章分析了智慧高校建设中出现的各类问题及业务需求,并提出了整合校内现有各类数据与系统的解决方案。随后,根据微服务系统架构与大数据分析的要求,重新整合共享数据中心,以适应高校业务系统的开发与应用。最后,通过具体开发案例说明了综合平台在高校自助一站式服务系统中的作用。

关键词:微服务;云平台;数据中心;Spark

中图分类号:TP312 文献标识码:A

文章编号:1009-3044(2024)14-0060-03 开放科学(资源服务)标识码(OSID) :

0 绪论

当前世界各发达国家与机构都在深入研究教育智慧化,例如日本的“Society5.0”计划旨在将虚拟空间与现实空间高度融合,实现学习系统的发展[1];韩国的“智慧教育”项目MasterI-V也是如此[2]。欧盟在2018 年1月提出了“数字挑战”,该计划旨在推动教育系统智能化[3]。我国教育部颁发的《教育信息化2.0行动计划》(教技〔2018〕6号)以及中国国家标准化管理委员会于2018 年6 月出台的《智慧校园总体框架(GBT36342-2018) 》[4]规划,都推动着各地高校积极推进智慧校园项目。本文基于高校智慧化建设中遇到的实际问题和建设经验,进行了以下工作:1) 分析了高校信息系统存在的问题与制约因素,并寻求解决途径。2) 在集中式数据中心部署高校核心业务,并基于云平台架构实现数据与资源的整合与利用。3) 根据Spark系统,采用微服务架构,开发部署,联通高校一站自助式综合信息服务,实现智慧高校的业务智能服务与高效运营。

1 存在问题

1.1 通信障碍

1) 高校业务量呈爆发式增长,导致数据分析难度增加。存在“信息孤岛”,缺乏统一指标和明确的技术发展路线,不利于深度利用信息。由于系统间接口的授权、标准、技术限制,教学教务、学工、移动支付/一卡通、后勤生活、安保监控信息无法真正打通。

2) 校际、区域间的信息管理与再利用仍处于隔绝状态。

1.2 技术瓶颈

1) 信息利用质量不一,大数据分析范围狭窄,尤其是在学工、教务方面的数据分析能力不足,导致许多高校开发的校情分析系统应用范围有限,软件生命周期短。

2) 5G移动应用场景不足,高校信息系统跟不上5G网络带来的高流量、多并发的业务流。

3) 大数据分析应用带来了高校与个人信息隐私保护同高校教学与管理工作提升的冲突。

4) 在云环境、多节点分布式背景下,传统的软件开发模式或架构已无法适应多业务集成的应用模式,导致开发成本难以控制,代码再利用率低下。

5) 复杂多变的高校业务导致各信息系统之间服务配套存在障碍,如在学工系统中,学生行为画像不仅涉及校内教务、后勤安保、网上社群,还包括通信轨迹、消费等一系列数据处理。数据增多导致系统开发难度与响应时间增加,判定规则的漏洞和不确定性使得难以生成直观结论。

6) 智慧化系统应用周期缩短,一站式服务难以对动态性外界环境或使用者形成“智适应”能力,需要不断人为介入。主要问题包括校情分析、辅助系统的预测分析,掌握规则后很快被推翻;人脸识别被各种方式破解[5]。

1.3 关联制约

智慧校园信息系统建设受到规模、技术框架、应用深度与广度、后续变化等内外关联因素的影响和制约,导致整个智慧校园建设与完善工作受到重重阻力。高校信息化系统与高校运作情况强关联图如图1所示。

2 解决策略

2.1 数据整合

1) 数据与资源。在设施完善的基础上,智慧校园建设必须实现校园信息的标准化与开放化,确保数据采集通识、通用和安全,实现特定标准格式对结构化、半结构化与非结构化数据进行收集整合与信息共享,从而提供接口保证数据的分布处理与流通,减少数据冗余,提高各类系统的处理效率。

2) 业务管理控制平台。为配合高校业务时效性和多样化,必须建立统一的高校信息业务管理与控制平台。

2.2 基础工具

目前市面上有开源与商业化产品,技术上有离线/批量处理、实时/流式、算法与人工智能共3 类路线,需根据单位的自身条件、业务需要和财力等进行综合选择。

根据高校业务分类的模式,选择合适的开发工具。例如,根据一般院校的特点,采用openstack云平台核心组件swift API,实现对异构数据的拓展功能管理与控制。其配套数据库工具HBase用于HDFS分布式处理(如图2所示),符合高校数据分析要求,通过row key检索原始数据,实现高校集成业务系统的快速查询、变更操作。

3 架构模型

通过建立适用于高校通用的数据模型,帮助院校进行信息化需求分析、方案论证、产品选项与维护管理。在实施过程中,大数据处理架构一般分为3个阶段:概念构建、逻辑框架、物理表述,用户可参照总体架构图(图2) 进行项目设计。

1) 概念构建。参考业务模型选择数据模型组件,标准化区间,明确建设内容。

2) 逻辑构建。项目详细设计阶段,能推导出开发业务模块对应的流程、业务条线、功能块、场景模式等系统需求组合。

3) 物理表征。从代码编制到系统的测试维护,可以直接以标准的物理标识来评估系统的运行情况,便于第三方接手。

4 微服务(Microservice)

随着智慧校园自主一站式信息服务的流行,平台上线的几十个应用也造成了另一个困难,即多样化的业务交互伴随的自感知能力的不足,造成了终端用户选择的困惑或耗时。微服务可以帮助高校实现统一服务流程、门户平台,快速移动办公和高校业务系统的贯通。

4.1 微服务模型

微服务是由一系列 API 驱动,在异构系统下运行不同语言开发的小型应用程序组,支持不同业务模块互通。然后实现智能化识别与接入端点/服务模块,包括与物联网的信号同步与控制,自主学习运用工具/控件提炼处理离散化数据,最后实现弹性部署与便捷运维(DevOps[6]) 。它能实现多主体回路服务的关系模型,简化了传统信息系统的分层模式。

微服务有多种架构,如 Dubbo、SOFAStack、Heli?don、gRPC 等各有优劣[7],目前高校因所有的业务系统还做不到全部用 Java 开发接口,所以还不能统一用Spring Cloud 架构来实现微服务业务整合,同时还要面对不同业务模块之间的调用与互联,只有考虑微服务网格(Service Mesh) 架构[8],即将所有业务按服务单元实现分子化,统一 J2EE 架构各自开发,并支持PHP/C++/Python 等各类工具,所以可部署于网络各个节点,彼此通过代理(Envoy Proxy) 实现交互,因此保证了整个系统的分散开放性与稳定性。

鉴于多数高校业务系统只需要在中小型机上部署,Docker 作为轻量级开源的容器(container) 框架与引擎[9],既接受 VM 软件管理,又可以让 container 封装高校各自开发、扩展或删除信息系统;在 container 内既能实现多种开发程序并存,易于在各类云平台上部署,也能支持异构系统移植,因此特别适合高校微服务应用开发环境。

4.2 高校微服务平台设计

从图3可以看出,在一站式微服务平台的设计中,所有系统根据功能单元自动获得任务,然后通知相应模块完成流程。以学生入学为例,最基本的入住阶段以BPMN(Business Processing Model Notation) 开始程序设计(如图4) ,这样就可以将复杂的系统设计分解成单任务模块在各个子单元的实现,体现了微服务在云平台设计中的作用。根据这一模式,分别完成整个校园一站式微服务平台的全部结构设计与关联(见图5) 。

但在整个微服务系统设计部署中,需要面对各类数据、进程、事务的调用与同步,追踪与检验。因此为简化开发难度,可以考虑直接部署 Spark 系统实现整个微服务的协调工作(见图5) 。即首先在数据中心HDFS 环境下搭建数据仓库(Hive) 。在微服务集群根据 Zookeeper 同步分布进程间的 API 调用与消息发布。使用 MapReduce 从数据仓库实现数据调用。通过 Azkaban 实现各服务间的部署,工作流的同步。在控制层上完成身份验证,YARN 实现综合管理控制,用 Sqoop 对数据库实现迁移与转换。具体到某个业务,利用 MapReduce 进行 MapTask 划分缓冲区,Re?duceTask 收集/转发,完成微服务。对自主服务后期使用 MLlib/Mahout 中间件直接应用智能开发。

5 结束语

智慧化校园的目的是为高校提供多样化、便捷化、智能化的软硬设施。然而,在实施过程中,必须根据高校特点选择适用的服务架构与数据处理模式。在此基础上,整合现有的资源平台,通过微服务与Spark 架构的组合,完善技术和标准,特别是异构系统间的互联,才能顺利开发各高校自主一站式综合服务系统,推动高校信息基础建设的全面升级与创新。

参考文献:

[1] 柴山昌彦.Society5.0时代的人才培养[DB/OL].(2020-08-07)[2021-02-15].https://www5.cao.go.jp/keizai-shimon/kaigi/min?utes/2019/0327/shiryo_02.pdf.

[2] 吁佩.韩国教育信息化发展的经验及启示[J].科教文汇,2017(23):59-61.

[3] European Commission. A Concept Paper on Digitization, Em?ployability and Inclusiveness: The role of Europe(2018-01-17)[2020-07-19] [EB/OL]. http://ec. europa. eu. newsroom/docu?ment.cfm?doc_id=44515.

[4] 国家市场监督管理总局,国家标准化管理委员会.智慧校园总体框架:GB/T 36342—2018[S]. 北京:中国标准出版社,2018.

[5] 赵丽,韩朝阳 开通知网号“. 人脸识别” 的安全问题已经来了[N].法制日报,2017-09-19(5).

[6] 耿泉峰,李曦,葛维,等.基于DevOps的软件开发管理模式[J].软件,2019,40(1):93-96.

[7] 韩丹.基于DevOps的云平台微服务架构可靠性分析[J].电子技术与软件工程,2020(19):174-175.

[8] YIN J, DENG S, WU J, et al. Research on Shared Service based on Loop-type relationship Model[J]. Communications of theCCF,2017,13(2):18-23.

[9] 赵然,朱小勇.微服务架构评述[J].网络新媒体技术,2019,8(1):58-61.

【通联编辑:唐一东】

项目基金:安徽省教育厅 继续教育教学改革项目(2021jxjy054) 和安徽省高校教学实训基地项目(2021jyxm1532) 和安徽省教育厅自然科学研究重点项目(2022AH052979)