向剑峰

（中国电信湖北公司，湖北 武汉430024）

1 概述

习总书记在网信工作座谈会上的讲话（419 讲话）中明确提出了关于在信息系统中建立态势感知机制的重要性，包括提到了“全天候全方位感知网络安全态势”、“加强大数据挖掘分析，更好感知网络安全态势，做好风险防范”等一些重要观点，从信息安全战略层面明确了态势感知能力的重要性。同时网络等级保护2.0 要求网络空间的安全防护应当立足于更加积极的合规驱动工作模式，针对关键信息技术等重要领域实现主动有效的全方位体系化防护，网络安全态势感知体系建设也成为新形势下安全防御之必须。

1.1 网络安全态势感知定义

在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及对未来短期的发展趋势的预测。网络态势感知(Cyberspace Situation Awareness)包含有两层含义：实时地根据网络安全设备的告警信息及其他信息，进行关联归并、数据融合等操作，实时反映网络实际的运行状况；根据历史数据进行一定的离线分析，采用一定手段对潜在可能的威胁进行预测。

1.2 大数据的特性

大数据的“实时”性并不意味着真正的实时，而往往是近似的“实时”：在一个相对短、相对新的时间里产生并可资利用；在一个与场景有关的短时期里，即能容许作出响应，并判定效果的一个时间段里产生并可资利用。新的数字数据源包括从人们使用数字服务被动收集到的交易数据联机数据，新闻媒体和社会媒体的交互数据，物理传感器数据，居民报告或群体源的主动数据等。

1.3 网络空间安全亟需态势感知

网络空间威胁朝泛化和复杂化的趋势在发展，各类网络攻击也更加具有持续性和隐蔽性。传统的安全防护仅仅依靠部署于边界的防火墙、IDS、IPS 等安全设备进行的静态控制，被动式防御已不再适用于APT、0day 攻击等新型网络安全威胁的防护，亟需对传统的安全防御方式进行优化和改进，形成全方位、多层次的态势感知体系。

2 全方位态势感知

基于大数据的态势感知平台通过对接网络中现有或未来可能扩容的各类安全防护系统引擎，实现了全面且灵活开放的态势感知系统架构。在这种体系下，任何类型任何厂商的安全设备或系统都可以作为用户网络或业务上各环节的安全监测传感器，这些传感器所产生的安全监测信息都将作为数据源由态势感知平台统一获取。

2.1 态势感知实现流程

现有安全资源的引擎化整合是全面获取安全要素信息的基础，在此基础上，平台通过资产感知、攻击感知、脆弱性感知、风险感知、威胁感知和态势总揽这些维度来覆盖安全态势各个方面并用来实现全方位的态势感知。实现流程大致包括4 个步骤，分别是各类安全要素信息的获取、面向态势感知的集中数据分析、多维度态势感知的呈现、预警通告及处置。

2.2 信息源获取

上述态势感知系统为开放型的平台架构，任何安全设备或系统都可作为安全监视的数据源或引擎，通过平台丰富和高兼容度的信息采集接口实现安全数据的广泛采集，最终将整合到平台的统一安全要素信息分析展现体系中，形成完整全面的一站式态势感知能力。如上节所描述，系统安全要素采集层的下方是组织网络中各类各厂商的安全设备和系统，以及大量要被防护监控的IT 资产。这些设备和资产所能产生的海量安全监控数据和运行日志，包括外部的威胁情报信息都将通过泰合态势感知系统开放的各类信息采集接口进行采集汇总，这实现了态势感知中对可能影响安全态势要素信息获取的重要环节。

2.3 基于大数据的安全事件关联分析

大数据安全事件分析主要透过智能化的安全事件关联分析来体现。事件关联是指找出大量事件中存在的关系，并从这些大量事件中抽取出真正重要的少量事件。借助先进的智能事件关联分析引擎和算法，系统能够实时不间断地对所有范式化后的日志流进行安全事件关联分析。系统为安全责任人提供了三种事件关联分析技术，分别是基于规则的关联分析、基于情境的关联分析和基于行为的关联分析。

3 融合大数据技术的网络安全态势分析架构

为了应对海量事件管理带来的挑战，本文探讨了高性能日志采集范式化技术、大数据分布式存储与索引技术和流式分析技术等，对系统核心的安全分析技术架构进行了改进，真正使得本系统能够支撑持续海量安全数据处理的安全管理平台。系统的安全分析技术架构从总体上划分为五个部分，分别是：信息采集（Collection）、大数据存储（Big Data）、信息分析（Analysis）、功能层（Function）、呈现层（Presentation）。

3.1 信息采集

信息采集包括事件/流/性能采集和情境数据采集。事件/流/性能采集层面使用了异步通讯、高速缓存、日志/流范式化流水线技术，对海量流、性能和异构日志进行持续不断地高速采集，使用户能够采集并预处理网络中大规模IT 资源的日志、流和性能数据。情境数据采集实现了对客户IT 资源的资产信息、性能信息、流信息、安全配置信息、弱点信息、漏洞情报和威胁情报信息等安全要素信息的采集。

3.2 大数据存储

大数据存储方面，针对大数据安全事件（日志）包括针对海量非事务数据的存储、索引、搜索和备份的不足之处，使安全管理平台基于大数据技术处理。在数据存储过程中，系统对数据进行了分片并针对分片创建副本，为了保证数据的可靠性，系统将分片和副本分别保存在不同的分布式节点上，同时系统对原始事件进行了全文索引，方便后续全文检索。

3.3 信息分析

信息分析层面针对采集上来的各类安全要素信息，系统实现了性能与可用性分析、配置符合性分析、安全事件分析、流行为安全与合规分析、脆弱性分析、风险分析和宏观态势分析。信息分析的方法包括实时流式分析、交互式分析、历史数据批量分析和数据回放等多种先进技术。

3.4 功能层

功能层实现日常安全管理的功能，对发现的安全问题进行处置，包括例行处置和应急处置。例行处置主要以计划任务的形式体现；应急处置主要通过响应管理和告警工单处理的形式体现。

3.5 呈现层

系统为不同层级、不同角色的用户提供了层次化的用户视图，从监控、审计、风险和运维四个管理维度进行展示。用户亦能依据自身的工作需求自定义展现视图。呈现层为安全分析师提供交互式分析的视图，帮助安全分析师快速获取安全数据，进行威胁发现；同时，也为管理层和决策者提供整体安全态势视图，帮助他们了解网络整体的资产安全态势、漏洞安全态势和攻击安全态势，及时掌握安全态势，以求做出清晰、有效的决策。

4 结论

本文在介绍网络安全态势和大数据相关概念和技术的基础上，从网络攻击形势及当前安全防御的需求出发，分析了大数据技术进行网络安全分祈的优势，并结合大数据技术提出了网络安全态势感知平台，从多个层面阐述了构建集安全数据采集、析和安全风险态势感知于一体的系统平台所需的技术和思路。目前国内众多态势感知平台主要基于应用创新，在算法层面所有的安全研究机构和企业都在同一起跑线上，谁能够首先找到解决现实问题的算法模型将处于领先位置。