智能安防时代下数据存储的变革与创新

　　一、当前安防存储的需求

　　在当前安防应用场景下，随着智能化和大数据技术的发展，针对安防数据的存储主要有海量视频存储需求、海量小文件存储需求以及安防大数据的存储和处理需求。

　　1、海量视频流存储需求

　　随着安防行业高清化持续发展，监控点位的持续增加，联网规模的日益庞大，产生了海量的视频流存储需求，而视频云存储则是当前满足海量视频存储需求的主要产品。安防云存储通过虚拟化技术全面整合磁盘阵列的存储容量，可按需分配空间且能够灵活调整空间大小。而前端摄像机则可通过视频流协议或者存储接口协议直写云存储，缩短了前端到存储的距离，充分发挥了存储产品的业务特性，避免大量流媒体服务器的使用，有效降低了投资成本。这些大量的并发实时视频流通过云存储设备集群实现负载均衡调度，以集群响应的方式提供视频数据的高并发存储能力以及回放下载能力。在存储底层则采用纠删码、副本或者各种RAID技术均衡数据存储并提供可靠的数据保护，即使节点出现故障也不会造成数据丢失。此外，为了方便视频的回放定位，一些云存储还采用了专业的视频数据索引技术，可根据视频存储的业务特定，按照存储时间及点位信息提供高性能的视频查询检索速率，达到秒级响应。在视频回放的同时还可支持通过时间滑块拖拉定位、视频快进、慢放以及系统事件点定点回放等多种策略。

　　2、海量小文件的存储需求

　　海量小文件的存储需求主要来自当前安防智能化的应用。安防中的视频图像AI智能化应用通过人、车、物等对象的深度学习智能分析算法，从视频流或者视频图片中提取出对应的目标对象图片以及相关的属性信息，从而达到通过视频智能识别、跟踪视频对象并分析对象特征属性，实现事前及时预警、事中精确跟踪以及事后快速分析的目的。

　　随着当前视频图像AI智能化应用的不断发展，分析的实时视频流数量越来越大，提取的对象信息越来越多，通过解析提取出来的对象图片和数据相当庞大，这些数据都需要进行实时存储和后续的大量读取和分析。

　　一方面，智能化的前端摄像机设备越来越多，如车辆卡口摄像机、人像卡口摄像机、智能视频结构化摄像机等，每天产生大量的目标抓拍图片，并汇聚到中心。以一台标准车辆卡口摄像机为例，只针对单车道的场景，一般正常路况一天1000台车辆，如果是交通繁忙车道可能会到5000张以上。而针对人像的采集，正常情况下，平均一个人像卡口摄像机一天采集3000张左右的人像，繁忙地段一天可能采集10000～15000张。而针对普通监控场景的结构化摄像机，同时采集车辆和人像的目标数量更多，一台摄像机每天可达到20000张左右。按照一个系统1000台智能化相机的中等规模，每个监控点采集10000张目标图片计算，数据存储180天则可达到18亿张图片。

　　另一方面，为了进一步扩大智能分析数据的覆盖范围，解决非智能前端的目标识别和信息提取，当前大多数安防系统都部署了后端智能分析算法，用于分析实时视频流数据或者历史视频流数据，比如视频结构化分析算法、基于视频流分析的车辆分析算法以及人像分析算法等，这些后端的智能分析算法也随着算法的成熟应用范围越来越广，智能分析的规模也越来越大，针对视频流分析的结果也产生大量的目标图片要写入到存储之中。

　　此外，不少后端的智能分析算法是针对前端采集的图片进行二次分析，依靠后端强大的算力以及先进的算法分析能力，将前端采集的图片再进行一次深度分析，提取更多也更准确的目标属性，这些图片可以是前端直接发送到分析系统的，也可以由采集服务先存储，然后再由分析系统从存储系统中调取前端抓拍的图片进行分析，然后再把分析出来的结果（如人像图、人脸图、车辆的抠图等）再写回存储。这些大量小图片的读写需求对存储系统提出了很大的挑战。存储系统小文件并发写入能力、小文件并发读出能力、小文件并发删除能力以及小文件的检索定位能力都要求能够适应大并发的场景。

　　3、安防大数据存储和处理需求

　　安防中的视频图像AI智能化应用不仅产生了大量的视频图片，也产生了大量的目标结构化数据。这些数据包括智能前端产生的目标记录数据，如目标类型、目标基本特征以及抓拍时间等，也包括后端智能分析应用分析视频流或者图片后产生的目标结构化数据。这些数据随着系统规模增大以及数据应用的需求的提升而大量增加，按照之前的例子计算，1000台的中等规模，每个监控点采集10000个目标计算，数据存储180天则可达到18亿条原始目标记录，如果这些原始目标都经过二次分析，那么数据记录至少翻倍。这些大量的数据应用都需要在其中进行检索和关联分析，而且随着视频大数据应用的发展，各种基于视频大数据的分析统计应用和技战法应用越来越丰富，涉及关联分析的数据对象类型越来越多，一次分析任务涉及的数据量越来越大，分析的策略越来越复杂，从而对结构化数据存储提出的要求也越来越高。为了保证这些复杂数据分析应用功能的使用顺畅，对应的结构化数据的存储需要提供高性能的海量数据读写能力和数据分析计算能力。因此当前安防行业的存储在满足大量视频流存储的同时，必须要满足海量小图片文件以及结构化数据存储读写的需求。

　　二、新趋势下的安防存储系统

　　在视频AI智能化、安防大数据及数据融合分析应用的需求下，安防存储的发展需要依靠底层存储技术、物理设备配置以及整体系统架构的协同发展。为此，云计算、大数据相关的技术和产品将不断地引入安防存储系统。

　　首先，在原来海量视频流存储的基础上，为适应视频AI智能化应用，存储系统需支持高性能的小文件（如图片、视频片段等）存储和读取，提供高性能的分布式文件存储或者对象存储能力，支持高并发的文件写入。由于小文件的特性，存储和读写的方式跟实时视频流存储有很大的不同。系统产生的小文件数量很多，但是整体占用的容量却没实时视频流存储大，而由于每个文件都很小，大量并发的文件存储进来，存储系统就必须有高效的数据缓存和读写机制，以及文件的索引机制，才能保证针对每个文件的检索和读写效率。此外，小文件的存储还必须考虑数据覆盖删除的问题通常在一些普通的存储系统中都是删除1TB的数据，删除视频流数据很快，但是删除小文件则出现缓慢甚至阻塞问题，因为删除1TB的小文件可能涉及到删除百万量级的文件，如果存储的文件的存储机制不好，删除这么多文件将会严重消耗存储的资源，这些都是存储系统需要面临并解决的重要问题。为此，当前不少存储系统已经采用了分布式对象存储或者高性能的分布式文件系统技术来解决这个问题。

　　针对海量的结构化数据存储，目前在存储系统上主要采用高性能的分布式数据库，通过分布式数据库提供高性能的结构化数据存储、读写以及数据比对分析能力，比如各种MPP数据库和NewSql数据库等。这些分布式数据库系统本身可提供海量结构化数据存储管理的能力，同时在存储硬件上一般都会配置高性能的SSD存储介质来满足高性能的数据读写分析需求。同时对于数据量比较大的场景，系统还会结合应用需求提供数据的分级存储机制，将业务经常使用的数据或者大概率会使用的数据（即热数据）优先放到高性能的存储介质中，比如PCIE接口的SSD固态硬盘中，或者直接加载到内存。而其他不常用的数据（即冷数据）则放在存储性能较低的存储介质中，比如SAS接口或SATA接口的机械硬盘。部分存储系统还支持了冷热数据自动迁移的能力，能够把热数据中不经常使用的数据自动下沉到冷数据存储介质中，或者把冷数据中突然比较常用的数据再加载到高性能的热数据存储介质上，这样就有效保证了用户常用数据都能够高效命中并高速读写，满足数据分析业务的应用需求。

　　此外，为了满足大量的数据分析、数据比对以及数据挖掘的需求，可能会在分布式数据库服务器上运行各种数据分析算法服务，为此，分布式的数据库存储设备还会配置高性能的CPU和大容量内存，为数据处理提供强大的硬件支持。为了保证数据可靠性，分布式数据库采用集群方式来避免单点故障对系统造成的影响，底层通过多副本或者网络纠删码实现数据的高可靠性，不会因为某个节点宕机导致数据无法访问或数据丢失。同时通过集群的聚合性能对外提供高性能的数据读写分析能力。

　　为了同时满足大量视频流存储、视频图像小文件存储以及海量结构化数据的存储，存储系统中一般都会配置云存储系统和分布式数据库系统，在实际应用的部署形态上主要有融合模式和分离模式两种部署方式。

　　1、融合模式

　　该模式下分布式数据库和云存储部署在同一台设备上，多台设备构成一个存储集群。单台设备既存储视频流和图片等非结构化数据，也同时存储结构化的目标采集数据，同时还对外提供结构化数据的检索分析能力。

　　这种模式一般比较适用于小规模的系统建设，一台设备或者两台设备即可完成所有的视频图像数据存储服务，成本相对也比较低。而且一般情况下，存储设备是专用设备，会采用一体机的生产模式，安装部署起来也相对比较简单。方案的劣势主要是系统的扩容不够灵活，扩容需要按单台设备扩容，如果只是扩容视频或图片等非结构化数据，也需要一台完整的设备来支持，用于分析计算的能力可能就会冗余。而如果只是想扩展数据的分析计算能力而增加设备，存储能力也会随之扩展。此外，分布式数据库和云存储毕竟是两套不一样的存储系统，都在一套存储设备上部署也涉及到资源的共享和冲突，相应的业务效率可能就没那么高。

　　2、分离模式

　　该模式下分布式数据库和云存储分开部署在不同设备上，分布式数据库部署在高性能的存储服务器上，配置高性能的CPU，大容量的内存，高性能的SSD存储介质；云存储则采用存储阵列设备提供大容量的磁盘存储空间。计算和存储形成两个独立的存储集群，通过网络提供数据服务和存储服务。

　　这种应用模式下，视频图像的结构化数据存储在分布式数据库所在的高性能存储服务器上，而视频流、图片等非结构化数据则存储在云存储阵列上。这种方式的主要优势是扩展比较灵活和方便，结构化存储和非结构化存储都可以独立扩展，互不影响。所以当只需要扩容视频流、图片等存储空间时，只需要扩容云存储即可，不需要扩容分布式数据库，也就是不需要再增加部署分布式数据库服务器。同样，当用户需要扩展数据分析能力时，可以只扩容分布式数据库服务器，不需要扩容云存储系统。这样就可以根据用户的具体应用需求针对性地灵活扩展。该种模式主要用于中型或大型的系统中，小规模的场景下成本相对会比较高。

　　三、结语

　　在当前安防行业AI智能化、安防大数据及数据融合分析应用的新趋势下，安防存储系统将更多地采用云计算、大数据相关技术，并不断优化提升底层的数据存储机制，通过先进的对象存储、分布式文件存储以及分布式数据库可满足海量高清视频、海量小图片文件以及海量视频图像目标结构化数据的存储和应用需求，也有效推动了安防智能化以及安防大数据应用的快速发展。