安防大数据发展挑战

互联网IDC圈4月19日报道，云计算、大数据技术的发展为安防行业发展带来前所未有的突破，但仍面临许多困境与挑战。

 一、数据量的急剧扩大和IT投资之间的矛盾

按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力往往越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重，客户越来越希望在满足需求的前提下，用中低端的硬件来替换高配硬件。

 二、海量数据和有效数据之间的矛盾

摄像头24小时不间断工作，如实记录镜头覆盖范围发生的一切，仅仅记录信息是不够的，因为对于客户来讲可能大部分信息是无效，有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称之为信息的密度，往往越高密度的信息对客户价值越大。

相较于其他行业，安防非结构化的数据存储压力不断增大，一方面源于视频、图片等非结构化数据本身容量，另一方面源于安防数据规模的不断扩大，安防大数据存储对系统设备提出了更高挑战，如何在满足需求的前提下，删除重复数据、降低存储硬件成本投资成为海量数据存储的一个难题

 三、资源利用和效率之间的矛盾，串行计算和并行计算的矛盾

视频监控业务网络化、大联网后，网络内的设备越来越多，利用闲置的计算资源，实现资源的大化利用，关乎运算的效率。在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行对视频内容的数据分析和检索，采用串行计算的模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，巨量数据的效率优化，并行计算是视频智能分析的唯一出路。

 四、数据共享

大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显著的特征就是海量和非结构化数据共享，用以提高数据处理能力。而海量数据存储在不同系统、不同区域、不同节点、不同设备中，这给数据的传输和共享带来极大的挑战。

五、数据安全

平安城市、智慧城市的建设促使安防存储技术的新应用，智慧城市一大要求就是将视频存储数据相互之间进行联动、共享。与此同时，视频监控数据具有私密性高、保密性强的特点，不仅是事后追查的依据、而且更是后续数据分析挖掘的基础。因此数据安全一方面是指不受到外界数据的入侵和非法获取、另一方面是指庞大系统的鲁棒性、体系容错机制，确保硬件软件发生故障时，数据仍然可以恢复、得以保存。面对海量数据的存储、共享，硬件和软件设备承载了极大的风险，因此如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是难题。

  六、数据利用

安防监控虽然数据量很大，但真正有用的信息并不多。安防数据的有效性分为两个方面，一方面有效信息可能只分布在一个较短的时间段内，根据统计学原理，信息呈现幂率分布，往往越高密度的信息对客户价值越大；另一方面，数据的有效性体现在深层次挖掘庞大的海量数据，关联得出有效信息。视频监控业务网络化、大联网后，网内的设备越来越多，利用网内的闲置资源，实现资源的大化利用，关乎运算的效率。在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是客户的普遍需求。如何对海量的视频数据进行分析检索业对行业提出更大的挑战。

 七、缺乏统一标准

国内安防行业经历十几年的快速发展，在此发展过程中，平安城市建设表现卓越，在安防应用中也一直走在前列，国内平安城市系统的建设也不断推动着国内安防技术和安防厂商的发展。在平安城市项目的建设过程中，由于参与的安防厂家众多，不同项目、不同系统甚至同一系统采用的设备厂商也不尽相同，为了更好的兼容各厂商产品，整个安防行业和政府也制定了一些标准，如ONVIF协议、GB28181协议以及各个地方省市发布的一些标准。

新一轮的智慧城市正在紧锣密鼓地进行着，相对平安城市相对“简单”的治安监控，智慧城市要求数据共享，跨区域视频联网监控、监控资源整合与共享以及政府各部门之间的视频监控资源共享等等。但是不同的地方城市，不同的行业类别，不同的管理方式都会有不同的监控系统方案，数据融合或者共享兼容性问题更多，对整个系统建设是重大考验。

平安城市系统面向的是安防行业设备与系统的兼容问题，随着各种行标、地标的制定，各种问题基本得以解决；而智慧城市系统不仅仅是安防系统的整合，而是多个行业系统的集成应用，因缺乏统一标准带来的复杂性可想而知。庆幸的是国家目前已经开始起草智慧城市建设的各种标准，而相关企业也在不断规范自身系统的兼容性和开放性。

八、从非结构化的数据中提取结构化的数据出来

所谓非结构化数据是指在视频里面进行特征的提取，这些可能是人类不能理解和不能处理的；结构化数据则是人可以理解和处理的，比如在视频里有几个活动目标、是人还是车。如果是人，身上穿的是什么样的衣服；如果是车，车牌号是多少、什么样的品牌型号、颜色、行进速度、方向等数据，这些都是可以转化为结构化数据为人所用。目前，安防的数据很多涉及到视频数据，而视频数据本身是不能够被结构化的数据，也就不能被计算机直接所处理。所以未来摆在技术人员面前的课题是如何把视频数据转换成计算机能够处理的结构化或者半结构化数据。

  九、寻找这些数据之间的关联和价值

数据是有关联没关联之分的，我们只能通过工具来找。所有这些存储的特征数据，包括公安行业、平安城市中每天产生的海量视频数据，可以为很多案件的侦查提供有价值的线索。现在技术需要攻克的难题就是能不能把这些数据通过相应的工具模块，通过大数据技术把原来被忽视的数据信息关联起来，找到或提取这些数据之间的相关性，为案件的侦破和方案决策提供科学的数据依据。