的卢深视户磊：大库时代，落地千万级刷脸系统的技术剖析与建库经验 | AI 安防峰会( 三 ) 的卢深视是全国首个实现省级

文章插图
这是支撑的卢这一套系统的产品矩阵体系。
三、千万级刷脸系统关键技术点剖析
首先从系统架构来讲，我们把千万级大库的建库以及比对系统分成三个层次：

前端多维智能感知系统

核心是的卢深视高性价比3D结构光相机，它深度集成了高性能三维人脸识别算法，降低了后端的计算开销，保证算法准确率的同时大大降低客户集成成本，形成前端多维智能感知系统。

千万大库云端中台

支持千万三维大库人脸建库、清洗和检索，精度远超二维的解决方案，同时，的卢与国产芯片做了深度集成，性能超过同等级国外方案，并且可以与智能前端及边缘节点协同处理，最优化调度系统内计算资源，提高计算资源利用率，降低系统成本。

多模态关联分析与预测

在前端感知系统和中台的基础之上，基于大数据的逻辑推理、时空轨迹关联分析，将2D/3D人脸、人体、物品、时间、地点以及人体的体貌特征和形态动作特征等多维大数据融合，深度挖掘数据之间的关联性，实现预测预警。

的卢深视户磊：大库时代，落地千万级刷脸系统的技术剖析与建库经验 | AI 安防峰会

文章插图
技术架构分为四个层次，分别是核心算法层、平台技术层、业务中台和应用层。
最底层是核心算法层，其中最重要的是3D算法层，基于RGBD全信息处理，在恢复深度信息上我们有一整套深度感知的算法，包括深度对齐、后处理、人脸检测与跟踪等等。同时，三维重建算法族也是一个核心层次，它可以真正把一个三维物体的形状信息进行完整恢复，这是一个非常重要的支撑层次。
在这个核心算法之上，我们有平台技术层，后端的技术包括通信计算、协同优化等技术。
再往上是业务中台，进行数据接入、数据管理、数据清洗、数据优选。因为前面建库过程中，设备来源非常多元，通过业务中台的一系列数据处理过程后，才能得到优质的数据，然后融到数据库中进行数据同步，最终支撑各种各样的应用。

文章插图
这是整个技术架构。
经过大家多年的摸索， 2D人脸库逐渐形成一套标准，但是3D有深度信息的数据，这些数据如何存储、有什么特点、有何技术要求等方面，行业还没有形成规范。
的卢这些年在这方面不断探索，建立起一整套数据标准和评价体系。我们希望和行业协同，将它变成一个行业标准。
另外，对于深度识别的设备，即传感器本身，需要具备怎样的深度采集能力和精准感知能力？
我们对大库情形下的识别精度也有一整套测试的方法和标准。市面上通行的相机比较强调绝对精度，但绝对精度对于人脸和人体物体的精细特征来讲，并不是一个非常重要的指标。事实上，相对形状的相对精度和对于形状的拟合度是一个比较重要的指标，恢复人脸肌理的特征也是比较重要的部分。我们有一套深度质量的评价体系，对这些要素进行综合性的打分，从而形成对前端相机的整体评价。

文章插图
3D人脸识别技术算法与2D人脸识别有所不同，通常来讲， 2D人脸识别通过摄像头获取图像数据信息后进行人脸检测，然后进行特征提取和信息比对。
而3D的流程比较复杂，前端是符合标准的3D摄像头，在获取了图像数据并进行了人脸检测之后，还需要进行RGBD数据配准与3D信息重建，把人脸信息进行完整的三维恢复。同时，在恢复的三维人脸模型上提取三维人脸特征，最后进行比对。
在后台应用上，我们一整套后台应用服务器，能够单独部署，也可以集成部署，并且支撑高并发请求的快速处理和及时响应。
同时，我们针对寒武纪MLU270的体系结构特点改进了深度学习网络结构，设计最佳并发处理模式，提高吞吐率，充分利用硬件平台算力。在保证精度基本不损失的情况下，突破了三维人脸识别算法的INT8量化技术。

文章插图
另外强调一下多模态架构的理念。物理世界中的物体都是3D的，获取到完整的3D信息对于系统精准感知和识别的进一步提升非常重要，换句话说，增加数据维度是最有效提升系统感知能力的方式，可以以此突破深度学习发展的瓶颈。