销售:0771-5325731 0771-6719168 0771-6719568

海康威视大华H3C锐捷华为ZKTeco  产品广西营销中心

广西南宁盈磊电子科技有限公司

0771-5325731

13788016231

智能监控及监控系统一站式设计施工专家,为您提供全面可靠解决方案
基于YOLO 的智能门禁系统设计
来源: | 作者:张瑞民,李宇涵,申海杰 (西安思源学院 电子信息工程学院,陕西西安,710038) | 发布时间: 728天前 | 173 次浏览 | 分享到:
随着物联网、大数据和人工智能等新技术的快速发展,基于生物特征识别方法的人脸识别系统在门禁系统中得到了迅速推广和广泛应用,给相关产业提供了新的发展机遇,并促进了产业的迭代创新。在人工智能技术快速发展的背景之下,门禁系统将不再局限为简单的门禁,而发展为全面、快捷、高效的安全应用系统,可以实现人脸识别、口罩佩戴检测等多种功能。基于AI的智能门禁系统能够促进我国智慧社区、智慧城市的发展,发展潜力在未来还会进一步被挖掘。本文结合新冠防疫背景,设计了一套基于YOLO目标检测算法实现的智能门禁系统,可以减少防疫人员的工作量和感染病毒的风险,研究对于抗击新冠肺炎工作具有一定的实用价值。

0 引言

随着门禁系统的不断发展,新式门禁系统在原有的基础上引入了人员进出管理、实时控制、安防报告等多项功能。这些功能不但便利了物业管理,也提高了居民的安全感。具体体现如下:

(1)门禁管理系统的智能化是一种相对安全的改造方案,从根本问题上解决小区物业规章制度的各种乱象,通过实现进出小区人员的身份识别以及安全检测,从而完成实现以安全为本的最终目标。

(2)智能门禁管理系统与数据库管理系统有着相似的特征,它可以安全有效地存放各种门禁系统以及客户资料信息,全面提高了系统信息的安全性、可靠性和稳定性的同时,也为用户提供了数据备份的下载服务。

(3)智能门禁系统在底层采用了一种高安全度,高有效率的数据传输算法,能有效地保障数据的安全和数据传输速度。相比市面上的传统门禁系统,智能门禁将在门禁市场上拥有巨大的优势。

2020 年,人脸识别门禁设备的出货量同比增幅将会超过50%,而在2019 年的同比增幅则仅仅为14%。在这种巨大出货量的增加背后,是因为新冠病毒的出现而产生了门禁市场对非接触式应用技术的新要求,对人脸识别技术的精确度和检测速度的要求也在稳步上升。

至2027 年底,世界生物识别系统的产业规模将超过46.2 亿元,复合年均增长率达24.5%,巨大的发展空间自然会引来众多企业踊跃投入。而目前中国相较于其他国家的市场占有率,智能门禁系统的技术水平仍旧是相对比较低的。

1 YOLO 概述

1.1 背景

目标检测算法通常包括以下两个过程:(1)程序产生一个Bounding Box 边界框(BBox),(2)进行物品分类。因此,目标检测方法也因此分成了One-Stage 与Two-Stage 两种方法类型。

Two-Stage 是通过将两种方法分开进行的算法,这个过程实施下来非常缓慢,同时由于这些过程又是分散进行的,检测过程很难实现优化。

YOLO 算法是One-Stage 算法系统的典范,它把目标检测任务当作还原现象(Regression Problem)来解决,直接使用整张图像中的每个图像可以得出Bounding Box 的位置、对Box 中包含物品的置信度。利用YOLO,对每个图像只需看一下就可以知道整个图像中都有什么物品,以及这些物体的位置。

1.2 算法介绍

YOLO 目标检测系统是一种在2016 年发表出来的检测算法,同比在当时比较优秀的目标检测算法有 R-CNN、Fast R-CNN 等等,YOLO 相比其他的算法优势在它的简单和快速。YOLO 网络结构如图1 所示[1]

图1 YOLO 网络原理

首先,由YOLO 将图片平均分成S*S 个网格,算法规定了物体的中心落在哪部分格子上,就由哪部分格子负责推理这个物体,最后YOLO 取了S=7。比如在上图中,假设左下角位置是(0,0),狗的中心落在了(1,2)这个格子,那(1,2)这个格子就是负责推理的这一只小狗,如图2 所示。

图2 YOLO 图片处理

然后,通过在每个网格上预测得到的3 个Bounding Boxes 和其与之相应的Confidence Scores(置信度得分),从而可以确定各个Bounding Box 的置信度[2],并假设如果这个网格上不存在物体,则Confidence Score 为0 值,反之则为1。

所有预测出的Bounding Box 都有五种估计值:(x,y,w,h)和对应的Confidence。下面解释了一下的几个函数:x,y: X 和y 都是在Bounding Box 的中间位置,在这里一个小诀窍,就是不是直接返回中心点的位置值,而是返回相应于中格点左上角坐标的位置值。比如,如果一个格点中的物体位置是(1.1,1.1),那么在回归的时候使用(0.1,0.1),或者在重新使用时候,再加上格点的左上角坐标即可。W,h:w和h 分别是图像长宽相应于整个图像质量的比值。而置信度得分Confidence 是BBox 和Ground Truth Box 的IOU 值。

在各个网格中预估的类型物体的条件可能为Pr。而这里说的是每个网格,而不是各个BBox。可以使用公式估计各个Bounding Box 中的各个层次的Score,从而才能确定对某一个物体的估计情况。

也因此可以得到一个20*(7*7*2)=20*98 的Score 矩阵,括号里面则是BBox 的数量,共有着7×7 个格子,每个格子预测出2 个BBox,20 代表物体类别(YOLO v1 采用二十个物体类别),如图3 所示。后面的运算,一般分二十个类别交替完成:在每一个分类中(即矩阵的某一行),将分数低于阈值(0.2)的设定为零,之后再将分数由高至低排列。然后,再用NMS 算法去除重叠度较大的Bounding Box。最后对各个Bounding Box 的前20 个Score 取较大的Score,假设这些Score 等于零,那么这些Bounding Box 便是这些Socre 所相应的类别(矩阵的行),假如等于零,则表示在这些Bounding Box 里不是物体,直接跳过即可。

图3 置信度计算

2 基于YOLO 的智能门禁系统

2.1 智能门禁概述

智能门禁系统是一款集自动识别信息技术与现代安保管控措施为一身的新型海康威视门禁系统。它涉及多种新兴科学技术领域,如电子、机械、光学、信息学、通信技术和生物技术等。近年来由于RFID 以及生物鉴识技术朔评的不断进步,门禁管理系统也因此获得了飞跃式的提升,步入了成长期。这也慢慢发展出了指纹、虹膜、人脸识别包括乱序键盘等多种样式的门禁管理系统,他们在安全性、方便性、可管理性等领域也各有所长,因此智能门禁管理系统的应用市场也因此越发广大。

本文旨在研究一种通过神经网络训练达成基于AI 识别的智能门禁系统。

2.2 基于YOLO 的门禁模块硬件选择

门禁系统的软件部分由人脸检测模块、人脸识别模块构成,硬件部分则由摄像感知模块、门禁驱动模块、树莓派主控构成如图4 所示。

图4 硬件结构图

其中软件部分中人脸识别模块将会通过http 服务即通过Flask 将推理模型部署至云端服务器,从而解决系统遇到的算力不足问题。

2.2.1 YOLO 人脸检测模块设计

人脸检测模块的设计是为了使用YOLO 算法提前将待测图像中的非待测人脸以及非口罩部分剔除出来,如图5 所示,从而降低某一时段的系统负载,在此次项目中笔者使用的是一块树莓派3B 的开发板,性能堪忧,即使在本体加入一块神经计算棒也无法加速检测。

图5 YOLO 人脸检测模块

人脸检测算法部分采用了YOLOv5,数据集则是采用了CelebA 数据集。在训练中笔者对数据集合进行了分析与整合,将数据转换成VOC2007 形式的数据集合,采用了其中的10000 张图片,数据集训练了500 个epoch,最终训练成功。

2.2.2 YOLO 人脸识别模块设计

人脸识别方面,笔者使用了ArcFace 的算法,这种算法是通过深度卷积式神经网络实现的。人脸识别检测的特征学习部分中最主要的问题之一,那就是如何通过设置相应的特征损失函数来提高判别性能。在SoftmaxLoss、Center Loss、A-Softmax Loss 等损失函数之后,ArcFace 算法在本次人脸识别中具有更加优异的性能表现。通过对十多种人脸识别基准的试验与评估,证实了ArcFace 算法的效率和准确率远超原有的技术手段,而且能够很容易实现。

2.2.3 摄像感知模块设计

人像感知模块采用了CSI 摄像头V2 模块,如图6 所示,这是一个有树莓派官方推荐的模块,具体的参数是RPi Camera V2,虽然同类型的模块相比,它仅有800 万像素,但足够胜任摄像感知任务。感知模块收集到的信息后将会通过OpenCV 程序进行处理,然后将处理完的信息传送给人脸模块进行检测。

图6 CSI 摄像头

2.2.4 门禁驱动模块设计

笔者目前身边并没有能够进行CNC 加工的条件,而且普通3D 打印并不能达到设计要求参数,所以门禁驱动模块是在现在非智能门禁的基础进行改装,以达成树莓派主控驱动电机的目的。

而在控制方法上引入了PWM 控制,就是利用快速的高低电流的转换,实现控制电机的有效电流的控制,从而达到控制电机的目标。

2.2.5 树莓派开发板介绍

树莓派是一种低成本的微电脑开发板,其带有丰富的IO 接口,如图7 所示。由于它们的体积偏小,所以对这一类开发板其统称为PI,相比于stm32 这样的嵌入式开发板,树莓派拥有更强劲的性能,更适合嵌入电脑屏幕或电视,还可以插上各种IO 设备例如键盘鼠标等等。它可以像普通电脑一样,实现浏览网页、播放视频以及日常办公和玩游戏等功能。

图7 树莓派主控

笔者使用的是树莓派3B 的开发板,由于其CPU 性能较弱,所以在原有开发板基础上增加了Intel 神经加速棒以达成加速推理的效果,如图8 所示。神经加速棒是一种可以理解为是一种插入计算机的GPU,不过这块显卡不是给你跑训练用的,它是一种神经网络推理设备,简单来说就是加速你的AI 程序识别速度的。

图8 英特尔神经加速棒

2.3 基于YOLO 的智能门禁系统设计

门禁系统底层的驱动流程图如图9 所示,智能门禁系统使用前需将使用人员的人脸数据注册登记到人脸门禁数据库中,这些数据将用于后续的YOLO 口罩面部识别与ArcFace 人脸识别。在开始识别时,YOLO 面部识别功能可以评估所获得人脸数据是否满足人脸识别的要求,这些评估维度包括但不限于:人脸在图像中的占比、人脸面部区域的大小、面部关键部位遮挡比例、人脸清晰度、人脸图像亮度、对比度、图形畸变等多个维度,系统将对不符合基本质量要求的图像进行反馈,以确保每一张人脸数据均满足基本要求,其次,YOLO 面部识别还会检测人脸是否佩戴口罩,若检测失败则返回第一步重新识别检测,若检测成功则进入下一步的ArcFace 人脸识别步骤。

图9 门禁系统驱动流程图

ArcFace 则会经过图像质量检测的人脸数据,将根据一定的人脸识别算法进行数据比对,比对的核心是对肖像数据提取面部特征,并采用特征模板生成算法产生面部特征模板,并保存在数据库中,该模板数据将直接用于人脸比对与人脸识别。当人们需要通过门禁时,均需要在人脸识别门禁前识别或者比对其人脸数据,只有经过人脸识别系统精准比对成功后的人员,才能够正确开启门禁,实现通行。

同时,数据库对已经采集了人脸数据的人员进行门禁权限设定,这些权限规定了人员被允许出入的时间、地点、打开门禁的方式等。一般而言,对于常住用户,仅设置区域权限,时间权限可以采用默认设置即可;对于访客则将采用严格权限控制,以确保访问安全。人脸识别门禁还记录了所有用户通过海康威视人脸识别门禁的原始数据,这些数据包括:人脸识别结果、门禁开关成功与失败结果、时间、门禁设备信息、身份信息、权限信息等。这些信息将被作为众多管理需要的原始分析数据,比如当管理者需要知道员工的考勤状况时,可通过这些原始数据得出员工们的出勤情况、绩效情况、工资情况等。

3 结语

随着社会的高度信息化,“快捷性”“方便性”和“安全性”已经变成了现代社会的代名词,计算机技术及其应用在人们生活中承担了重要角色。其中,人工智能的发展与运用已变成国内外科学家与研究人员所关心的问题焦点,而其中的人脸识别技术已成为各大公司竞争的重点项目。在安全检查领域中使用各种电子监测设备和门禁系统是处理身份辨识问题最有效的技术手段。本文基于YOLO 目标检测算法,实现支持快速部署、商业化和定制训练的智能口罩人脸识别门禁系统。尤其在当前防疫情势严峻的背景下,本研究具有一定的实用价值。

海康威视智能门禁系统 海康威视人脸识别门禁系统