人工智能綜合項目開發項目四口罩佩戴檢測防控系統成都職業技術學院項目分析01任務一口罩檢測模型部署02任務二報警系統構建03任務三防控安檢系統開發04項目四

口罩佩戴檢測防控系統項目分析1.學習神經網絡數學模型基本概念；

2.了解神經網絡實現基本原理；

3.了解嵌入式人工智能基本概念；

4.掌握嵌入式人工智能開發流程；實驗內容疫情防控安檢系統主要由口罩檢測、疫情防控報警、數據可視化功能構成。實現整

個系統需要采集口罩佩戴數據集進行數據標注，然后搭建神經網絡訓練口罩檢測模型實

現人臉口罩佩戴檢測，再搭建嵌入式系統實現報警功能，最后綜合口罩檢測和報警系統

實現疫情防控安檢系統。實驗原理項目背景及功能分析新型冠狀病毒來襲，武漢封城、各省、市均拉響了防御警報，各項防疫工作如同上

緊發條般，爭分奪秒地啟動。廣大民眾時刻通過手機密切關注疫情，通過直播日夜了解

火神山、雷神山醫院的建設，各個平臺也都熱切討論口罩的科學戴法、洗手的注意事

項……可以說，全社會都繃了緊這根防疫的弦。當前疫情還未完全消除隱患，病毒傳播

速度快，易爆發，因此做好疫情防控檢測工作不容懈怠。新冠疫情的出現，不僅威脅著人們的健康，也給社會生活帶來了沖擊與變化。對于

維護社會公共安全的安檢行業，則受到更大的關注。安檢的焦點，從之前單純的重視違

禁品，轉變為集成了人、物、車安檢以及衛生消毒、溫度測控、口罩佩戴檢測等事項。

尤其在車站、地鐵、景區、小區出入口等一些人群密集的場所，需檢測是否佩戴口罩，

體溫是否異常，還需兼顧安全通信效率。而現有測溫設備多為測試人員近身探測，安檢員也多為使用儀器手檢，極易誘發交叉感染。因此目前大多升級傳統安檢方式，比如在

車站利用無接觸測溫、人臉檢測、自動口罩檢測等技術實現智能安檢防控，如圖

0-1

所

示：圖

0-1

車站疫情安檢防控示例疫情防控安檢系統利用人工智能技術、物聯網傳感器設備等高技術手段實現智能安

檢、疫情防控報警等智能疫情防控系統。該系統在傳統安檢的同時，增加了人體體溫檢

查，適用于機場、鐵路、車站、海關等核心通道，以及學校、醫院、企業園區等室內主要入口、大廳，設備可有效減輕人工檢查的繁重工序，降低人工檢查的失誤率。其主要

功能包括：1）無接觸式安檢系統：行人在經過安檢系統時，通過紅外溫度傳感器自動測量行人

體溫，出現異常時自動報警。2）人臉檢測：人臉自動檢測，有效排除非測溫目標干擾；異常體溫報警結合人臉信

息，方便精準跟蹤處置。3）口罩檢測：對檢測到的人臉進行口罩佩戴檢測，當視頻流中出現未戴口罩的人進

行報警，提醒工作人員進行干預。4）LCD

顯示：實時顯示口罩檢測圖像，以及口罩檢測結果。實現本次疫情防控安檢系統分為三個任務，如圖

0

所示，任務一口罩檢測模型部署，

利用深度學習神經網絡算法實現人臉口罩檢測模型轉換及模型部署；任務二報警系統構

建，主要實現報警功能；任務三疫情防控安檢系統開發主要實現整個系統的設計和實現。圖

0

疫情防控安檢系統任務拆解任務一

口罩檢測模型部署本次實驗主要是使用

TensorFlow

搭建

RFB-Net

模型訓練標記完成的口罩檢測數據集，

并將訓練完成后的模型保存為

tflite

格式，最終部署在嵌入式硬件設備中實現人臉口罩

檢測任務。（1）數據集標注在深度學習領域，訓練數據對訓練結果有種至關重要的影響，在計算機視覺領域，

除了公開的數據集之外，對很多應用場景都需要專門的數據集做遷移學習或者端到端的

訓練，這種情況需要大量的訓練數據，取得這些數據方法有：人工數據標注、自動數據

標注、外包數據標注。圖

4.0-1

數據集標注軟件VoTT

是微軟發布的用于圖像目標檢測的標注工具，它是基于

javascript

開發的，因

此可以跨

Windows

和

Linux

平臺運行，并且支持從圖片和視頻讀取。此外，其還提供了基

于

CNTK

訓練的

faster-rcnn

模型進行自動標注然后人工矯正的方式，這樣大大減輕了標

注所需的工作量。本次口罩檢測項目訓練模型時，需要大量的已標注的數據集進行模型訓練，這里對人臉口罩數據集進行標注為兩類，即佩戴口罩和未佩戴口罩。（2）口罩檢測任務實現口罩檢測應用案例主要分為如圖

4.0-2

所示的

5

個步驟。圖

4.0-2

口罩檢測應用案例實現流程首先將對人臉口罩數據集進行標注及格式轉換，然后搭建神經網絡模型利用數據集

進行模型訓練，再將訓練好的神經網絡模型轉換成.tflite

格式，最后將模型部署到硬件

平臺上就可以實現人臉口罩檢測。1）人臉口罩數據集標注及預處理首先對人臉口罩數據集進行標注，需要將標注完成之后的數據集格式入出為

VOC

的

數據集格式，目前的深度學習很多框架都使用

VOC

數據集格式。VOC

數據集包含如下圖所

示幾個文件，

Annotations

存放

xml

格式的標簽文件，每個

xml

對應

JPEGImage

中的一張圖片；ImageSets

存放數據集圖像名稱；JPEGImages

存儲所有的圖片，其中包括訓練

圖片，測試圖片，然后將數據集存儲為

TFrecord

文件。圖

4.0-3

VOC

數據集格式2）神經網絡模型搭建根據

RFB-Net

的模型結構，使用

TensorFlow

完成

RFB-Net

網絡結構的模型搭建。

3）神經網絡模型訓練配置好模型訓練的超參數后，加載人臉口罩數據集進行模型訓練。訓練完成的模型

保存在./checkpoints/face_mask_model.h5

中。4）神經網絡模型轉換使用

tf.lite

API

將模型文件轉換為

tflit

格式，參考代碼如下所示，加載模型文件

時要注意模型文件的路徑是否正確。import

tensorflow

as

tf#

加載模型model

=

tf.keras.models.load_model('./face_mask_model.h5',

compile=False)#

模型轉換converter

=

tf.lite.TFLiteConverter.from_keras_model(model)tflite_quant_model

=

converter.convert()open("face_mask_model.tflite",

"wb").write(tflite_quant_model)5）模型加載加載.tflite

模型實現口罩檢測，模型加載和推理參考代碼如下：#

加載

tflite

模型

，model_name:

模型名稱，model_path:

模型路徑class

TfliteRun:def

init

(self,

model_name="fruit_detection",

model_path=POSENET_MODEL):erpreter

=

tflite.Interpreter(model_path=model_path)

#

讀取模型self.interpreter.allocate_tensors()

self.model_name

=

model_name

#

獲取輸入層和輸出層維度#

分配張量self.input_details

=

erpreter.get_input_details()

self.output_details

=

erpreter.get_output_details()def

inference(self,

img):

self.interpreter.set_tensor(self.input_details[0]['index'],

img)

erpreter.invoke()

#

模型推理output_data1

=

erpreter.get_tensor(self.output_details[0]['index'])

#

獲取輸出層數據

return

output_data16）結果繪制根據口罩檢測模型返回值，包括人臉口罩位置，人臉口罩檢測類別，置信度。根據返回結果進行繪制，返回繪制好的人臉口罩檢測圖像。def

recImgDis(img,

predictions):if

predictions:boxes,

classes,

scores

=

predictionsfor

prior_index

in

range(len(classes)):img

=

showImageZH(img,

boxes,

classes,

scores,cfg["cam_height"],

cfg["cam_width"],prior_index,

cfg['labels_list'])return

img7）模型部署將訓練好的模型程序拷貝至嵌入式硬件平臺中，并在硬件平臺上搭建好程序運行環境，即可在終端運行程序進行人臉口罩檢測。任務二

報警系統構建（1）系統概述疫情防控報警系統通過獲取口罩檢測結果，如果發現未佩戴口罩，則通過串口立即

向智能節點核心控制板發送控制指令，發出報警聲；當紅外測溫傳感器檢測到體溫超過

37℃，同樣發出警報。任務三

防控安檢系統開發（1）防控安檢系統開發概述防控安檢系統主要利用人工智能算法和嵌入式硬件設備實現人臉口罩檢測，無結果

分析預警等功能，輔助疫情防控工作人員實現自動化、智能化、數字化疫情防控工作。結合口罩檢測系統和報警系統實現整個疫情防控安檢系統，首先利用攝像頭采集人

臉圖像，利用神經網絡模型實現人臉口罩檢測，檢測是否佩戴口罩；然后通過口罩檢測

結果控制蜂鳴器進行預警。實現疫情防控安檢系統開發分別實現圖像獲取插件、模型推理插件、嵌入式數據交

互插件。如圖

4.6

所示，其中圖像獲取插件主要實現攝像頭獲取，圖像消息隊列傳遞及圖像識別結果可視化等功能；模型推理插件主要實現圖像數據預處理，口罩檢測模型推

理，解析口罩檢測識別結果啟動報警裝置，以及傳遞口罩檢測結果。嵌入式數據交互插

件主要實現根據口罩檢測結果觸發報警系統進行報警。圖

4.6

防控安檢系統開發功能插件（2）口罩檢測功能插件構建在項目開發中實現口罩檢測模型功能插件主要目的是實現輸入人臉圖像，然后根據

人臉口罩檢測模型輸出檢測結果。模型推理過程詳見任務一口罩檢測模型部署。1）人臉口罩圖像獲取插件實現。打開攝像頭獲取人臉口罩圖像，將圖像傳遞到待檢測消息隊列。從人臉口罩檢測模

型推理結果消息隊列獲取檢測結果，并調用結果繪制函數將檢測結果繪制到原圖像中。class

VideoThread(threading.Thread):def

init

(self,

camera="0",

q_flask:Queue=None,

q_img:Queue=None,

q_rec:Queue=None):threading.Thread.

init

(self)self.cap

=

setCamera(camera)

#

網絡攝像頭def

run(self):

face_mask_pricet

=

[]

while

True:if

self.cap

!=

"":ret,

frame

=

self.cap.read()

#

打開攝像頭，獲取人臉口罩圖像幀

frame

=

cv2.resize(frame,

(ai_cfg["cam_width"],

ai_cfg["cam_height"]))

if

not

self.q_img.full()

and

not

frame

is

None:self.q_flask

=

q_flask

self.q_img

=

q_img

self.q_rec

=

q_rec#

消息隊列傳遞#

消息隊列傳遞

原始圖像到識別插件#

消息隊列傳遞

AI

模型的推理結果self.q_img.put(bytearray(frame))

#

原始圖像傳遞if

not

self.q_rec.empty():face_mask_pricet

=

self.q_rec.get()

#

獲取人臉口罩檢測結果frame

=

recImgDis(frame,

face_mask_pricet)

#

結果繪制#

傳遞圖像if

not

self.q_flask.full()

and

not

frame

is

None:self.q_flask.put(bytearray(frame))2）人臉口罩檢測模型推理插件實現獲取待檢測的人臉口罩圖像，調用口罩檢測模型進行推理，返回人臉口罩位置、類別、置信度，并將返回結果傳入模型推理結果消息隊列。class

FaceMaskRecThread(threading.Thread):def

init

(self,

q_img:Queue=None,

q_rec:Queue=None,

model_path=cfg["model_path"]):threading.T