(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210735739.1 (22)申请日 2022.06.27 (71)申请人 合肥的卢深视科技有限公司 地址 230091 安徽省合肥市高新区习友路 3333号中 国 （合肥） 国际智能语音产业 园研发中心 楼611-217室 (72)发明人 胡长胜　浦煜　何武　付贤强　 朱海涛　户磊　 (74)专利代理 机构 北京智晨知识产权代理有限 公司 11584 专利代理师 张婧 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 人脸识别方法、 电子设备及 存储介质 (57)摘要 本发明实施例涉及人脸识别领域， 公开了一 种模型训练方法、 人脸识别方法、 电子设备及存 储介质。 模型训练方法包括： 构建从人脸图像样 本中提取人脸特征的特征提取模 型； 特征提取模 型的相邻网络层之间设置有注 意力机制模块； 注 意力机制模块用于根据相邻网络层中前一网络 层输出的第一特征图形成权重矩阵， 将第一特征 图采用权重矩 阵处理后的第二特征图输出到相 邻网络层中后一网络层； 将第一特征图采用与权 重矩阵互补的权重矩 阵处理后的第三特征图作 为输入， 构建特征分类模型， 特征分类模型的输 出为影响人脸图像样本身份识别的预设信息类 别； 对特征提取模型和特征分类模 型进行联合训 练。 权利要求书2页 说明书8页 附图3页 CN 115131858 A 2022.09.30 CN 115131858 A 1.一种模型训练方法， 其特 征在于， 包括： 构建从人脸图像样本中提取人脸特征的特征提取模型； 所述特征提取模型的相邻网络 层之间设置有注意力机制模块； 所述注意力机制模块用于根据所述相 邻网络层中前一网络 层输出的第一特征图形成权重矩阵， 将所述第一特征图采用所述权重矩阵处理后的第二特 征图输出到所述相邻网络层中后一网络层； 将所述第一特征图采用与所述权重矩阵互补的权重矩阵处理后的第三特征图作为输 入， 构建特征分类模型， 所述特征分类模型 的输出为影响所述人脸图像样本身份识别的预 设信息类别； 互补的两个权 重矩阵为同型矩阵， 且 对应元素的和为1； 对所述特征提取模型和所述特征分类模型进行联合训练， 所述联合训练 的损失函数基 于已训练好的教师模型输出的人脸特征与所述特征提取模型输出的人脸特征之间的蒸馏 损失、 所述特征提取模型输出的人脸特征经分类器输出的预测人脸类别对应的第一分类损 失， 以及所述特 征分类模型输出的预测信息类别所对应的第二分类损失构建。 2.根据权利要求1所述的模型训练方法， 其特征在于， 位于所述特征提取模型的多组 的 相邻网络层之 间设置有多个所述注意力机制模块， 所述特征分类模型包括与所述注意力机 制模块一一对应的多个处 理模块以及一个融合网络和一个预测网络； 所述将所述第一特征图采用与所述权重矩阵互补的权重矩阵处理后的第三特征图作 为输入， 构建特 征分类模型， 包括： 每个所述注意力 机制模块将对应的所述第 一特征图， 采用与 该注意力 机制模块生成的 所述权重矩阵互补的权重矩阵处理后的所述第三特征图输入到对应的所述处理模块， 得到 相同预设尺寸的第四特 征图； 将各所述处理模块输出的所述第四特 征图输入到所述融合网络得到融合特 征图； 将所述融合特征图输入至所述预测网络， 得到所述人脸图像样本对应的所述预设信 息 类别。 3.根据权利要求1或2所述的模型训练方法， 其特征在于， 所述联合训练包括： 第 一阶段 联合训练和第二阶段联合训练； 对所述特征提取模型和所述特征分类模型进 行所述第一阶 段联合训练时， 所述蒸馏损失的权重大于所述第一分类损失的权重、 且所述第一分类损失 的权重大于所述第二分类损失的权 重； 对所述特征提取模型和所述特征分类模型进行所述第 二阶段联合训练时， 所述第 一分 类损失的权重大于所述第二分类损失的权重、 且所述第二分类损失的权重大于所述蒸馏损 失的权重。 4.根据权利要求1或2所述的模型训练方法， 其特 征在于， 所述将所述第一特 征图采用所述权 重矩阵处 理包括： 对所述第一特征图中各个通道的特征图采用所述权重矩阵中与各通道对应的权重系 数进行处 理， 得到所述第二特 征图； 所述将所述第一特 征图采用与所述权 重矩阵互补的权 重矩阵处 理， 包括： 对所述第一特征图中各个通道的特征图采用所述互补的权重矩阵中与各通道对应的 权重系数进行处 理， 得到所述第三特 征图。 5.根据权利要求1所述的模型训练方法， 其特征在于， 所述蒸馏损失通过如下公式构 建：权　利　要　求　书 1/2 页 2 CN 115131858 A 2其中， yi为所述教师模型输出的人脸特征， yi*为所述特征提取模型输出的人脸特征， N 为所述人脸图像样本的数量。 6.根据权利要求1所述的模型训练方法， 其特征在于， 所述第 一分类损失通过如下公式 构建： 其中， pim表示所述分类器输出的所述人脸特征所属各人脸类别的预测概率， yim为所述 人脸特征所属各人脸类别的真实概 率， k表示所述人脸类别的类别数。 7.根据权利要求1所述的模型训练方法， 其特征在于， 所述第 二分类损失通过以下公式 构建: 其中， N表示所述样本人脸图像的数量， K表示所述预设信息的类别数， pic表示第i个人 脸图像样本属于所述 预设信息类别c的预测概率， yic为第i个人脸图像样本属于所述 预设信 息类别c的真实概 率。 8.一种人脸识别方法， 其特 征在于， 包括： 将待测人脸图像输入到已训练好的特征提取模型中， 得到待测人脸图像的人脸特征； 其中， 所述特 征提取模型通过如上权利要求1至7中任一项所述的模型训练方法获取； 根据所获取的所述人脸特 征对所述待测人脸图像进行识别， 获取识别结果。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处理器通信连接的存储器； 其中， 所述存储器存储有可被所述至少一 个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能 够执行如权利要求1至7中任一所述的模型训练方法， 或者能够执行如权利要求8所述的人 脸识别方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求1至7中任一项所述的模型训练方法， 或者实现如权利要求8 中所 述的人脸识别方法。权　利　要　求　书 2/2 页 3 CN 115131858 A 3