(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210754215.7 (22)申请日 2022.06.30 (71)申请人 上海艺冉医疗科技股份有限公司 地址 201311 上海市浦东 新区中国 （上海） 自由贸易试验区临港新片区海洋一路 333号1号楼、 2号楼 (72)发明人 卢伟　谢飞　郜刚　 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 特征提取能力强的小肠间质瘤检测方法 (57)摘要 本发明公开了特征提取能力强的小肠间质 瘤检测方法， 通过模型的Backbone及Neck部分采 用了3DMFNet， 能够利用影像序列中存在的空间 关联和约束信息， 进一步丰富特征信息， 增强了 网络对于多尺度病灶目标的特征提取能力， 明显 提高了模型对小肠间质瘤检测的灵敏度， 且为了 降低模型的假阳率， 在模型中添加了一条分割分 支作为对等网络， 利用精确的像素级标注给小肠 间质瘤检测提供良好的辅助监督信号， 语义分割 分支使用框级标注初始化伪掩码并在迭代过程 中通过图模型进行优化， 在保证灵敏度的同时， 大大降低了模型的假阳率， 总的来说， 小肠间质 瘤检测模型能够在低假阳率的条件 下， 实现对小 肠间质瘤的有效检测。 权利要求书3页 说明书8页 附图4页 CN 114998303 A 2022.09.02 CN 114998303 A 1.特征提取能力强的小肠间质瘤检测方法， 其特 征在于： 包括如下步骤： A、 首先随机选取200例患者 中的2900张切 片作为训练集， 30例患者中的412张切 片作为 验证集， 30例患者中的424张切片作为测试集， 并将训练集、 验证集以及测试集汇总成样本 数据集， 然后经 过3DMFNET处 理成检测分支和弱监 督分割辅助分支； B、 样本数据集经过3DMF  Net处理时， 使用的3DMF  Net作为Backbone和Neck部分， 且使 用Faster RCNN作为Head部分， 并添加了一个额外的语义分割分支作为对等网络， 为检测任 务提供互补信息， 在语义分割辅助分支中， 3DMF  Net输出大小为1024 ×16×16的2D特征图， 经过如FCN中相同的反卷积操作完成上采样， 得到和输入切片相同尺寸的特征图， 再通过 Softmax层进 行处理得到网络预测的二分类结果， Softmax层能够输出每个像素属于病灶和 背景的概 率， 进而实现图像分割效果； C、 然后将分割结果和检测结果进行融合成最终检测结果， 且在早期阶段， 维度是的3D 特征图通过堆叠操作生成的2D特征图， 为了在特征融合前对 特征图中的通道和空间进行关 注， 优先考虑任务相关信息并减弱无关信号， 3D上下文特征融合模块引入了SimAM方法作为 通道‑空间注意力机制， 且SimAM基于神经科学 理论， 以不增加额外参数的方式， 直接从当前 神经元中估计出通道和空间的完整三维权重， 对原有特征图进行加权生成加权特征图， 随 后， 3DFB和3DFN以不同的方式对其进行处 理； D、 接着3DFB主要关注Backbone特征提取过程 中的3D上下文特征融合。 为了不影响主干 网络后续阶段的特征提取， 3DFB在融合上下文信息时， 不改变特征的原始维度， 再通过MC通 道的1×1逐通道卷积操作， 之后又通过组转换模块group  transform  module、 GTM生成M个 特征图， 然后3DFN再通过C通道的1 ×1卷积改变加权特征图通道维度， 压缩并融合特征图为 C*H丿*W丿， 接着GTM将2D特征以M组通道为C的卷积层 进行1×1逐点卷积， 融合所有相邻特征， 最终得到的3D特 征图， 以适用于后续主干网络的特 征提取任务； E、 再使用SLIC算法来生成超像素， 超像素可以将原始图像中具有相似纹理、 灰度的相 邻像素聚合为有一定视觉意义的不规则像素块， 随后， 再联合这些具有低水平外观线索的 原子性区域和当前掩模概率， 使用边界框信息作为约束， 在迭代过程中逐步细化伪掩码， 即 可建立小肠间质瘤的检测模型； F、 最后实施三项实验对小肠间质瘤的检测模型中的3DMF  Net作为病灶特征提取网络 和特征融合网络在相关模型方法中的有效性进 行探究、 3DFB和3DFN在3D上下文特征融合方 式上的优 越性进行验证以及小肠环境中假阳性检测结果产生的影响进行探究。 2.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤A中， 将样 本数据集以50％的概率对切片进 行水平翻转 或左右翻转， 同时将切片边缘的 黑色背景进行裁剪， 且每个批次包含8个训练样本， 每个样本由3张三通道图像进行3D上下 文融合， 再使用SGD优化器对模型进行12个epoch的迭代训练， 且基础学习率为0.001， 学习 动量为0.9， 权重衰减为0.0001， 使用warm  up线性学习策略调整学习率， 在第8个epoch和第 11个epoch后分别缩减为原来的1/10。 模型采用PyTorch实现， 在两张型号为NVIDIA  TITAN  RTX的显卡上进行， 每张为24GB显存。 3.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤A中， 检测分支和弱监督分割辅助分支进行多任务学习， 并使用更精确的像素级监督信 号对检测分支进行辅助， 其整体损失函数如下公式所示：权　利　要　求　书 1/3 页 2 CN 114998303 A 2其中， 为Faster  RCNN中的检测分支损失函数， 系数β ＝0.95用于平衡检测和分割的 贡献。 4.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤B中， 为了评价预测结果并进一步优化网络， 语义分割辅助分支的损失函数如下公式所 示： 其中， M(·)代表语义分割分支， 代表伪分割掩码标签， 公式中平衡系数ρ 取值为 0.3。 5.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤E中， 将切片中与当前伪分割掩码 重叠或相邻的超像素映射为一个带权无向图G＝<V， E >， V和E分别 是节点和边的集合， 将病灶区域的节点和背景区域的节点进行分割， 考虑到当 前伪掩模中的所有超像素， 对其进行二进制标签处理， 再细化原有的二进制伪分割掩码， 然 后将其作为监督信号， 在下一个epoch中参与网络的训练， 该分支的分割预测结果将与检测 结果通过WBF算法进行融合以提供准确的输出， 6.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤F中， 探究3DMFNet作为病灶特征提取网络和特征融合网络在相关模 型方法中的有效性 时， 实验一分别在多种模型框架下进行了对比实验， 包括FasterRCNN、 RetinaNet、 MaskRCNN 和CenterNet， 其中， FasterRCNN是经 典的两阶段检测方法， RetinaNet是先进的基于锚框的 单阶段检测方法， MaskRCNN是改进的两阶段检测方法， CenterNet是具有代表性的Anchor ‑ Free检测方法， 以上方法均为通用自然图像中常见的目标检测方法， 为了保证实验的广泛 性， 本实验也在3DCE_Att和MULAN中进行了对比实验， 3DCE_Att和MULAN是病灶检测任务中 先进的两阶段检测方法， 具有与本文方法不同的3D上下文 特征融合策略， 在实验设置方面， 本实验使用ResNet ‑101或DenseNet ‑121网络作为所需对比检测器的Backbone部分， 使用 FPN或*FPN作为 Neck部分， *FPN代 表仅使用FPN中Fi nestLevel上的特 征图。 7.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤F中， 验证3DFB和3DFN在3D上下文特征融合方式上的优越性时， 实验二将其与之前的3D 上下文融合方法进行了多方面的对比实验， 本实验在MULAN检测框架下进行， MULAN原始主 干网络和特征提取网络分别 为DenseNet ‑121和*FPN， 本次实验共设置了 四类对照组： 1、 没 有上下文切片的融合； 2、 仅在通道上对3张上下文切片进行简单融合； 3、 使用文献中的 3DContextFusion方法在Backbone和Neck的最后阶段对多张上下文切片的特征进行融合； 4、 使用本文所提出方法3DFB和3DFN在Backb one和Neck的不同阶段对多张上下文切片的特 征进行融合； 8.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法， 其特征在于： 所述在 步骤F中， 探究小肠环境中假阳性检测结果产生的影响时， 进行了本次消融实验， 实验结果 如表4.2所示， 其中3D代表3DMFNet， S代表弱监督语义分割辅助分支， G代表基于图方法的弱权　利　要　求　书 2/3 页 3 CN 114998303 A 3