(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698555.2 (22)申请日 2022.06.20 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 曹杰　姜磊　郝群　王盈淇　黄雪　 (74)专利代理 机构 北京新科华领知识产权代理 事务所(普通 合伙) 16115 专利代理师 吴变变 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/70(2022.01) G06N 3/04(2006.01) (54)发明名称 基于多尺度特征提取与融合的点云分割方 法、 装置及 介质 (57)摘要 本发明公开一种基于多尺度特征提取与融 合的点云分割方法、 装置及介质， 所述方法包括 对获取的点 云数据根据不同尺度特征， 分别采用 点级别、 小尺度、 中尺度、 大尺度这四种尺度的卷 积核对特征进行捕获， 得到四个不同尺度的特征 图输出， 并进行融合得到输出特征， 通过SE模块 在通道维度上对提取到的不同特征进行自适应 融合， 扩大感受野， 进行三维空间特征融合， 得到 自适应特征选择后的特征图； 对原始的特征图和 自适应特征选择后的特征图进行一次加权相加， 根据预设的加权系数， 将加权相加结果作为最终 输出。 本发 明通过改进传统语义 分割与深度学习 方法， 可以快速准确地完成多目标复杂场景下的 物体点云 分割问题。 权利要求书3页 说明书8页 附图3页 CN 115512100 A 2022.12.23 CN 115512100 A 1.一种基于多尺度特 征提取与融合的点云 分割方法， 其特 征在于， 所述方法包括： 对获取的点云数据根据不同尺度特征， 分别采用点级别、 小尺度、 中尺度、 大尺度这四 种尺度的卷积核对特 征进行捕获， 得到四个不同尺度的特 征图输出， 分别为x0,x1,x2,x3； 将小尺度、 中尺度、 大尺度的特征图输出拼接在一起， 送入Softmax激活函数， 得到拼接 后的特征图为： Ucat＝cat(U1,U2,U3)  (2) 式中， Ucat∈RN×3， R代表域， N代表点数， 3为特征维度， 其中获得的不同尺度代表的注意 力权重表示为： S＝softmax(Ucat)  (3) 将不同尺度的特征根据S∈RN×3进行元素相加， 从而获取融合后的多尺度特征； 将融合 后的多尺度特征与经点级别的卷积核 所捕获到的特征进行元素相加， 得到一个新的拼接特 征， 再将新的拼接特征进行一次卷积操作， 得到不同尺度特征提取后根据权重自选择融合 输出特征O： O＝Conv{x0+x1×S[:,0]+x2×S[:,1]+x3×S[:,2]}  (4) 基于所述输出特征O， 通过SE模块在通道维度上对提取到的不同特征进行自适应 融合， 扩大感受野， 进行三维空间特 征融合， 得到自适应特 征选择后的特 征图； 对原始的特征图和自适应特征选择后的特征图进行一 次加权相加， 根据 预设的加权系 数， 将加权相加结果作为 最终输出。 2.根据权利 要求1所述的方法， 其特征在于， 所述小尺度卷积核设置为1*1*1， 中尺度卷 积核设置为2*2*2， 大尺度卷积核设置为4*4*4， 所述点级别的卷积核设置为子流形卷积， 所 述子流形 卷积的卷积核大小为1， 设置卷积步长为1。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将小、 中、 大尺度的特征图输出x1,x2,x3作为多尺度特征提取模块的输出传递给后续的 特征融合模块， 为避免将不同尺度特征采用相同权重， 将大尺度、 中尺度、 小尺度的特征进 行相加得到中间特 征图X， 然后使用三个不同的多层感知器对中间特 征图X进行变换： fi:X→U∈RN×4(i＝1,2,3)  (1) 式中的每一个fi为不同的卷积层、 激活函数层以及批归一 化层的结合。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述输出特征O， 通过SE模块在通 道维度上对提取到的不同特征进 行自适应融合， 扩 大感受野， 进 行三维空间特征融合， 得到 自适应特 征选择后的特 征图， 包括： 对所述输出特征O进行全局平均池化， 然后对输出的1 ×1×C数据再进行两级全连接操 作， 最后用Sigmoi d激活函数限制到[0， 1]的范 围， 再将该值作为scale乘到O的C个通道上， 作为下一级的输入特 征； 通过控制scale的大小， 把重要的特征增强， 自适应地选择对最终的结果有贡献的特 征， 将不重要的特 征减弱， 从而增强提取的特 征指向性。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述输出特征O进行全局平均池化 (Global Average Pooling)， 然后对输出的1 ×1×C数据再进行两级全连接操作， 最后用 Sigmoid激活函数限制到[0， 1]的范围的计算过程如下：权　利　要　求　书 1/3 页 2 CN 115512100 A 2式中， δ代表ReLU激活函数， σ 代表SigMoid激活函数， uc(i,j)代表输入特征图在任一点 的特征， H、 L代表特征图的高度与宽度， W代表线性变换， 其中 代表两 次线性变换， 通过第一次线性变换， 将特征通道数目从C压缩至 得到降低模型复杂度的 结果， 其中r为降维比例系数； 为将第一步中压缩的通道数恢复到原始通道数目， 再进行第 二次线性变换， 最后控制scale， 对于不同通道的特征根据 公式(3)计算得到的注意力权重 来自适应融合。 6.根据权利要求5所述的方法， 其特 征在于， 所述加权系数设为0.4。 7.一种基于多尺度特 征提取与融合的点云 分割装置， 其特 征在于， 所述装置包括： 获取模块， 被配置为对获取的点云数据根据不同尺度特征， 分别采用点级别、 小尺度、 中尺度、 大尺度这四种尺度的卷积核对 特征进行捕获， 得到四个不同尺度的特征图输出， 分 别为x0,x1,x2,x3； 融合模块， 被配置为将小尺度、 中尺度、 大尺度的特征图输出拼接在一起， 送入Softmax 激活函数， 得到拼接后的特 征图为： Ucat＝cat(U1,U2,U3)  (2) 式中， Ucat∈RN×3， R代表域， N代表点数， 3为特征维度， 其中获得的不同尺度代表的注意 力权重表示为： S＝softmax(Ucat)  (3) 将不同尺度的特征根据S∈RN×3进行元素相加， 从而获取融合后的多尺度特征； 将融合 后的多尺度特征与经点级别的卷积核 所捕获到的特征进行元素相加， 得到一个新的拼接特 征， 再将新的拼接特征进行一次卷积操作， 得到不同尺度特征提取后根据权重自选择融合 输出特征O： O＝Conv{x0+x1×S[:,0]+x2×S[:,1]+x3×S[:,2]}  (4) 自适应融合模块， 被配置为基于所述输出特征O， 通过SE模块在通道维度 上对提取到的 不同特征进 行自适应融合， 扩大感受野， 进 行三维空间特征融合， 得到自适应特征选择后的 特征图； 计算模块， 被配置为对原始的特征图和自适应特征选择后的特征图进行一次加权相 加， 根据预设的加权系数， 将加权相加结果作为 最终输出。 8.根据权利要求7 所述的装置， 其特 征在于， 所述获取模块被进一 步配置为： 将小、 中、 大尺度的特征图输出x1,x2,x3作为多尺度特征提取模块的输出传递给后续的 特征融合模块， 为避免将不同尺度特征采用相同权重， 将大尺度、 中尺度、 小尺度的特征进 行相加得到中间特 征图X， 然后使用三个不同的多层感知器对中间特 征图X进行变换： fi:X→U∈RN×4(i＝1,2,3)  (1) 式中的每一个fi为不同的卷积层、 激活函数层以及批归一 化层的结合。 9.根据权利要求8所述的装置， 其特 征在于， 所述自适应融合模块被进一 步配置： 对所述输出特征O进行全局平均池化(Global  Average Pooling)， 然后对输出的1 ×1权　利　要　求　书 2/3 页 3 CN 115512100 A 3