(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211073054.1 (22)申请日 2022.09.02 (71)申请人 爱辅科技 （上海） 有限公司 地址 200438 上海市杨 浦区国安路758弄49 号901室 (72)发明人 汪涛　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 王雅静 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/94(2022.01) G06V 20/40(2022.01) (54)发明名称 一种胚胎发育过程视频的自动标注方法及 系统 (57)摘要 本发明涉及一种胚胎发育过程视频的自动 标注方法及系统， 通过线性插值算法对胚胎发育 过程中各个阶段的第一帧图像及最后一帧图像 进行标注， 就可以获得该胚胎发育阶段过程中的 胚胎坐标信息。 本发明的自动标注系统能够方便 医师进行标签， 医师只需要对该视频中的八个阶 段， 每个阶段分别标记首尾两帧图像坐标， 就可 以利用本专利提出的线性插值方法， 对每个阶段 中的图像进行打标签， 生 成包含胚胎类别以及坐 标信息的标签 。 权利要求书2页 说明书6页 附图3页 CN 115439714 A 2022.12.06 CN 115439714 A 1.一种胚胎发育过程视频的自动标注方法， 其中所述胚胎阶段视频通过对胚胎进行延 时摄影获得， 其特 征在于， 所述方法包括： 胚胎图像分类步骤S10： 在所述胚胎图像分类步骤中， 将所述胚胎发育过程视频划分成 与M个胚胎发育阶段对应的M个胚胎发育阶段视频子集， 每个所述胚胎发育阶段视频子集G1 ～GM包括至少3帧具有同一胚胎特 征的胚胎图像； 胚胎图像提取步骤S20： 在所述胚胎图像提取步骤中， 提取所述胚胎发育阶段视频子集 的首帧图像(N1)和尾帧图像(N2)； 胚胎图像预标记步骤S30： 在所述胚胎图像预标记步骤中， 标记所述首帧图像(N1)中胚 胎特征的初始包围盒(B1)和所述尾帧图像(N2)中所述胚胎特 征的最终包围盒(B2)； 胚胎图像自动标注步骤S40： 在所述胚胎图像自动标注步骤中， 通过插值算法利用所述 初始包围盒(B1)和所述最终包围盒(B2)获取所述胚胎 发育阶段视频子集的第n 帧图像(N) 中所述胚胎特征的中间包围盒(B)， 其中1＜n＜Ns， 其中Ns为所述胚胎发育阶段视频子集总 帧数。 2.根据权利要求1所述的自动标注方法， 其特 征在于： 所述胚胎特 征为胚胎圆心、 胚胎原核、 胚胎核仁或胚胎极体。 3.根据权利要求1所述的自动标注方法， 其特 征在于： 所述初始包围盒(B1)、 所述中间包围盒(B)和所述最终包围盒(B2)分别由四个二维顶 点坐标Q(x,y)限定 。 4.根据权利要求3所述的自动标注方法， 其特 征在于： 在所述胚胎图像自动标注步骤中， 计算所述中间包围盒(B)的顶点 坐标Q， 且 其中Q1为所述初始包围盒的对应顶点 坐标， Q2为所述最终包围盒的对应顶点 坐标。 5.根据权利要求 4所述的自动标注方法， 其特 征在于： 所述自动标注方法还包括胚胎图像标注校验步骤S50， 其中在所述初始包围盒(B1)、 所 述中间包围盒(B)和所述最终包围盒(B2)的相同长宽比例位置处分别设置初始校验点 (P1)、 中间校验点(P)和最终校验点(P2)， 并且当所述中间校验点(P)在所述中间包围盒(B) 构成的坐标系中的坐标值q超过阈值时， 更新所述中间包围盒(B)的坐标Q； 所述初始校验点(P1)在所述初始包围盒(B1)构成的坐标系中的坐标值(q1)和所述最 终校验点(P2)在所述 最终包围盒(B2)构成的坐标系中的坐标值(q2)设定 。 6.一种胚胎发育过程视频的自动标注系统， 包括视频接收模块(10)、 胚胎图像分类模 块(20)、 图像提取模块(3 0)、 交互预标注模块(40)和自动标注模块(5 0)， 其特征在于： 所述视频接收模块(10)用于接收通过对胚胎进行覆盖多个胚胎阶段的延时摄影获取 的胚胎发育过程视频； 所述胚胎图像分类模块(20)用于将所述胚胎发育过程视频划分成与M个胚胎发育阶段 对应的M个胚胎发育阶段视频子集(G1～GM)， 每个所述胚胎发育阶段视频子集包括至少3帧 具有同一胚胎特 征的胚胎图像； 所述图像提取模块(30)用于提取所述胚胎发育阶段视频子集的首帧图像(N1)和尾帧 图像(N2)；权　利　要　求　书 1/2 页 2 CN 115439714 A 2所述交互预标注模块接收所述首帧图像(N1)和所述尾帧图像(N2)以及用户的交互输 入， 以标记所述首帧图像(N1)中胚胎特征的初始包围盒(B1)和所述尾帧图像(N2)中所述胚 胎特征的最终包围盒(B2)； 所述胚胎图像自动标注模块利用插值算法通过所述初始包围盒(B1)和所述最终包围 盒(B2)获取所述胚胎发育阶段视频子集的第n帧图像(N)中所述胚胎特征的中间包围盒 (B)， 其中1＜n＜Ns， 其中Ns为所述胚胎发育阶段视频子集总帧数。 7.根据权利要求6所述的自动标注系统， 其特 征在于， 所述初始包围盒(B1)、 所述中间包围盒(B)和所述最终包围盒(B2)分别由四个二维顶 点坐标Q(x,y)限定， 所述中间包围盒(B)的顶点 坐标Q为： 其中Q1为所述初始包围盒的对应顶点 坐标， Q2为所述最终包围盒的对应顶点 坐标。 8.根据权利要求7 所述的自动标注系统， 其特 征在于， 所述自动标注系统还 包括胚胎图像标注校验 模块(60)， 所述胚胎图像标注校验模块(60)在所述初始包围盒(B1)、 所述中间包围盒(B)和所述 最终包围盒(B2)的相同长宽比例位置处分别设置初始校验点(P1)、 中间校验点(P)和最终 校验点(P2)， 并且当所述中间校验点(P)在所述中间包围盒(B)构成的坐标系中的坐标值q 超过阈值时， 更新所述中间包围盒(B)的坐标Q； 所述初始校验点(P1)在所述初始包围盒(B1)构成的坐标系中的坐标值(q1)和所述最 终校验点(P2)在所述 最终包围盒(B2)构成的坐标系中的坐标值(q2)设定 。权　利　要　求　书 2/2 页 3 CN 115439714 A 3