临床小儿外科杂志  2024, Vol. 23 Issue (1): 89-92  DOI: 10.3760/cma.j.cn101785-202211044-018

引用本文  

郭尚玉, 王达辉. 结合人工智能诊断青少年特发性脊柱侧弯的新思路[J]. 临床小儿外科杂志, 2024, 23(1): 89-92.   DOI: 10.3760/cma.j.cn101785-202211044-018
Guo SY, Wang DH. Combining artificial intelligence for diagnosing adolescent idiopathic scoliosis[J]. J Clin Ped Sur, 2024, 23(1): 89-92.   DOI: 10.3760/cma.j.cn101785-202211044-018

基金项目

科学技术部高技术研究发展中心科技创新2030——"新一代人工智能"重大项目(2021ZD0113405)

通信作者

王达辉, Email: wangdahui@fudan.edu.cn

文章历史

收稿日期:2022-11-21
结合人工智能诊断青少年特发性脊柱侧弯的新思路
郭尚玉 , 王达辉     
复旦大学附属儿科医院骨科, 上海 201102
摘要:青少年特发性脊柱侧弯(adolescent idiopathic scoliosis, AIS)是脊柱侧弯的最常见类型, 多发生在青春期, 表现为脊柱向侧方弯曲>10°。如能早期诊断、及时干预, 可显著减少并发症及改善预后。对于AIS的校园筛查虽然备受争议, 但亦被广泛推行。目前评估脊柱侧弯的最基本方法是使用脊柱侧弯测量尺在Adam前屈试验中进行临床检查。金标准仍然是1948年被提出的基于X线平片人工测量Cobb角, 但该诊断方式具有辐射性, 且十分依赖检查者的专业能力, 因此寻找灵敏度高、特异度高、无辐射、高效的早期筛查及诊断方法尤为迫切。本文围绕基于超声系统的三维脊柱成像、基于三维相机或传感器的脊柱侧弯检测系统、平面数码相机结合人工智能、基于计算机视觉的姿势分析系统等方面对人工智能应用于AIS筛查、诊断的研究进展进行综述, 为相关临床科学研究及发展方向提供新思路。
关键词青少年特发性脊柱侧弯    人工智能    筛查    早期诊断    非辐射    综述    
Combining artificial intelligence for diagnosing adolescent idiopathic scoliosis
Guo Shangyu , Wang Dahui     
Department of Orthopedics, Children's Hospital of Fudan University, Shanghai 201102, China
Abstract: As the most common type of scoliosis, adolescent idiopathic scoliosis (AIS) occurs predominantly in adolescents. Lateral spinal curvature >10° is the most common type of scoliosis. An early diagnosis and a timely intervention are essential for reducing complications and optimizing outcomes. Although mass screening for AIS has remained controversial at schools, it is also widely implemented. Currently a routine tool for evaluating scoliosis is using a scoliometer for Adam test. First proposed in 1948, manual radiographic measurement of Cobb angle has remained a gold standard. However, this diagnostic modality is radioactive and it relies heavily on the professional capability of an examiner. Thus it is quite imperative to seek early screening and diagnostic modalities with high sensitivity, high specificity, non-radiation and high efficiency. In recent years, with a rapid development of artificial intelligence (AI), it has also accelerated the progress of medical imaging and diagnostics. This review focused upon three-dimensional spinal imaging based upon ultrasound, scoliosis detection system based upon three-dimensional camera or sensor, combination of two-dimensional digital camera and AI and posture analysis system based upon computer vision for applying artificial intelligence to AIS screening. It was intended to offer new rationales for clinical scientific researches and development directions.
Key words: Adolescent Idiopathic Scoliosis    Artificial Intelligence    School Scoliosis Screening    Early Diagnosis    Non-Radiation    Review    

青少年特发性脊柱侧弯(adolescent idiopathic scoliosis, AIS)是脊柱畸形的最常见类型,多发生在青春期,表现为脊柱向侧方弯曲>10°。AIS在女性中更常见,青少年发病率为1% ~4%[1]。中度AIS(25° ~40°)主要采用非手术治疗,即使用支具来阻止病情进展。重度AIS(>45°)需要手术矫正,以防止日后体态畸形、背痛和肺功能障碍等合并症[2-3]。由于AIS的快速进展性,早期的诊断和治疗显得尤为重要,需要我们对青少年进行早期AIS筛查和及时监测。目前评估脊柱侧弯最基本的方法是使用脊柱侧弯测量尺在Adam前屈试验中进行体格检查[4-5]。脊柱侧弯诊断的金标准仍然是1948年提出的通过X线平片人工测量Cobb角[6]。这些方法虽然有效,但存在以下不足之处:①AIS的评估受主观因素的影响较大,十分依赖于检查者的专业能力;②检测成本高,在校园筛查等类似普查中会因假阳性率过高、耗费大量人力物力而受到限制[7-8];③存在辐射危害。有研究表明,平均每例AIS患者在治疗期间拍摄24.7张X线片,平均累积辐射剂量为10.8 cGy,这可以使女性患者死于乳腺癌的风险增加1.7倍[9-12]。随着人工智能的快速发展和其与医疗领域的广泛结合,目前,基于深度学习系统的脊柱侧弯监测、建模方法在AIS及其相关领域也开始蓬勃发展[13-16]。本文将从基于超声系统的三维脊柱成像、基于三维相机或传感器的脊柱侧弯检测系统、平面数码相机与人工智能的结合、基于计算机视觉的姿势分析系统等领域,介绍将人工智能与AIS筛查、诊断结合的研究进展。

一、基于超声系统的三维脊柱成像

超声具有广泛的临床应用,因为其便携、经济、无辐射且可以进行实时监测[17-18]。与传统B超相比,三维超声可以直接显示三维体积的任意平面,有助于更准确地观察器官和病灶的形状、大小和位置[17-18]。三维成像的脊柱形状与X线摄影获得的形状吻合良好,使用三维超声与使用X线平片测得的Cobb角之间差异无统计学意义,具有很好的可靠性和一致性,此种新方法解决了传统B超建模过程中耗时和效能低下的情况,使术中成像成为可能。

Lou等[19]使用新开发的手持式三维超声系统对脊柱成像,通过在扫描过程中,将超声信息与扫描仪的位置和方向同步,以无线方式传输到电脑,并使用特定的软件实时重建脊柱三维图像(脊柱三维图像的重建过程<3 s、尺寸误差<1 mm、误差角度<3°)。2021年Hisaund等[20]联合超声和弹性成像表现呼吸过程中胸廓空间的机械特性,通过测量呼吸周期不同阶段胸廓空间的机械特性,显示AIS组和对照组之间的差异。这种方法为探索重度AIS患儿呼吸的生物力学特征开辟了道路。此外,Takács等[21]提出将X线平片与ZEBRIS相结合(ZEBRIS: Zebris Medizintechnik GmbH, Isny, Germany), 包含三维测量设备,使用点标记器、参考标记器、定向麦克风等基于超声来识别脊柱的一种非侵入性脊柱运动分析系统),通过将每年多次随访拍X线片的检查方式换为ZEBRIS,从而减少对患者的辐射暴露[22-24]。研究纳入19名AIS儿童,对比其在X线片上Cobb角的大小和ZEBRIS系统中的测量角度,通过Bland-Altman方法确定的重测信度和准确性分析得出,在脊柱后凸和脊柱侧弯的测量中,两种检测方法得到的结果具有显著的相关性。将无辐射性的B超检查系统应用于AIS患儿多次随访观察和评估脊柱侧弯进展,在出现脊柱侧弯角度临界值的情况下再建议患儿拍摄X线片,不乏是一种新的临床诊疗思路。但相关试验参加人数不多,结果的有效性应纳入更多受试者进一步评估;对于矢状面曲率较大的患者,部分椎体在重建的冠状面上无法显示;用于诊断Cobb角更大的严重脊柱侧弯患者和肥胖患者的有效性有待进一步研究。

二、基于三维相机或传感器的脊柱侧弯检测系统

1. 三维深度传感器成像系统:该系统由三维深度传感器(Xtion Pro Live, 中国台北华硕电脑公司)和电脑(Core-i7, 7200U-16 GB CF-SZ5,日本东京松下公司)组成[25]。深度传感器的深度测量范围为0.8~3.5 m;测量角度为45°、58°和70°的水平、垂直和对角视角;深度图像尺寸为320×240像素和640×480像素;空间采样分辨率为2.8 mm、1.4 mm、2.2 mm的水平、垂直、对角线距离。该系统可在安装外部三维深度传感器后立即使用,可在几分钟内完成设置,从扫描到结果的平均时间为1.5 s。成像系统检测的具体操作为:受试者双脚站立在地面图标指定位置行Adam试验。由三维深度传感器扫描背部表面;通过提取目标区域来自动进行捕获和软件分析(目标区域为患者的髂前上棘水平连线和肩膀作为上下缘的矩形平面)。Kokabu等[26]于2018年在日本进行的一项前瞻性多中心队列研究中,探索了三维深度传感器成像系统识别AIS的可靠性,研究纳入了170例疑似AIS患儿,通过深度传感器成像系统评估患儿背部的不对称性,获得不对称指数,并以金标准X线摄片测量Cobb角作为对照。结果显示:深度传感器成像系统对于AIS的预测,灵敏度与特异度分别为0.97和0.93;如果不对称指数连续3次超过临界值则经金标准确诊为AIS的概率为98.9%。不对称指数与Cobb角的相关性也优于Adam试验中用脊柱尺的测量值(相关系数分别为0.85、0.68)[27]。但是该系统使用时仍需医务人员引导受试者在左右、前后方向及躯干旋转角度等方面调整体位,达到标准位置,还需要进一步的大规模学校脊柱侧弯筛查和临床试验来对其性能和临床有效性加以评估。

2. 三维人体扫描仪:类似于游戏机中使用的Kinect系统,该系统核心是一个ASUS Xtion Pro Live RGB-D传感器,由一个用于捕获RGB图像的颜色传感器和一个深度传感器组成,使用红外激光投影仪和红外相机同时获得场景的深度测量值。传感器安装在一个扫描臂上,同时受试者站立或坐位,手臂略微伸展,该扫描臂的运动轨迹为以人为中心、直径1.4米的圆形。在扫描期间大约7秒内围绕受试者旋转360°,以30 Hz的实时帧速率捕获分辨率为640×480像素的彩色图像和深度配置文件,分辨率低于1.0 mm。随后使用专门的软件包进行数据处理。扫描和重建总时间约15 s。分析软件不仅可以处理三维表面扫描结果,还可以处理X射线和CT扫描图片。2019年Roy等[28]通过对比25例受试者的CT图像验证了此种方法的有效性并表示测量软件对轻度至中度的脊柱侧弯拟合效果较好,而对于重度脊柱侧弯则偏差较多,并提出如果患者在第一次咨询骨科专家时出现脊柱侧弯迹象,除了常规的X射线图像,也应使用身体扫描仪对躯干进行三维扫描。在后续的随访观察中,可以通过三维身体扫描仪(非辐射性)记录脊柱的发展轨迹,并以此为参照来帮助临床医师判断是否有必要进行另一次X线检查,从而减少患者的放射暴露。

3. 深度学习算法与热图相结合:2019年Yang等[29]开发并验证了使用裸背图像进行AIS筛查的深度学习算法。该算法在检测AIS严重程度的准确性方面优于人类专家(AIS严重程度第1组,Cobb角<10°;第2组,10°≤Cobb角<20°;第3组,20°≤Cobb角<45°;第4组,Cobb角≥45°)。未来可以应用于常规脊柱侧弯筛查和没有辐射暴露的预处理病例的定期随访。

4. 莫尔地图成像结合人工智能:在日本,莫尔成像系统早已被用于AIS的校园筛查。莫尔成像系统要求光源方向垂直于目标物体表面,这在躯体向前弯曲时很难做到;而且对带状图案的解释只是定性的,无法从中得出确切的Cobb角,筛查结果仍需要专家的诊断,因此误报率达32% ~60%[30-32]。2019年Watanabe等[33]改进了莫尔成像系统,创建一个自动化的、与Cobb角兼容的、高度可靠的定量测量软件。该AIS筛查系统能够使用卷积神经网络从莫尔图像自动显示脊柱排列情况、椎体位置(Cobb角和椎体旋转角)。研究结果表明,改良后的莫尔图像的预测结果对于轻度AIS患者更为准确。

三、平面数码相机与人工智能的结合

上述三维相机或传感器的AIS检测系统需要特殊的设备,且价格昂贵,可能在许多国家和地区普及困难,因此2021年Akazawa等[34]探索使用基于个人电脑和智能手机附带的平面数码相机进行AIS筛查系统的开发。具体操作为:在Windows 10系统上运行支持AIS诊断的应用程序(Cobb First, Its Corporation, Kawasaki, Japan),将标准平面数码相机获得的受试者的照片导入该程序,将每个图像转为二进制图像数据,通过识别皮肤和背景颜色的差异度(首选背景颜色是蓝色或黑色,以增强与患者肤色的感知对比),根据差异度的比例显示绿色、黄色和红色,并以此计算得出患儿的脊柱侧弯严重程度。由于设备及技术的简单易获取,该方法是目前最有可能普及至非专业人士筛查脊柱侧弯(如家庭自检)的新方法。但是研究仍缺少实验数据的支持,并未明确二进制数据的截断值和金标准Cobb角之间的相关系数等,以及受光线等影响而可能导致的测量偏倚,其可重复性仍需要未来大量数据的进一步验证。

四、基于计算机视觉的姿势分析系统

2022年Kim等[35]通过视觉的姿势分析系统筛查脊柱姿势畸形,该系统配备Kinect传感器和相关分析软件。研究纳入因素包括肩高差、骨盆高差和双下肢不等长等。研究共纳入2017—2018年间的140名受试者。具体操作为:受试者站在Kinect传感器前约2 m,面朝镜头,原地踏步约10步同时配合手臂的自然摆动。相关分析软件可以识别出关节并确定参与者的骨骼结构和步态。该分析软件用于判断脊柱侧弯的算法是通过对参与者的眼睛、肩膀和骨盆的连接线来设置身体的中心线。通过动态相机获取参与者站立姿势的骨骼图像,分析每个身体部位(身体中心线、肩部、骨盆和脚踝)上主要点的长度和角度差异。研究结果表明,筛查结果与影像学结果的一致性达94%。基于计算机视觉的姿势分析系统是一种有效且方便的AIS筛查工具,应用于人群筛查的舒适度更佳,接受度更高。目前AIS的主要确诊方法是X线片测量Cobb角;筛查方式主要是Adam试验结合脊柱测量尺人工测量。人工智能的应用仍处于实验研究阶段,受技术和特殊设备的限制,尚未能广泛推广,但未来可期。其中基于超声系统的三维脊柱成像因设备的特殊性和对B超医师的要求较高,未来有望在医院开展研究并推广应用于AIS诊断;基于三维相机或传感器的脊柱侧弯检测系统通过与人工智能的高度结合,使其在院外进行高效筛查成为可能;至于平面数码相机与人工智能的结合、基于计算机视觉的姿势分析系统这两种方式,由于相关数据不足,其有效性、准确性及结果的稳定性有待进一步研究。总之,人工智能的飞速发展推动着医学诊断的进步,具有广阔且光明的应用前景,使更加安全、更加便捷的医学诊疗服务成为可能。

利益冲突  所有作者声明不存在利益冲突

参考文献
[1]
Cheng JC, Castelein RM, Chu WC, et al. Adolescent idiopathic scoliosis[J]. Nat Rev Dis Primers, 2015, 1: 15030. DOI:10.1038/nrdp.2015.30
[2]
Hresko MT. Clinical practice.Idiopathic scoliosis in adolescents[J]. N Engl J Med, 2013, 368(9): 834-841. DOI:10.1056/NEJMcp1209063
[3]
Sharma S, Londono D, Eckalbar WL, et al. A PAX1 enhancer locus is associated with susceptibility to idiopathic scoliosis in females[J]. Nat Commun, 2015, 6: 6452. DOI:10.1038/ncomms7452
[4]
Grivas TB, Vasiliadis ES, Mihas C, et al. Trunk asymmetry in juveniles[J]. Scoliosis, 2008, 3: 13. DOI:10.1186/1748-7161-3-13
[5]
Kotwicki T, Kinel E, Stryla W, et al. Discrepancy in clinical versus radiological parameters describing deformity due to brace treatment for moderate idiopathic scoliosis[J]. Scoliosis, 2007, 2: 18. DOI:10.1186/1748-7161-2-18
[6]
Cobb JLCJRCJ. Outlines for the study of scoliosis[J]. J Bone Joint Surg Am, 1948, 5: 261-275.
[7]
Hines T, Roland S, Nguyen D, et al. School scoliosis screenings: family experiences and potential anxiety after orthopaedic referral[J]. Spine (Phila Pa 1976), 2015, 40(21): E1135-E1143. DOI:10.1097/BRS.0000000000001040
[8]
Fong DYT, Lee CF, Cheung KMC, et al. A meta-analysis of the clinical effectiveness of school scoliosis screening[J]. Spine (Phila Pa 1976), 2010, 35(10): 1061-1071. DOI:10.1097/BRS.0b013e3181bcc835
[9]
Luan FJ, Zhang J, Mak KC, et al. Low radiation X-rays: benefiting people globally by reducing cancer risks[J]. Int J Med Sci, 2021, 18(1): 73-80. DOI:10.7150/ijms.48050
[10]
Vrtovec T, Pernus F, Likar B. A review of methods for quantitative evaluation of spinal curvature[J]. Eur Spine J, 2009, 18(5): 593-607. DOI:10.1007/s00586-009-0913-0
[11]
Doody MM, Lonstein JE, Stovall M, et al. Breast cancer mortality after diagnostic radiography: findings from the U.S.Scoliosis Cohort Study[J]. Spine (Phila Pa 1976), 2000, 25(16): 2052-20636. DOI:10.1097/00007632-200008150-00009
[12]
Knott P, Mardjetko S, Nance D, et al. Electromagnetic topographical technique of curve evaluation for adolescent idiopathic scoliosis[J]. Spine (Phila Pa 1976), 2006, 31(24): E911-E915. DOI:10.1097/01.brs.0000245924.82359.ab
[13]
李芹, 刘文英. 人工智能在小儿外科领域的应用及展望[J]. 中华小儿外科杂志, 2021, 42(1): 76-81.
Li Q, Liu WY. Applications and future prospects of artificial intelligence in pediatric surgery[J]. Chin J Pediatr Surg, 2021, 42(1): 76-81. DOI:10.3760/cma.j.cn421158-20190813-00496
[14]
Horng MH, Kuok CP, Fu MJ, et al. Cobb angle measurement of spine from X-ray images using convolutional neural network[J]. Comput Math Methods Med, 2019, 2019: 6357171. DOI:10.1155/2019/6357171
[15]
Wang LS, Xu QH, Leung S, et al. Accurate automated Cobb angles estimation using multi-view extrapolation net[J]. Med Image Anal, 2019, 58: 101542. DOI:10.1016/j.media.2019.101542
[16]
Wu HB, Bailey C, Rasoulinejad P, et al. Automated comprehensive Adolescent Idiopathic Scoliosis assessment using MVC-Net[J]. Med Image Anal, 2018, 48: 1-11. DOI:10.1016/j.media.2018.05.005
[17]
Fenster A, Downey DB, Cardinal HN. Three-dimensional ultrasound imaging[J]. Phys Med Biol, 2001, 46(5): R67-R99. DOI:10.1088/0031-9155/46/5/201
[18]
Nelson TR, Pretorius DH. Three-dimensional ultrasound imaging[J]. Ultrasound Med Biol, 1998, 24(9): 1243-1270. DOI:10.1016/s0301-5629(98)00043-x
[19]
Lou E, Nguyen D, Hill D, et al. Validation of a novel handheld 3D ultrasound system for imaging scoliosis-phantom study[J]. Stud Health Technol Inform, 2021, 280: 100-105. DOI:10.3233/SHTI210444
[20]
Hisaund A, Pietton R, Vialle R, et al. Feasibility of rib kinematics and intercostal-space biomechanical characterization by ultrasound in adolescent idiopathic scoliosis[J]. Ultrasound Med Biol, 2021, 47(7): 1957-1963. DOI:10.1016/j.ultrasmedbio.2021.03.017
[21]
Fölsch C, Schlögel S, Lakemeier S, et al. Test-retest reliability of 3D ultrasound measurements of the thoracic spine[J]. PM R, 2012, 4(5): 335-341. DOI:10.1016/j.pmrj.2012.01.009
[22]
Takács M, Orlovits Z, Jáger B, et al. Comparison of spinal curvature parameters as determined by the ZEBRIS spine examination method and the Cobb method in children with scoliosis[J]. PLoS One, 2018, 13(7): e0200245. DOI:10.1371/journal.pone.0200245
[23]
Jiang WW, Chen XT, Yu CH. A real-time freehand 3D ultrasound imaging method for scoliosis assessment[J]. J Appl Clin Med Phys, 2022, 23(8): e13709. DOI:10.1002/acm2.13709
[24]
Lv P, Chen JY, Dong LJ, et al. Evaluation of scoliosis with a commercially available ultrasound system[J]. J Ultrasound Med, 2020, 39(1): 29-36. DOI:10.1002/jum.15068
[25]
Sudo H, Kokabu T, Abe Y, et al. Automated noninvasive detection of idiopathic scoliosis in children and adolescents: a principle validation study[J]. Sci Rep, 2018, 8(1): 17714. DOI:10.1038/s41598-018-36360-w
[26]
Kokabu T, Kawakami N, Uno K, et al. Three-dimensional depth sensor imaging to identify adolescent idiopathic scoliosis: a prospective multicenter cohort study[J]. Sci Rep, 2019, 9(1): 9678. DOI:10.1038/s41598-019-46246-0
[27]
Sapkas G, Papagelopoulos PJ, Kateros K, et al. Prediction of Cobb angle in idiopathic adolescent scoliosis[J]. Clin Orthop Relat Res, 2003, 411: 32-39. DOI:10.1097/01.blo.0000068360.47147.30
[28]
Roy S, Grünwald ATD, Alves-Pinto A, et al. A noninvasive 3D body scanner and software tool towards analysis of scoliosis[J]. Biomed Res Int, 2019, 2019: 4715720. DOI:10.1155/2019/4715720
[29]
Yang JL, Zhang K, Fan HW, et al. Development and validation of deep learning algorithms for scoliosis screening using back images[J]. Commun Biol, 2019, 2: 390. DOI:10.1038/s42003-019-0635-8
[30]
Daruwalla JS, Balasubramaniam P. Moiré topography in scoliosis.Its accuracy in detecting the site and size of the curve[J]. J Bone Joint Surg Br, 1985, 67(2): 211-213. DOI:10.1302/0301-620X.67B2.3980527
[31]
Chowanska J, Kotwicki T, Rosadzinski K, et al. School screening for scoliosis: can surface topography replace examination with scoliometer?[J]. Scoliosis, 2012, 7(1): 9. DOI:10.1186/1748-7161-7-9
[32]
Kuroki H, Nagai T, Chosa E, et al. School scoliosis screening by Moiré topography-overview for 33 years in Miyazaki Japan[J]. J Orthop Sci, 2018, 23(4): 609-613. DOI:10.1016/j.jos.2018.03.005
[33]
Watanabe K, Aoki Y, Matsumoto M. An application of artificial intelligence to diagnostic imaging of spine disease: estimating spinal alignment from moiré images[J]. Neurospine, 2019, 16(4): 697-702. DOI:10.14245/ns.1938426.213
[34]
Akazawa T, Torii Y, Ueno J, et al. Mobile application for scoliosis screening using a standard 2D digital camera[J]. Cureus, 2021, 13(3): e13944. DOI:10.7759/cureus.13944
[35]
Kim KH, Sohn MJ, Park CG. Conformity assessment of a computer vision-based posture analysis system for the screening of postural deformation[J]. BMC Musculoskelet Disord, 2022, 23(1): 799. DOI:10.1186/s12891-022-05742-7