Journal of Clinical Otolaryngology Head and Neck Surgery
The Busan, Ulsan, Gyeoungnam Branch of Korean Society of Otolaryngology-Head and Neck Surgery
Review Article

갑상선 결절 진단에서의 인공지능 적용

안정민1https://orcid.org/0000-0003-2029-6243, 이명철1,*https://orcid.org/0000-0002-2574-4976
Jungmin Ahn1https://orcid.org/0000-0003-2029-6243, Myung-Chul Lee1,*https://orcid.org/0000-0002-2574-4976
1한국원자력의학원 원자력병원 이비인후-두경부외과
1Department of Otorhinolaryngology-Head and Neck Surgery, Korea Cancer Center Hospital, Korea Institute of Radiological and Medical Sciences, Seoul, Korea
*Corresponding author: Myung-Chul Lee, Department of Otorhinolaryngology-Head and Neck Surgery, Korea Cancer Center Hospital, Korea Institute of Radiological and Medical Sciences, Seoul 01812, Korea, Tel: +82-2-970-2358, Fax: +82-2-970-2459, E-mail: entdok@gmail.com

© Copyright 2023 The Busan, Ulsan, Gyeoungnam Branch of Korean Society of Otolaryngology-Head and Neck Surgery. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: May 30, 2023; Revised: Jun 17, 2023; Accepted: Jun 22, 2023

Published Online: Jun 30, 2023

ABSTRACT

The incidence of thyroid cancer has increased steeply worldwide over the past few decades. The diagnosis of thyroid nodule depends on ultrasonography and fine needle aspiration & cytology, relying mainly on the experience and effort of clinicians and pathologists. Besides, these diagnostic tests are prone to subjective interpretation and interobserver variabilities. Artificial intelligence (AI) is a technology used to extract and quantify key image information by simulating complex human cognitive functions. It broadly includes machine & deep learning and represents a potent method that may facilitate and help clinicians to identify and classify human pathologies. While the outcomes of validation studies have been varied, there are abundant researches showing that AI can perform equally as or better than some humans, particularly less experienced doctors. In thyroid field, AI is mostly being adopted to ultrasonographic and cyto/histo-pathologic diagnosis of thyroid nodules. This review aims to provide an overview of the basic concepts of AI technologies and present the current status of application of AI to ultrasonographic and cyto/histo-pathological diagnosis of thyroid nodule.

Keywords: Thyroid; Carcinoma; Ultrasonography; Diagnosis; Artificial intelligence

서론

갑상선 결절은 최근에 임상적으로 흔한 질환이 되고 있다. 그중에서 갑상선암이 특히 관심을 끌고 있는데 이는 2020년 기준 국내 암 발생율 1위일 정도로 많이 발생하고 있기 때문이다. 세계적으로도 갑상선암 발생률이 급격하게 증가하고 있다.13)

갑상선암은 예후가 좋고 진행이 느리다고 알려져 있지만 진행되거나 공격적인 갑상선 유두암의 발생률과 그에 따른 사망률이 조금씩 늘고 있어, 조기에 정확하게 진단하고 위험도를 분류하여 치료하는 것이 중요하다.4)

갑상선암의 진단에 반드시 필요한 것은 초음파 검사와 세침흡인검사이다.5) 갑상선 초음파는 실시간으로 보면서 진단을 할 수 있고, 비침습적이라는 장점은 있지만, 영상 자체에 노이즈가 많고, 경험이 많지 않은 임상의가 검사했을 때 진단이 다소 주관적일 수 있으며, 검사자 간 진단의 불일치가 있을 수 있다는 것이 단점이다.6) 이러한 단점을 보완하고자 갑상선 영상 보고 데이터 시스템(thyroid imaging reporting and data system, TI-RADS)을 도입하여 진단에 도움을 받고 있긴 하지만 이 역시 임상의의 경험과 지식에 의존하기 때문에 소모적이고 의사 간 진단의 불일치는 여전히 문제이다.7)

세침흡인검사는 수술 전 반드시 시행해야 하는 검사이다. 이 검사는 베데스다 시스템(the Bethesda System for reporting thyroid cytopathology)을 통해 6가지 진단 카테고리로 분류된다.8) 이 또한 교육과 훈련이 잘 된 병리의사의 수작업이 필요하기 때문에 갑상선 초음파 검사와 비슷한 문제가 있다.

이런 문제점들(의사 의존, 진단의 불일치 등)을 해결하고자 기계학습을 통한 컴퓨터 지원 진단 시스템(computer-aided diagnosis system)들이 많이 개발되어 사용되고 있다.911) 특히 의학연구의 새로운 분야로 방사선 정보학(radiomics)이 부각되면서 이러한 의학 영상의 양적 분석이 인공지능(artificial intelligence, AI)의 발전과 더불어 더욱 가속화되고 있다.12)

인공지능은 인간의 상호작용을 흉내내기 위한 기술들의 집합체이다. 어떤 작업들에서는 인간의 지각력(perception)을 능가하기도 한다.13) 이는 인공지능이 영상에서 복잡하고 비선형적 관계를 동시다발적으로 쉽게 확인하고 모델링할 수 있기 때문이다. 이러한 인공지능 분류기(classifier)가 갑상선 결절을 정성적으로 분석하는 데 있어 방사선과나 병리학과 의사와 비견할 만한 성능을 최근에 보여주고 있다.6,14,15) 뿐만 아니라, 인공지능은 주요 이미지 정보를 추출하고 정량화하여 이미지 진단을 주관적인 정성적 작업에서 객관적인 정량적 분석으로 전환할 수도 있다.

본 종설에서 저자는 인공지능에 대해서 간단히 리뷰하고, 이러한 인공지능이 갑상선 질환에서 어떻게 활용되고 있는지 소개하려 한다.

본론

인공지능은 1950년대에 인간의 인지능력을 필요로 하는 일을 수행하기 위한 수학적인 알고리즘을 연구하는 컴퓨터 과학의 한 분야로 시작되었고, 최근 급격하게 성장하고 있다. 이는 컴퓨터 하드웨어, 소프트웨어의 발전과 데이터셋이 기하급수적으로 늘어나고 있기 때문이다. 의학 영역에서도 진단, 예후 예측, 영상 진단 등으로 적용이 확대되고 있다. 전반적으로 봤을 때 인공지능은 기계학습(machine learning)과 딥러닝(deep learning)을 포함하는데 딥러닝이 기계학습의 하위개념이다(Fig. 1).

jcohns-34-2-17-g1
Fig. 1. Figure showing the relationship among artificial intelligence, machine learning and deep learning.
Download Original Figure
기계학습

기계학습은 인공지능의 한 분야로 1959년 Arthur Samuel에 의해 처음 명명되었다.16) 이는 샘플 데이터를 학습해서 새로운 결과를 예측하는 데 사용되는데, 특히 의학 영상 분석 분야에서 컴퓨터 지원 진단(computer-aided diagnosis)과 방사선 진단학의 주축이 된다. 사용하는 알고리즘에 따라 크게 지도(supervised)와 비지도(unsupervised) 학습 방법으로 나뉘게 되며, 지도 학습에서는 출력물(output)이 분류되어 있는(labeled) 데이터를 가지고 학습을 시키게 된다. 예를 들어 갑상선 결절의 양성, 악성 유무를 예측할 수 있는 모델을 만들려고 하면 많은 초음파 영상과 이에 1:1로 대응하는 영상의학과 의사의 소견, 세침흡인검사 결과, 최종 수술 조직검사 결과 등을 매칭해서 데이터로 쓰게 된다. 반면에 비지도 학습에서는 출력물이 분류되어 있지 않은 데이터를 학습하게 된다. 이 학습방법에서는 소프트웨어가 입력물(input)을 비슷한 특성을 가진 것들끼리 집단을 만들게 되는데, 분류된 데이터가 부족할 때나 분류된 데이터를 학습하기 전에 분류모델을 전-학습(pre-training)하는 데 활용된다. 의료영상분석에는 지도 학습이 비지도 학습보다는 자주 사용된다.17) 기계학습에서 전형적인 특징(feature) 기반의 지도 학습 알고리즘으로는 로지스틱 회귀(logistic regression), 서포트 벡터 머신(support vector machine), 랜덤 포레스트(random forests), 신경망(neural networks) 등이 있다.18)

딥러닝

딥러닝은 인간의 신경계 구조를 흉내 낸 인공신경망(artificial neural networks)을 통해 발전한 기계학습의 세부 방법론 중 하나이다.18) 인공신경망은 입력 계층(input layer), 은닉 계층(hidden layer), 출력 계층(output layer)으로 구분되고, 이 계층들은 노드(node)로 구성되어 있는데, 각 노드들은 인간 뇌에서의 뉴런처럼 서로 연결되어 있다. 정보가 디지털 포맷으로 변환되어 입력 계층으로 들어가면 은닉 계층의 노드로 넘어가고 각각의 노드에서 가중치가 곱해지는데, 이 결과가 역치보다 높으면 다음 노드로 넘어가게 된다. 이런 식으로 은닉 계층의 노드들을 통과하면 최종적으로 출력 계층으로 넘어 가서 결과값이 도출되게 된다. 처음에는 가중치와 역치가 무작위로 정해지는데, 출력 계층의 값이 최종 정답(ground truth)에 가까워지도록 반복적으로 가중치와 역치가 조정되는 과정이 사람이 경험에서 지식을 얻는 과정과 흡사하다. 단순 기계학습과는 달리 딥러닝은 어떤 모델을 개발하기 위해 인간의 조정 또는 간섭 없이 입력 데이터에서 특징(feature)을 뽑아낼 수 있다. 여러 가지 딥러닝 구조들이 개발되어 있지만 음성 인식이나 이미지 인식, 특히 의학 영상 이미지 처리에는 합성곱 신경망(convolutional neural network)이 주로 사용된다.19)

갑상선 질환에서의 인공지능 적용

갑상선 질환에서의 인공지능 적용은 주로 갑상선 결절의 양성, 악성 여부를 예측하는 데 집중되어 있다. 갑상선 결절의 주요 진단 방법인 갑상선 초음파에서 결절의 양상에 따른 악성 여부와 병리조직검사 결과 예측이 가장 많은 연구가 되고 있고, 세침흡인검사와 수술조직검사의 특징을 통한 결절의 종류와 악성 여부 판별 또한 활발히 연구되고 있다. 이러한 연구들은 영상의학과와 갑상선 초음파를 수행하는 임상과들, 그리고 병리과 의사들의 영상분석과 진단을 돕거나 대체하기 위해 진행되고 있는데 의사를 대체하는 것은 아직 불가능한 상태이고, 어느 정도 도움이 될 인공지능은 개발이 되어 있다.

갑상선 결절의 진단을 위한 초음파 검사에서의 인공지능 적용

고형 성분의 저에코 결절이 불규칙 경계나 고에코 점(punctate echogenic foci), 또는 비-평행(non-parallel) 모양을 갖고 있다면 암일 가능성이 있다. 하지만 이러한 갑상선 소견은 초음파를 수행하는 의사의 주관적인 판단이 들어가기 때문에 갑상선 암을 확실히 진단하거나 제외하지는 못하며 의사들 간의 불일치가 문제가 되는 경우가 많다.6) 이러한 점을 보완하고자 갑상선 초음파 판독의 가이드라인 격인 TI-RADS를 도입하였지만 이 또한 비슷한 한계가 있다. 다행히도, 최근 컴퓨터 하드웨어, 소프트웨어의 눈부신 발전과 빠른 속도로 늘어나는 데이터셋을 바탕으로, 인공지능을 활용한 갑상선 초음파는 의사들 간의 소견 및 진단 면에서의 불일치 해소, 의사들의 노동시간 절약 및 피로도 감소, 경험이 적은 의사들의 진단의 보조수단 등을 목적으로 많은 발전을 보여주고 있다.

지금까지 개발된 대부분의 갑상선 초음파에서의 인공지능은 갑상선 결절이 암인지 양성인지 분류하는 데 초점을 맞추고 있다.2025) 이러한 연구들의 결과는 대부분이 방사선과 의사의 진단을 기준으로 하고 있고, 수술 후 조직검사결과를 기준으로 학습을 시킨 연구도 있다.26) 기계학습과 딥러닝의 결과를 비교한 논문은 거의 없지만 대체적으로 특이도와 정확도 면에서 딥러닝의 결과가 좋은데, 이것은 딥러닝이 보다 복잡한 패턴까지 인식할 수 있기 때문이라고 생각된다. 몇몇 연구에서는 딥러닝의 정확도가 방사선과 의사의 그것만큼 높다고 보여주기도 하고, 경험이 적은 방사선과 의사가 딥러닝을 활용했을 때 경험 많은 방사선과 의사만큼 결과를 보여줄 수 있다는 보고도 있다(Table 1).17,25)

Table 1. Summary of artificial intelligence studies on ultrasound features identifying benign and malignant thyroid nodules
Study Patients Method Accuracy (%) Sensitivity (%) Specificity (%)
Zhao et al.20) 106 ML/SVM 82 91 78
Zhang et al.22) 826 ML/SVM 83 86.1 82.7
Park et al.21) 286 ML/SVM 75.9 90.4 58.8
Ko et al.25) 519 DL/CNN 87.3 90 82
Wu et al.24) 1,396 DL/CNN 82 85 78
Kim et al.23) 757 DL/CNN 85.1 81.8 86.1

ML: machine learning, SVM: support vector machine, DL: deep learning, CNN: convolutional neural network.

Download Excel Table

이러한 많은 연구들을 바탕으로 인공지능을 이용한 갑상선 초음파 결절 판독 시스템이 미국 FDA(Food and Drug Administration)에 현재 기준으로 4가지 시스템이 승인되어 있다.27) 이들은 갑상선 결절에 경험이 있는 운용자가 영상을 지정해서 소프트웨어에 넣어줘야 하기 때문에 반자동 방식이다. 첫 번째로, AmCAD-UT(AmCAD Biomed, Taipei, Taiwan)는 2018년도에 FDA 승인 받은 윈도우 기반 소프트웨어이다. 이 시스템에서는 임상의가 대표적인 초음파 이미지를 지정해줘야 하는데, 이후 소프트웨어가 관심영역(region of interest)을 그려주고 패턴인식과 정량화를 통해 특징을 분석해서 악성 위험도를 제공한다. 이 소프트웨어를 이용한 한 연구는 민감도 87%, 특이도 91.2%, 양성 예측도 90.5%, 음성 예측도 90.9%를 보여주고 있다.28) S-Detect 1 and 2(Samsung Medison, Seoul, Korea)는 2018년도에 FDA 승인을 받았고, 현재까지 가장 활발히 임상에 활용되고 있다. 다른 시스템들과 비슷하게 결절을 중심으로 관심영역을 그려주면 S-Detect가 결절의 경계를 그리고, 성분, 에코, 형태, 경계, 그리고 석회화 등의 특징들을 평가해서 결절을 분류해 준다. S-Detect를 이용한 한 연구에서 218개의 수술조직검사결과가 확인된 갑상선 결절을 분류하였는데 민감도와 특이도가 81.4%와 68.2%였고, 숙련된 방사선과 의사인 경우 84.9%와 96.2%로 특이도는 다소 떨어졌으나 민감도는 방사선과 의사와 비슷한 수준을 보였다.29) Koios DS(Koios Medical, Chicago, IL, USA)는 웹 어플리케이션이다. 사용자가 그린 관심영역이 서버로 보내지면 분류해서 결과를 보내준다. 이 소프트웨어는 ACR(American College of Radiology) TI-RADS에서의 기준인 갑상선 초음파에서의 결절의 성분, 에코, 모양, 경계, 석회화를 딥러닝을 통해 분류하여 위험도 분류를 해준다. MEDO-Thyroid(Exo, Santa Clara, CA, USA)는 클라우드 기반의 서비스로, 갑상선과 그 안의 결절의 크기와 부피를 측정해 주고, ACR TI-RADS 분류도 제공해 준다.

갑상선 결절의 진단을 위한 세침흡인검사에서의 인공지능 적용

세침흡인 검사는 갑상선결절을 평가할 때 초음파 검사와 더불어 가장 중요한 진단 기법이다. 이는 베데스다 시스템을 통해서 최종 진단이 암일 확률에 따라 6단계로 분류된다. 인공지능을 이용한 다양한 연구가 있는데, 기계 모델과 병리과 의사의 악성과 양성 분류 결과를 비교하는 다양한 연구에서 정확도가 상당히 높게 나오고 있다.8,30,31) Sanya 등은 핵의 모양과 세포들의 유두상 구조를 딥러닝을 통해 학습시켜 갑상선 유두암을 갑상선종, 여포종양, 림프세포성 갑상선염과 구분하는데 민감도 90.5%, 특이도 83.3%, 양성예측도 63.3%, 음성예측도 96.5%, 그리고 정확도 85.1%로 보고하였다.30)

갑상선 결절의 진단을 위한 조직병리검사에서의 인공지능 적용

초음파 검사와 세침흡인검사 결과에 따라서 수술하게 되는 경우 수술 검체를 병리과 의사가 정확히 진단 내리는 것이 중요하다. 종양의 크기, 병리 타입, 그리고 악성도 등이 임상의사에게 정확히 전달되어야만 이후 치료 방침을 알맞게 결정할 수 있기 때문이다. 특히 여포성 병변인 경우 조직병리검사가 복잡하고 어려워서 인공지능을 활용하려는 시도가 많이 이루어지고 있다.15) Wang 등은 여포선종, 여포암종과 정상 조직을 핵의 크기와 염색질의 농도에 따라서 분류하였고, Ozolek 등도 9가지의 핵의 형태학적 특징으로 여포선종, 여포암, 여포 변이 유두상암, 결절성 갑상선종, 그리고 광범위 침습 여포상암을 딥러닝을 통해 거의 완벽하게 분류하였다.32,33) 이외에도 여포상 변이 유두암의 세부 분류, noninvasive follicular thyroid neoplasm with papillary like nuclear feature 등의 진단에도 인공지능이 활용되고 있다.34)

결론

인공지능은 갑상선 영역에서 갑상선 결절의 초음파, 세침흡인검사와 병리조직검사 등에 활용되고 있다. 현재까지 발표된 연구에서는 대부분 고유의 알고리즘을 사용하기 때문에 성적이 각각 다르지만, 컴퓨팅 파워와 소프트웨어의 비약적인 발전으로 조만간 인간의 그것에 필적할 만한 결과를 보여줄 것이다. 인공지능을 적용할 때 결과의 완성도도 중요하지만, 편의성도 중요해서 장래에는 인공지능 어플리케이션이 모든 갑상선 초음파 장비에 설치가 되고, 환자의 초음파 영상을 찍으면 실시간으로 갑상선 결절의 분류와 그에 상응하는 가이드라인에 맞는 치료나 관리 방법을 알려주는 식으로 개발될 것으로 보인다. 이는 갑상선 질환을 보는 임상의들의 시간과 노력을 많이 절감해 줄 것이고, 결국에는 환자들에게 이득이 돌아가게 될 것이므로, 현대를 살아가는 의사들은 인공지능에 관심을 가지고, 적극적으로 활용하고자 노력을 해야 한다.

Acknowledgements

Not applicable.

Funding Information

Not applicable.

Conflicts of Interest

No potential conflict of interest relevant to this article was reported.

Author Contribution

Conceptualization: Lee MC.

Investigation: Ahn J, Lee MC.

Writing - original draft: Ahn J

Writing - review & editing: Ahn J, Lee MC.

Ethics Approval

Not applicable.

References

1.

Lim H, Devesa SS, Sosa JA, Check D, Kitahara CM. Trends in thyroid cancer incidence and mortality in the United States, 1974-2013. JAMA 2017;317(13):1338-48.

2.

Jung KW, Kang MJ, Park EH, Yun EH, Kim HJ, Kong HJ, et al. Prediction of cancer incidence and mortality in Korea, 2023. Cancer Res Treat 2023;55(2):400-7.

3.

Sanabria A, Kowalski LP, Shah JP, Nixon IJ, Angelos P, Williams MD, et al. Growing incidence of thyroid carcinoma in recent years: factors underlying overdiagnosis. Head Neck 2018;40(4):855-66.

4.

Ho AS, Luu M, Barrios L, Chen I, Melany M, Ali N, et al. Incidence and mortality risk spectrum across aggressive variants of papillary thyroid carcinoma. JAMA Oncol 2020;6(5):706-13.

5.

Haugen BR, Alexander EK, Bible KC, Doherty GM, Mandel SJ, Nikiforov YE, et al. 2015 American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: the American Thyroid Association guidelines task force on thyroid nodules and differentiated thyroid cancer. Thyroid 2016;26(1):1-133.

6.

Remonti LR, Kramer CK, Leitão CB, Pinto LCF, Gross JL. Thyroid ultrasound features and risk of carcinoma: a systematic review and meta-analysis of observational studies. Thyroid 2015;25(5):538-50.

7.

Kwak JY, Han KH, Yoon JH, Moon HJ, Son EJ, Park SH, et al. Thyroid imaging reporting and data system for US features of nodules: a step in establishing better stratification of cancer risk. Radiology 2011;260(3):892-9.

8.

Margari N, Mastorakis E, Pouliakis A, Gouloumi AR, Asimis E, Konstantoudakis S, et al. Classification and regression trees for the evaluation of thyroid cytomorphological characteristics: a study based on liquid based cytology specimens from thyroid fine needle aspirations. Diagn Cytopathol 2018;46(8):670-81.

9.

Acharya UR, Faust O, Sree SV, Molinari F, Suri JS. ThyroScreen system: high resolution ultrasound thyroid image characterization into benign and malignant classes using novel combination of texture and discrete wavelet transform. Comput Methods Programs Biomed 2012; 107(2):233-41.

10.

Choi YJ, Baek JH, Park HS, Shim WH, Kim TY, Shong YK, et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid 2017;27(4):546-52.

11.

Acharya UR, Vinitha Sree S, Muthu Rama Krishnan M, Molinari F, Garberoglio R, Suri JS. Non-invasive automated 3D thyroid lesion classification in ultrasound: a class of ThyroScan™ systems. Ultrasonics 2012;52(4): 508-20.

12.

Gillies RJ, Kinahan PE, Hricak H. Radiomics: images are more than pictures, they are data. Radiology 2016; 278(2):563-77.

13.

Meroueh C, Chen ZE. Artificial intelligence in anatomical pathology: building a strong foundation for precision medicine. Hum Pathol 2023;132:31-8.

14.

Sun C, Zhang Y, Chang Q, Liu T, Zhang S, Wang X, et al. Evaluation of a deep learning-based computer-aided diagnosis system for distinguishing benign from malignant thyroid nodules in ultrasound images. Med Phys 2020;47(9):3952-60.

15.

Li LR, Du B, Liu HQ, Chen C. Artificial intelligence for personalized medicine in thyroid cancer: current status and future perspectives. Front Oncol 2021;10:604051.

16.

Bera K, Schalper KA, Rimm DL, Velcheti V, Madabhushi A. Artificial intelligence in digital pathology — new tools for diagnosis and precision oncology. Nat Rev Clin Oncol 2019;16(11):703-15.

17.

Erickson BJ, Korfiatis P, Akkus Z, Kline TL. Machine learning for medical imaging. Radiographics 2017;37(2): 505-15.

18.

Cui S, Tseng HH, Pakela J, Ten Haken RK, El Naqa I. Introduction to machine and deep learning for medical physicists. Med Phys 2020;47(5):e127-47.

19.

Matsuo Y, LeCun Y, Sahani M, Precup D, Silver D, Sugiyama M, et al. Deep learning, reinforcement learning, and world models. Neural Netw 2022;152:267-75.

20.

Zhao CK, Ren TT, Yin YF, Shi H, Wang HX, Zhou BY, et al. A comparative analysis of two machine learning-based diagnostic patterns with thyroid imaging reporting and data system for thyroid nodules: diagnostic performance and unnecessary biopsy rate. Thyroid 2021; 31(3):470-81.

21.

Park VY, Han K, Seong YK, Park MH, Kim EK, Moon HJ, et al. Diagnosis of thyroid nodules: performance of a deep learning convolutional neural network model vs. radiologists. Sci Rep 2019;9(1):17843.

22.

Zhang B, Tian J, Pei S, Chen Y, He X, Dong Y, et al. Machine learning–assisted system for thyroid nodule diagnosis. Thyroid 2019;29(6):858-67.

23.

Kim GR, Lee E, Kim HR, Yoon JH, Park VY, Kwak JY. Convolutional neural network to stratify the malignancy risk of thyroid nodules: diagnostic performance compared with the American College of Radiology Thyroid Imaging Reporting and Data System implemented by experienced radiologists. AJNR Am J Neuroradiol 2021;42(8):1513-9.

24.

Wu GG, Lv WZ, Yin R, Xu JW, Yan YJ, Chen RX, et al. Deep learning based on ACR TI-RADS can improve the differential diagnosis of thyroid nodules. Front Oncol 2021;11:575166.

25.

Ko SY, Lee JH, Yoon JH, Na H, Hong E, Han K, et al. Deep convolutional neural network for the diagnosis of thyroid nodules on ultrasound. Head Neck 2019;41(4): 885-91.

26.

Kwon SW, Choi IJ, Kang JY, Jang WI, Lee GH, Lee MC. Ultrasonographic thyroid nodule classification using a deep convolutional neural network with surgical pathology. J Digit Imaging 2020;33(5):1202-8.

27.

Tessler FN, Thomas J. Artificial intelligence for evaluation of thyroid nodules: a primer. Thyroid 2023;33(2): 150-8.

28.

Reverter JL, Vázquez F, Puig-Domingo M. Diagnostic performance evaluation of a computer-assisted imaging analysis system for ultrasound risk stratification of thyroid nodules. AJR Am J Roentgenol 2019;213(1):169-74.

29.

Kim HL, Ha EJ, Han M. Real-world performance of computer-aided diagnosis system for thyroid nodules using ultrasonography. Ultrasound Med Biol 2019;45(10): 2672-8.

30.

Sanyal P, Mukherjee T, Barui S, Das A, Gangopadhyay P. Artificial intelligence in cytopathology: a neural network to identify papillary carcinoma on thyroid fine-needle aspiration cytology smears. J Pathol Inform 2018;9:43.

31.

Guan Q, Wang Y, Ping B, Li D, Du J, Qin Y, et al. Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a pilot study. J Cancer 2019;10(20): 4876-82.

32.

Wang W, Ozolek JA, Rohde GK. Detection and classification of thyroid follicular lesions based on nuclear structure from histopathology images. Cytometry A 2010;77A(5):485-94.

33.

Ozolek JA, Tosun AB, Wang W, Chen C, Kolouri S, Basu S, et al. Accurate diagnosis of thyroid follicular lesions from nuclear morphology using supervised learning. Med Image Anal 2014;18(5):772-80.

34.

Chain K, Legesse T, Heath JE, Staats PN. Digital image-assisted quantitative nuclear analysis improves diagnostic accuracy of thyroid fine-needle aspiration cytology. Cancer Cytopathol 2019;127(8):501-13.