의료 영상을 통한 지속적인 학습에서 치명적인 망각을 완화하기 위한 동적 메모리
Mar 29, 2022
연락처: Audrey Hu Whatsapp/hp: 0086 13880143964 이메일:audrey.hu@wecistanche.com
Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 & Georg Langs1✉
의료 영상은 임상 진단 및 치료 지침의 중심 부분입니다. 기계 학습은 치료 의사 결정과 관련된 질병 및 치료 반응의 특징을 포착하기 때문에 점점 더 관련성을 갖게 되었습니다. 임상 실습에서 이미지 획득 기술 또는 진단 절차의 지속적인 발전, 스캐너의 다양성 및 진화하는 이미징 프로토콜은 새로운 데이터에 대한 예측 정확도가 저하되거나 이러한 도메인 이동으로 인해 모델이 구식이 되기 때문에 기계 학습의 유용성을 방해합니다. . 우리는 알려지지 않은 시점에서 발생하는 이러한 도메인 이동을 처리하기 위해 지속적인 학습 접근 방식을 제안합니다. 우리는 치명적인 망각에 대응하면서 연속 데이터 스트림의 새로운 변형에 모델을 적용합니다. 다이나믹메모리다양한 훈련 데이터의 하위 집합에 대한 리허설을 통해 망각을 완화하는 동시에 모델을 새로운 영역으로 확장할 수 있습니다. 기술 균형메모리데이터 스트림 내에서 서로 다른 스타일 클러스터를 나타내는 의사 도메인을 감지합니다. 자기 공명 영상의 심장 분할과 컴퓨터 단층 촬영의 폐 결절 감지라는 두 가지 다른 작업에 대한 평가는 이 방법의 일관된 이점을 보여줍니다.
딥 러닝(DL) 알고리즘은 진단, 예측 또는 예후와 관련된 해부학적 구조 및 이상4의 컴퓨터 분할1,2, 분류 또는 탐지3를 가능하게 하여 의료 영상에서 빠르게 관련성을 얻고 있습니다. 어떤 경우에는 그들의 능력이 인간 전문가5,6를 능가하여 진단 및 치료 결정 지원을 위한 이미징 데이터의 발전에 중심 도구가 됩니다.
그러나 임상 영상 기술, 진단 워크플로, 심지어 질병의 영상 마커도 고정되어 있지 않습니다. 대신 DL 알고리즘이 관련성을 유지하기 위해 적응해야 하는 끊임없이 진화하는 환경에 종속됩니다. 현재 DL 모델은 한 번 훈련되어 훈련 경험에 필적하는 이미지에서 인상적인 성능을 제공합니다. 그러나 기술이 발전하는 동안 구식이 되기 때문에 지속 가능성이 제한적입니다7. 일부 측면(데이터 세트 이동)에서 훈련 데이터와 다른 새로운 데이터에 적응할 수 없는 이러한 무능력은 임상 실습에서의 유용성과 채택을 심각하게 방해합니다.
데이터 세트 이동은 훈련 데이터 분포가 모델 추론의 데이터 분포와 다를 때 발생합니다8,9. 그러한 이동의 한 유형인 도메인 이동(또는 획득 이동)은 스캐너 기술의 기술적 진보로 인해 발생할 수 있습니다. 임상 실습 및 결과적으로 의료 영상 데이터와 관련된 연구에서 획득한 데이터는 종종 다른 스캐너, 스캐너 세대, 제조업체 또는 영상 프로토콜에서 비롯됩니다. 배포된 딥 러닝 모델을 변화하는 환경에 성공적으로 적용하려면 이러한 도메인 이동을 고려하는 방법을 개발하고 발전시키는 것이 중요합니다.
여기에서는 임상 실습을 반영하여 연속 데이터 스트림에서 알 수 없는 시간에 발생하는 도메인 이동을 설명하는 데 중점을 둡니다. DL 모델은 단일 스캐너(기본 교육)로 획득한 일련의 이미지에 대해 학습된 후 새 스캐너가 추가될 때 데이터 스트림에서 발생하는 이미지 모양의 변화에 따라 지속적으로 업데이트됩니다. 동시에 새로운 도메인 정보가 모델에 통합되므로 이전에 본 도메인에 대한 지식을 잊어서는 안됩니다. 그림 1은 이 작업의 일반적인 설정을 보여줍니다. 모델은 도메인 A 데이터의 기본 훈련 세트에 수렴하도록 훈련됩니다. 그 후, 일정 시간 후에 도메인 B, C 및 D 데이터가 나타나는 연속 데이터 스트림에 노출됩니다. 기본 훈련(정적 딥 러닝) 후 모델을 업데이트하지 않으면 훈련 데이터의 분포를 남기기 때문에 이후 도메인의 정확도가 떨어집니다. 기본 모델이 후속 스캐너의 이미지를 분할하지 못한 경우의 예는 아래를 참조하십시오. 지속적인 학습 방법은 이러한 효과를 상쇄합니다.
지속적인 학습(평생 학습이라고도 함)의 초점은 모델에서 새로운 작업(또는 이 작업의 맥락에서 새로운 영역)을 처리하는 능력을 축적하기 위한 기계 학습 기술입니다10,11. 지속적인 학습 방법에 의해 상쇄되는 주요 바람직하지 않은 효과는 치명적인 망각입니다. 새 작업을 학습하기 위해 모델을 업데이트하면 이전 작업의 성능이 저하됩니다12. 이상적으로, 연속 학습은 후속 작업에 대한 교육 시 이전 작업의 성능을 향상시킬 수 있으며, 모델에 대한 교육 예제의 다양성 증가로 인한 긍정적 역전이로 알려진 바람직한 효과가 노출됩니다.
다이나믹을 제안합니다메모리(DM) 연속 학습 방법으로 의료 이미지의 연속 스트림에서 알 수 없는 시점에 새로운 데이터 소스의 출현을 처리합니다(그림 1). DM은 데이터 스트림의 작고 다양한 하위 집합을 유지하는 리허설 방법입니다.메모리치명적인 망각을 완화하기 위해. DM은메모리스타일 메트릭을 사용하여 연속 데이터 스트림에서 관찰되는 다양한 스타일의 이미지를 유지합니다. 선택적 모듈로 의사 도메인(PD) 모델을 활용하여 연속 스트림에서 유사한 스타일의 클러스터를 감지합니다. 이러한 유사 도메인은 알려지지 않은 실제 도메인의 프록시로 볼 수 있으며 균형을 유지하는 데 사용됩니다.메모리및 교육 과정(DM-PD). 우리 방법의 일반화 가능성을 보여주기 위해 다른 이미징 방식을 사용하는 두 가지 작업에 적용합니다. 먼저 자기공명영상(MRI)에서 심장 분할을 수행하고, 두 번째로 컴퓨터 단층촬영(CT)에서 폐 결절 감지에 대한 접근 방식을 적용합니다. 우리는 두 작업 모두에서 우리의 방법이 지속적인 학습 기준 방법을 능가한다는 것을 보여줍니다. 우리는 두 작업 중 하나에 대한 새로운 단일 스캐너 최첨단 방법의 개발에 초점을 맞추는 것이 아니라 모델을 연속 스트림에 적용하기 위해 연속 학습 방법을 적용할 수 있는 방법을 보여주고자 합니다. 명시적인 도메인 지식 없이 도메인 이동을 포함한 이미징 데이터.
cistanche 보충제: 기억력 향상
결과
데이터 세트
심장 세분화. 실험은 다중 센터, 다중 공급업체 챌린지 데이터 세트14의 데이터에 대해 수행되었습니다. 데이터 세트에는 4개의 서로 다른 공급업체인 Siemens, General Electric, Philips 및 Canon의 데이터가 포함되었습니다. 우리는 이러한 각 공급업체를 하나의 도메인으로 간주했습니다. 데이터를 환자 수준에서 기본 교육, 지속적 교육, 검증 및 테스트 세트로 분할합니다. 표 1a는 해당 데이터 세트 분할의 각 도메인에 대한 개별 슬라이스 수를 보여줍니다.
폐 결절 감지. 폐 결절 감지를 위해 LUNA{2}}챌린지16에 제공된 주석과 함께 LIDC-database15에서 추출한 데이터를 사용했습니다. 또한 LNDb 챌린지 데이터 세트17를 사용했습니다. 모든 폐 결절 주석에 대해 주석이 달린 병변 주위에 경계 상자를 구성하고 병변이 있는 2D 슬라이스를 추출했습니다. 도메인 이동에 대한 지속적인 학습을 보여주기 위해 스캐너 공급업체 및 재구성 커널 측면에서 가장 일반적인 세 가지 도메인의 데이터 세트를 LIDC와 네 번째 도메인인 LNDb 데이터 세트로 구성했습니다. LIDC의 경우 병변을 포함하여 가장 일반적으로 사용되는 설정은 저주파 재구성 알고리즘이 있는 GE Medical Systems(GE/L, n=527), 고주파 재구성 알고리즘이 있는 GE Medical Systems(GE/H, n {{ 9}}) 및 B30f 커널이 있는 Siemens(Siemens, n=130). IMDb 데이터 세트는 여러 대의 Siemens 스캐너를 사용했습니다. LIDC 데이터베이스의 결절 정의와 일치시키기 위해 직경이 3mm 미만인 결절을 제외하여 총 625개의 이미지를 생성했습니다. 이러한 이미지는 심장 분할 실험과 유사한 표 1b에 따라 기본 훈련, 연속 훈련, 검증 및 테스트 데이터 세트로 분할되었습니다.
동적메모리심장 세분화에 대한 치명적인 망각을 완화합니다. 동적 능력을 평가하기 위해메모리치명적인 망각에 대응하면서 좋은 성능을 달성하기 위해 우리는 좌심실(LV), 우심실(RV) 및 좌심실 심근(MYO)의 세 가지 레이블이 있는 다중 레이블 분할로 2D MRI 슬라이스에서 심장 분할을 수행했습니다. 데이터 스트림에 나타나는 순서대로 Siemens(A), GE(B), Philips(C) 및 Canon(D)의 4개 공급업체의 스캐너를 사용하여 이미지를 획득했습니다. 주문에 대한 이해를 돕기 위해 스캐너 A-D라고 합니다. 기본 교육은 스캐너 A 데이터에서만 수행되었습니다. 그 후, 모델은 이미지 도메인이 스캐너 A에서 D로 점진적으로 변경되는 연속 데이터 스트림에서 훈련되었습니다(그림 1). (1) DM 방법, (2) DM-PD(pseudo-domain detection)가 있는 DM 방법, (3) 무작위메모리모든 새로운 샘플이 현재 무작위로 선택된 샘플을 대체하는 대체 전략메모리(무작위) 및 (4) 치명적인 망각에 대응하지 않고 데이터 스트림에서 학습하는 순진한 접근 방식(순진함). 또한 (5) Elastic Weight Consolidation(EWC)18과 도메인 지식이 필요한 두 가지 방법(6) Gradient Episodic의 최첨단 연속 학습 방법으로 결과를 비교했습니다.메모리(GEM)19 및 (7)은 ER-MIR(Maximally Inferred Retrieval)20으로 재생을 경험합니다. DM 및 DM-PD는 도메인 지식 없이 작동하므로 임상 실습에서 보다 현실적인 가정을 나타냅니다. 비교를 위해 두 가지 기본 모델도 훈련했습니다. 첫째, 전체 데이터 세트를 단일 가상의 정적 데이터 세트로 취급하는 모든 훈련 데이터가 있는 조인트 모델(JModel); 두 번째로, 각 도메인에 대해 개별적으로 정적 훈련 방식으로 훈련된 도메인 특정 모델(DSM)입니다. 마지막으로 스캐너 A에서 훈련된 정적 기본 모델(Base)에 대한 결과를 보고하고 스캐너 A~D에 적용했습니다. 모든 방법은 분할에 동일한 백본 컨볼루션 신경망(CNN)인 FC-ResNet5021을 사용했습니다.
그림 1 다양한 모델 훈련 및 적응 전략. 1 이미지 분석을 위한 연속 DL은 새로운 데이터 속성에 적응하는 동시에 이전 데이터로 작업할 수 있는 기능을 유지합니다. a Static DL: DL 모델을 학습 및 배포한 후 기술이 변경되고 모델의 정확도가 떨어집니다. b 이 한계를 해결하기 위한 순진한 연속 학습 접근 방식은 데이터 스트림에서 모델을 계속 훈련하는 것입니다. 그러나 이는 이전 데이터 속성을 잊어버리고 해당 데이터에 대한 성능 저하로 이어집니다. c 지속적인 학습 접근 방식으로 동적메모리새로운 새로운 영역을 인식하고 그에 따라 연속 스트림에서 데이터를 샘플링합니다. ML 모델은 새로운 기술에 적응하지만 이전에 본 다양한 스캐너 세트에서 정확성을 유지합니다. 이는 모델의 이전 버전과의 호환성을 보장하고 새 스캐너에 더 빨리 적응하는 보다 안정적인 모델을 구축하는 데 중요합니다. 2 별도의 테스트 세트에 대한 검증은 기간 종료 시 DL 모델 성능을 평가합니다.
훈련이 완료된 후 4개의 스캐너 모두의 데이터가 포함된 별도의 테스트 세트에서 모든 접근 방식의 분할 정확도를 비교했습니다. 또한 BWT(Backward Transfer) 및 FWT(Forward Transfer)를 평가하여 한 스캐너의 모델 정확도가 다른 스캐너의 모델 교육으로부터 이점을 얻었는지 여부를 구체적으로 평가했습니다.
표 2에서 접근 방식은 LV, RV 및 MYO에 대한 평균 Dice 점수 측면에서 비교됩니다.메모리사이즈 M {{0}}. LV, RV 및 MYO 세분화에 대한 평가는 개별적으로 유사한 경향을 보였습니다(보충 표 1-3 참조). DM 및 DM-PD는 유사하게 수행되었으며 도메인 구성원에 대한 정보가 필요하지 않은 다른 모든 연속 학습 전략(Naive, Random 및 EWC)보다 우수한 성능을 보였습니다. 마지막 도메인(스캐너 D)의 이미지에 대해 EWC의 평균 주사위 점수가 가장 높았습니다(0.850 ± {{10}}.{16}}03). 그러나 높은 음의 BWT 값( - 0.014 ± 0.007)을 희생하여 치명적인 망각이 발생했음을 보여줍니다. DM 및 DM-PD는 각각 0.{15}} 및 0.003의 중립 BWT로 표시된 대로 망각 현상이 없었습니다. GEM 및 ER-MIR는 DM-PD와 유사한 성능을 나타내었지만 개별 샘플의 도메인 구성원에 대한 정보가 필요하여 임상 실습에서 실현 가능하지 않았습니다. 무작위 교체 전략이 있는 메모리를 DM 및 DM-PD와 비교하면 DM에 사용된 스타일 메트릭이 샘플을 선택하여 다양한메모리. 무작위 교체로 인해 이전 도메인을 잊어버렸습니다.DM 및 DM-PD가 모든 스캐너에서 우수한 성능을 유지하는 동안 지속적인 교육 과정(-{0}}.011의 BWT).
720개 이미지의 상대적으로 작은 샘플 크기가 훈련에 사용된 스캐너 B의 데이터에서 DM과 DM-PD는 도메인 구성원 정보 없이도 좋은 성능을 얻을 수 있었습니다. 무작위 교체, EWC 및 순진한 교육을 통한 학습은 스캐너 B의 상당한 성능 저하를 가져왔습니다. 이는 그램 매트릭스 기반 스타일 메트릭을 사용함으로써 DM이 다른 지속적 학습 전략보다 스캐너 공급업체당 샘플 수에 덜 민감하다는 것을 보여줍니다. .
J 모델은 학습이 달성할 수 있는 것의 상한선이었습니다. 특히 샘플이 거의 없는 도메인의 경우(예: 스캐너 B의 경우) 연속 학습과 모든 데이터에 액세스하는 가상의 정적 배치 학습 간의 성능 격차가 높았습니다({{0 }}.763 ± 0.004 대 0.798 ± 0.016). 이는 지속적인 학습에서 과소 대표된 샘플이 정적 교육보다 덜 자주 표시된다는 사실 때문입니다. 보충 표 4에서 다른메모리DM과 DM-PD에 대한 M{0}} 〈64, 128, 256, 512, 1024〉의 크기를 비교하였다. 더 추가메모리결과적으로 더 나은 성능을 얻었지만 훈련 역학의 차이(JModel은 배치 방식으로 학습하므로 연속 학습 설정에서보다 더 많은 배치를 볼 수 있음)로 인해 JModel의 성능을 달성할 수 없었습니다. 작은 DM으로메모리ofM {{0}}은(는) 훈련 데이터 분포의 다양성을 정확하게 포착하지 못하여 망각(BWT=− 0.005)하는 결과를 낳았습니다.
cistanche의 용도: 기억력 향상
그림 2는 지속적인 훈련 과정에서 평균 DSC가 어떻게 변했는지 보여줍니다. EWC 및 순진한 연속 학습의 경우 치명적인 망각이 관찰되었으며 새 도메인이 모델 교육에 진입함에 따라 이전 도메인의 정확도가 감소했습니다. DM 및 DM-PD의 경우 지속적인 교육이 진행됨에 따라 모든 영역에서 정확도가 더 안정적이었습니다.
그림 3에서 의미론적 분할의 정성적 평가는 다양한 연속 학습 접근 방식에 대해 유사한 성능 결과를 보여주었습니다. 그러나 순진한 연속 학습은 스캐너 D에 대해 더 나은 결과를 보여주었지만 DM 및 DM-PD는 이전에 본 도메인을 포함한 모든 스캐너에서 잘 수행되었습니다. 기본 모델(스캐너 A 데이터로만 훈련됨)과의 비교는 모델을 변화하는 시각적 모양에 적응시키기 위해 지속적인 학습 방법이 필요함을 보여주었습니다. 기본 모델은 스캐너 B–D에 대한 정확한 분할을 수행하지 못하여 많은 수의 위음성이 발생했습니다.
동적메모리폐 결절 감지에 대한 치명적인 망각을 완화합니다. 폐 결절 감지는 2D CT 슬라이스에서 경계 상자 감지로 수행되었으며 평가 섹션에 정의된 대로 평균 정밀도(AP)로 측정되었습니다. 4개의 이미지 도메인이 데이터 스트림에 포함되었습니다. 저주파 재구성 알고리즘(GE/L)이 있는 GE; 고주파 재구성 알고리즘(GE/H)이 있는 GE; 지멘스; 및 LNDb(자세한 내용은 '데이터 세트' 섹션 참조), 다음 스캐너 E–H. 기본 훈련은 스캐너 E의 데이터에 대해 수행되었습니다. EWC의 정의로 인해 탐지 작업에 대한 직접적인 비교가 불가능했습니다. DM 및 DM-PD는 무작위 대체 메모리 및 순진한 연속 학습 접근 방식과 비교되었습니다.
세분화와 유사하게 도메인 레이블(DM 및 DM-PD에는 필요하지 않음), GEM19 및 ER-MIR20이 필요한 두 가지 최첨단 방법이 참조로 평가되었습니다. 베이스라인 모델로 JModel(Joint Model)과 DSM(Domain-Specific Model)을 비교하고, 정적 베이스 모델(Base)에 대한 결과를 분할 실험과 유사하게 평가하였다. 작업 네트워크로 ResNet-50 백본이 있는 Faster R-CNN이 사용되었습니다22.
전반적으로 DM-PD와 DM은 표 3에서 볼 수 있듯이 순진한 접근 방식보다 AP 측면에서 더 나은 성능을 보였습니다. 둘 다 순진한 방법을 능가하고 치명적인 망각에 효과적으로 대응했습니다. LIDC(스캐너 E, F, G)에서 추출한 모든 도메인에 대해 DM이 잘 수행되었습니다. 그러나 모든 방법에 대해 Scanner H의 성능이 저하되는 것을 관찰했습니다. 이 감소는 대규모 도메인 이동에 더하여 인구 이동으로 인해 발생했습니다. LIDC 데이터에서 폐 결절의 평균 직경은 8.29mm인 반면 Scanner H 데이터(LNDb에서 추출)에는 평균 직경이 5.99mm인 작은 병변이 포함되었습니다. 설계상 DM은 인구 이동(즉, 영상 특성과 반대되는 병변 특성의 변화)을 감지하지 못하므로 스캐너 H 데이터에 빠르게 적응할 수 없습니다. 무작위 대체 전략은 학습 영역(스캐너 F 및 G)이 시간이 지남에 따라 스캐너 H 데이터로 대체되어 해당 스캐너를 잊어버리기 때문에 학습에 덜 자주 존재하는 학습 영역과 씨름했습니다. 이 스캐너의 데이터에 대해 기본 교육이 수행되었기 때문에 스캐너 E 데이터의 경우 이 효과가 덜 심각했습니다. DM과 DM-PD는 스타일 기반 메트릭을 사용하여 이러한 망각에 대응하여메모리따라서 모든 스캐너의 샘플을메모리. DM-PD는 유사 도메인 감지 없이 DM보다 더 나은 성능을 보여 교육 프로세스의 균형을 유지하는 것이 지속적인 학습 방법의 중요한 단계임을 보여줍니다. DM-PD는 AP 측면에서 최고의 성능을 보였고 스캐너 E, F 및 G에 대해 약 0.05 AP만큼 순진한 접근 방식을 능가했습니다. 또한 DM-PD/128에서 최고의 역방향 및 순방향 전송성이 관찰되었습니다. . 따라서, 폐 결절 검출을 위한 바람직한 모델이었다.
그림 2 심장 MR 분할. 무작위 교체 및 순진한 연속 학습과 비교하여 DM 및 DM-PD에 대한 M=128에 대한 훈련 중 검증 세트의 주사위 점수(DSC). 하단의 타임라인은 지속적인 데이터 스트림과 스트림의 도메인 변경을 나타냅니다. 스캐너 A에 대한 DSC 하락은 스트림에서 스캐너 B가 발생할 때 관찰될 수 있으며, DM 및 DM-PD는 다음을 사용하여 이 하락으로부터 복구할 수 있었습니다.메모리; b 스캐너 C로 훈련하는 동안 모든 방법이 안정적이고 c 스캐너 D 데이터가 유입되자마자 스캐너 D 검증 샘플에 대한 DSC가 빠르게 상승하는 것을 볼 수 있습니다. 순진한 무작위 교체는 해당 기간 동안 일부 DSC 점수를 잃는 반면 DM은 안정적으로 유지됩니다. 이 중요하고 빠른 변화는 스캐너 D가 다른 스캐너와 다르고 스캐너 B와 C만큼 밀접하지 않다는 것을 보여줍니다.
보충 표 5는 서로 다른 비교 결과를 보여줍니다.메모리크기 M=〈64, 128, 256, 512, 883〉(883은 연속 스트림의 모든 샘플을 메모리에 저장하는 데 해당). DM의 경우 작은 메모리 크기에 비해 큰 메모리 크기가 유리했습니다. DM-PD의 경우 결과는메모리(M=64 및 M=128) 단순한 DM에 비해 의사 도메인(PD) 감지에 의해 더 많은 성능 향상이 달성되었습니다. 더 큰 메모리 크기의 경우 PD의 이점이 사라졌습니다. 훈련 시퀀스의 차이로 인해 M=883이 있는 성능 DM은 JModel의 성능 DM과 다릅니다. DM/883이 스캐너 E와 F에서 더 나은 성능을 보인 반면, JModel은 스캐너 G와 H에서 더 높은 AP 값을 보였습니다.
그림 4에서 훈련 중 검증 성능의 변화는 무작위 교체와 비교하여 M=128이 있는 DM 및 DM-PD에 대해 표시됩니다.메모리그리고 순진한 지속적인 학습. 무작위 교체 및 순진한 전략이 망각을 나타내는 반면, 특히 스캐너 G의 경우 DM 및 DM-PD는 치명적인 망각 없이 높은 성능을 유지했습니다.
폐 결절 감지에서 DM의 성능을 자세히 분석하기 위해 M=128을 사용하는 DM 및 DM-PD에 대한 정밀 재현율 곡선을 첫 번째 스캐너 E의 데이터에 대해서만 훈련된 기본 모델과 순진한 연속 학습과 비교했습니다( 그림 5a). 기본 모델은 모델이 훈련된 영역의 테스트 데이터에서도 모든 영역에 대해 연속 학습 접근 방식보다 성능이 좋지 않았습니다. 이는 후속 스캐너의 지식이 스캐너 E의 최종 모델 성능을 향상시킬 수 있음을 보여줍니다. 예상대로 기본 모델의 성능은 후속 스캐너에서 저하되었습니다. 순진한 연속 학습 접근 방식의 정밀도-회상 곡선은 기본 모델보다 개선된 것으로 나타났습니다. DM 및 DM-PD와 비교하여 스캐너 E-G에서는 더 나쁜 성능을, 스캐너 H에서는 약간 더 나은 성능을 보였습니다. 이것은 순진한 지속적 학습이 새로운 스캐너에 적응할 수 있지만 DM 및 DM-PD와 대조적으로 모델을 스캐너 H 데이터로 업데이트하는 동안 잊어버렸습니다.
도 5b에는 4개 도메인 모두에 대한 경계 상자 감지가 표시됩니다. 전반적으로 DM 및 DM-PD에 비해 순진한 접근 방식에서 더 많은 위양성이 발생했습니다. 2D 슬라이스에서만 탐지를 수행했다는 사실을 감안할 때 DM과 DM-PD는 전반적으로 좋은 성능을 보였습니다. 폐 결절 감지의 경우, 도메인 이동이 알려지지 않은 연속 학습 설정에서 DM 방법으로 리허설을 사용하여 분명한 이점을 보여주었습니다.
의사 도메인 탐지는 보다 균형 잡힌 상태를 유지합니다.메모리.
폐 결절 감지의 경우, 우리는 M=128에 대해 유사 도메인 모듈을 사용한 DM 훈련과 의사 도메인 모듈 없이 훈련 간의 차이를 분석했습니다. 먼저 샘플에서메모리훈련이 끝날 때 모든 훈련 샘플의 그람 행렬을 t-분산 확률적 이웃 임베딩(TSNE)을 사용하여 임베딩 공간에 임베딩하여 전체 훈련 코퍼스와 비교하여 분포되었습니다.
그림 6a는 스캐너 F, 스캐너 H, 스캐너 E와 G의 도메인 간의 명확한 차이를 보여줍니다. 스캐너 E와 G는 해당 도메인에 사용된 유사한 재구성 커널로 인해 스타일에 따라 비슷했습니다. 그림의 마커는 샘플을 나타냅니다.메모리지속적인 훈련이 끝나면. DM-PD의 경우 전체 훈련 세트에 더 균등하게 분산되었습니다.
이 관찰은 의사 도메인(DM-PD)과의 균형 조정과 비교하여 DM만 사용한 교육에 대한 첫 번째 도메인(스캐너 E) 전체 후속 도메인의 명확한 과잉 표현을 관찰한 그림 6c에 표시된 데이터에 의해 확인되었습니다.
그림 3 심장 분할에 대한 정성적 예. 순진한 연속 학습 및 무작위와 비교한 M=128을 사용한 DM 및 DM-PD의 결과메모리바꿔 놓음. Mislabelled는 레이블이 지정된 픽셀을 참조하지만 클래스 구성원이 모델에 의해 혼동되었습니다. 기본 모델은 스캐너 A의 데이터에 대해서만 정적 학습 접근 방식으로 학습되었습니다.
그림 6b는 유사 도메인에 할당된 도메인 요소의 수에 대한 분석을 보여줍니다. 단일 훈련 실행의 예에서 5개의 유사 도메인이 감지되었습니다. PD-1는 스캐너 E의 실제 도메인을 나타냅니다. PD-4 및 PD-5는 두 스캐너 F 및 G의 샘플을 나타냅니다. PD-2 및 PD{7}에서 }, 도메인의 명확한 구분이 나타나지 않았습니다. 전반적으로 우리는 관찰했습니다.
그림 4 폐 결절 감지. 평균 정밀도(AP)는 M=128 및 무작위 교체를 사용하여 DM 및 DM-PD에 대한 학습 중 검증 세트에서 측정되었습니다.메모리순진한 연속 학습 접근 방식. 하단의 타임라인은 데이터 스트림의 도메인 변경 사항을 나타냅니다. 스캐너 F 데이터가 스트림에서 발생하자마자 스캐너 F(및 스캐너 G) 도메인에서 수행되는 검증이 모든 접근 방식에 대해 증가했습니다. b 스캐너 H 데이터에 대한 몇 가지 교육 단계 후에 스캐너 E, F 및 G에 대한 순진하고 임의적인 교체 접근 방식에서 성능(AP)이 분명히 떨어졌습니다. 이는 치명적인 망각을 나타냅니다. DM의 경우 성능이 처음에는 약간 떨어졌지만 메모리의 샘플이 훈련에 사용되기 때문에 몇 가지 훈련 단계 후에 회복되었습니다. DM-PD 성능은 스캐너 E, F 및 G에서 안정적으로 유지되었습니다. c 지속적인 교육이 끝난 후 동적 메모리를 사용했을 때 스캐너 E, F 및 G에서 더 나은 성능을 달성했습니다. 스캐너 H의 경우 세 가지 접근 방식 모두의 성능이 비슷했습니다. d 스캐너 E의 성능은 모든 접근 방식에 대한 전체 연속 교육 프로세스 동안 안정적이었고 스캐너 E에 대해 포화된 기본 교육을 보여줍니다. 훈련 세트 배포.
cistanche 리뷰: 기억력 향상
논의
머신 러닝은 진단 및 예후에 의료 영상 데이터의 사용을 확대하고 있습니다. 딥 러닝의 발전은 질병과 관련된 개체의 컴퓨터 탐지, 세분화 및 분류를 가능하게 하여 개별 치료 결정에 정보를 제공합니다. 정적 DL의 첫 번째 반복 후에 모델이 효과적인 것으로 입증되었습니다. 이제 과제는 이미지 수집 기술, 프로토콜 또는 치료 옵션이 지속적으로 발전하는 환경에서 모델을 지속 가능하게 만드는 것입니다. 여기에서 우리는 다양한 역동성을 유지하는 접근 방식을 보여줍니다.메모리영역 이동에 대처하기 때문에 변화하는 이미징 기술에 모델을 적용할 수 있습니다. 중요한 것은 모델이 새로운 데이터에서 학습하는 동안 리허설의 다양성을 유지했다는 것입니다.메모리, 본 이미지 소스의 전체 레퍼토리에서 정확하고 신뢰할 수 있는 상태를 유지합니다. 또한 모델 지식이 스캐너 간에 성공적으로 전송되었음을 관찰했습니다. 다른 스캐너의 훈련 데이터를 포함하면 개별 스캐너의 모델 정확도에 대한 이점이 있습니다.
컴퓨터 단층 촬영(CT) 및 자기 공명 영상(MRI)과 같은 다양한 이미지 양식에서 스캐너 가변성 및 기계 학습(ML) 알고리즘에 대한 해로운 영향으로 인한 도메인 이동이 관찰되었습니다. CT의 경우 흉부 CT 검사를 위해 ML 예측과 인간 주석에 대한 스캐너 및 재구성 매개변수의 영향이 연구되었습니다. 스캐너 가변성이 radiomics24,25 및 기타 이미징 기능26에 부정적인 영향을 미친다는 것을 보여주기 위해 ML 모델을 설계할 때 이를 고려해야 합니다. 참고로 도 27에 도시된 바와 같이, 다중 MRI 스캐너를 사용하여 뇌 MRI를 위한 ML 알고리즘에 미치는 영향을 실증적으로 평가하였다. 세로, 다중 스캐너 MRI 연구에서 스캐너 가변성의 영향을 줄이기 위해 조화28,29가 적용되었습니다. 그러나 우리의 작업과 달리 이러한 방법은 모든 데이터를 한 번에 사용할 수 있다고 가정하며 이는 임상 실습에 배포된 모델의 경우가 아닙니다.
이전에는 지속적인 학습 환경에서 치명적인 망각10,11을 완화하기 위해 다양한 방법이 제안되었습니다. 이러한 접근 방식은 리허설 및 의사 리허설 방법19,30-33, 정규화 기반 접근 방식18,34,35 및 매개변수 격리 방법36,37의 세 가지 범주로 크게 나눌 수 있습니다. 자세한 리뷰는 refs. 10,11. 이러한 접근 방식의 대부분은 점진적 작업 학습 방법입니다. 그들은 이전 작업에 필요한 지식을 잊지 않고 점진적으로 새로운 작업을 배우는 데 집중합니다. 최근에 도메인 이동을 설명하는 데 중점을 둔 방법이 제안되었습니다38-40. 도메인 적응(DA)은 도메인 이동41-43을 다루는 관련 연구 영역입니다. DA가 중점을 둡니다.
그림 5 폐결절 검출에 대한 정량적 및 정성적 결과. a 최종 나이브, DM 및 DM-PD 훈련 모델의 정밀 재현율 곡선과 스캐너 E 데이터만 훈련된 기본 모델 비교. 음영 영역은 n=5개의 독립적인 학습 실행에 대한 신뢰 구간을 나타냅니다. b 최종 naive, DM 및 DM-PD 훈련 모델의 폐 결절 검출 샘플은 4개 도메인 모두에서 스캐너 E 데이터로만 훈련된 기본 모델과 비교됩니다. 녹색 상자는 참 양성, 노란색 상자는 거짓 음성, 빨간색 상자는 거짓 양성을 나타냅니다.
하나 또는 여러 소스 도메인에서 학습한 지식을 대상 도메인에 적용합니다. 의료 영상에서 DA는 다른 영상 방식이나 영상 획득 설정 사이에 적응하는 데 사용됩니다44. 연속 데이터 스트림을 사용하는 설정에는 적용되지 않는 소스 및 대상 도메인에 한 번에 액세스하는 것으로 가정합니다. 또한 DA는 각 샘플에 대한 도메인 또는 작업 구성원에 대한 지식이 필요합니다. 이 가정은 실제 의료 영상에서는 현실적이지 않습니다. 여기에서 이미지 획득 정보를 인코딩하는 메타데이터의 가변성은 이미징 특성의 비교 가능성에 직접 매핑되지 않습니다13. 우리는 이 지식에 접근할 수 있다고 가정하지 않기 때문에 이러한 방법은 임상 루틴의 지속적인 학습에 적용할 수 없습니다. 따라서 현재까지 그들은 실제로 채택되지 않았습니다. 세 번째 관련 영역은 전이 학습45입니다. 여기서 기존 모델은 새 데이터를 미세 조정하여 새 작업이나 도메인으로 이전됩니다. 유일한 목표는 초기 영역에서 잘 작동하는 기능에 관계없이 해당 모델에서 잘 수행되는 모델입니다. 미세 조정 중에는 초기 도메인의 데이터가 필요하지 않습니다.
우리의 결과는 초기 훈련 분포 외부의 이미지 수집 기계로 데이터를 수집할 때 분할 및 감지하는 정적 모델의 용량이 제한됨을 보여줍니다. 동시에 새로운 스캐너에 대해 지속적으로 훈련하는 순진한 접근 방식은 오래된 이미징 특성을 잊어버리고 이전 수집 특성으로 데이터를 처리하는 능력을 상실합니다. 다양한 리허설 세트를 유지하면서 새로운 훈련 데이터를 지속적으로 포함함으로써 동적 메모리는 관찰된 전체 스캐너 세트에서 우수한 성능을 산출합니다. 유사한 스타일 또는 이미징 특성을 나타내는 하위 코호트를 나타내는 유사 도메인의 감지는 스캐너에 해당하는 이미지 그룹 또는 유사한 외관 속성을 공유하는 스캐너 그룹을 생성합니다. 그들의 탐지 및 교육 과정에 대한 주입
그림 6 강화메모리다양성. DM에 대한 메모리 구성과 M=128에 대한 DM-PD 비교. 훈련 세트의 그람 행렬에 대한 TSNE는 도메인의 구별을 보여줍니다. 마커는 한 번의 실행에 대한 훈련이 끝날 때 메모리 요소의 위치를 보여줍니다. DM-PD는 전체 훈련 세트에 대해 더 균등한 분포를 보여줍니다. b DM-PD의 단일 훈련 실행에 대해 5개의 유사 도메인이 감지되었습니다. 막대는 의사 도메인에 할당된 도메인 요소의 수를 나타냅니다. c 도메인 요소의 양메모리DM 및 DM-PD 교육 후. 오차 막대는 표준 편차와 평균(가운데 선), n=5 독립 실행을 나타냅니다.
DM은 모델 성능을 더욱 향상시킵니다. 중요한 것은 이러한 유사 도메인이 이미징 특성을 공유하는 경우 여러 스캐너에 걸쳐 있을 수 있다는 것입니다. 스타일 기반 메트릭의 사용은 도메인 멤버십 지식의 필요성을 줄이고 이 정보를 사용하는 최첨단 연속 학습 방법과 유사한 성능을 보여줍니다.
특정 스캐너 모델의 훈련과 비교하여 접근 방식의 또 다른 이점은 특정 스캐너의 모델 성능이 일반적으로 다른 스캐너의 훈련으로부터 이익을 얻는다는 것입니다. 모델의 기능 표현은 관련이 있지만 다른 데이터에 대한 교육을 통해 더 나은 일반화 가능성을 얻습니다. 이것은 이전 스캐너에 대한 교육(정방향 전송)과 그 반대(역방향 전송)에 대한 교육을 통해 새로운 스캐너 데이터를 처리하도록 합니다. 결과는 다양한 영상 기법(MRI, CT)과 영상 분석 작업(분할, 감지)에서 일관되었습니다.
심장 MRI 세분화의 결과는 DM이 순진한 연속 학습에 비해 유익한 것으로 입증되었으며, 모든 도메인의 데이터로 구성된 정적 훈련 세트에서 훈련된 모델과 비교할 때 덜 치명적인 망각과 결과에 도달했습니다. CT의 폐 결절 검출에서도 유사한 효과가 발생했으며, 결과에 따르면 유사 도메인(DM-PD)을 사용하면 표준 동적 검출보다 위양성 검출이 더 적습니다.메모리.
사막의 cistanche 드래곤 허브
우리의 접근 방식은 잠재적으로 임상 실습에 배포할 수 있는 의료 이미지의 지속적인 데이터 스트림에 대해 학습하는 전략 설계를 향한 단계입니다. 그럼에도 불구하고 이 방법에는 몇 가지 제한 사항이 있습니다. 첫째, 스캐너의 수가 크게 증가할 때 미래에 치명적인 망각이 없음을 보장하는 시스템을 설계할 수 있음을 입증하기 위해 더 많은 연구가 필요합니다. DL 모델의 성능이 미래 도메인에서 떨어지지 않을 것이라는 것을 증명하는 것은 어려운 일입니다. 둘째, DM은 훈련 중 리허설을 위해 이미지의 하위 집합을 저장해야 합니다. 이 리허설 세트는 전체 데이터 세트보다 훨씬 작지만 개인 정보 보호 문제 또는 저장 제한이 관련될 수 있습니다. 마지막으로 데이터 스트림의 각 샘플에 사용할 수 있는 훈련을 위한 대상 레이블이나 경계 상자가 있다고 가정하고 사례에 주석을 추가하는 비용을 고려하지 않습니다. 임상 실습에서는 이 가정이 성립하지 않으며, 경제적으로 알려지지 않은 도메인에 대한 새로운 주석을 수집하려면 능동 학습46과 같은 Human-in-the-loop 개념7이 필요합니다.
