brunch

매거진 AI

You can make anything
by writing

C.S.Lewis

[카카오AI리포트]최신 AI 논문: 의료 가상 바카라

이지민 | 서울대 방사선의학물리연구실

CNN 기반 엑스레이 CT 메탈아티팩트 제거 방법

(Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography)*7

가상 바카라[ 그림 1 ] MAR에 사용되는 CNN 구조


가상 바카라(image) 기반 문제 해결에 CNN과 GAN과 같은 딥러닝알고리듬이 높은 성능을 보이고 있는 요즘, 의료 AI 분야에서도의료 가상 바카라 데이터를 이용한 연구가 활발히 진행되고 있다. 이번호에서는 의료 가상 바카라 중 잘 알려진 CT (computed tomography)가상 바카라의 여러 문제들을 딥러닝을 통해 해결해보고자 하는 논문에대해 리뷰하고자 한다. 소개하는 논문은 CT 가상 바카라에서 발생하는 메탈아티팩트(metal artifact)*8를 딥러닝을 이용해 제거해보고자 하는연구를 담고 있다.


가상 바카라 소개

본 논문은 직접 CT 가상 바카라 데이터베이스를 만들어 CNN과 기존의MAR(metal artifact reduction)방법을 적절히 차용하여 향상된성능을 보여준다. 데이터 확보를 위해 필요한 CT 가상 바카라을 수치시뮬레이션(numerical simulation)하여 직접 생성한 것과, CNN 학습시 기존에 알려진 MAR 방법인 BHC (beam hardening correction)와 LI (linear interpolation)를 학습에 반영하고자 한 것이 흥미롭다.


연구 방법

1) Metal Artifact Database 생성(numerical simulation 방법 사용)

・ "The 2016 Low-dose CT Grand Challenge" 학습 데이터셋(training dataset)을 사용하였다.

・ 위 데이터 셋에서 메탈 아티팩트가 발생한 가상 바카라을 추출하여금속 부분을 분리(segmentation)하고 바이너리 이미지(binaryimage)로 저장하는 방법을 통해 [그림 2]의 Metal Implants 에해당하는 총 15개의 금속 형태(metal shape)를 추출하였다.

・ [그림 2]의 Metal-free에 해당하는 74장의 금속이 없는(metal-free) CT에서 추출한 metal shape를 최대한 실제 임상케이스(clinical case)에 맞도록 금속의 모양, 위치, 재질(티타늄, 철,구리, 금) 등을 조절하고 삽입하여, 총 100개의 CT 를 합성하였다.이것이 [그림 2]의 Metal-inserted에 해당한다.

・ Metal-inserted 가상 바카라을 기존에 사용되던 MAR 방법인 BHC과 LI를적용하여 각각 추가 가상 바카라 [그림 2]의 BHC와 LI 를 획득하였다.


가상 바카라[ 그림 2 ] 유형별 대표 샘플

2) CNN 학습

・ 입력 : 64×64×3 image patch (Metal-inserted, BHC, LI 가상 바카라을 3채널로 묶고, 작은 패치(patch)로 추출, 원본 이미지 크기 : 512×512)

・타겟 : 64×64 image patch (Input patch 와 동일 위치의 metal-free image 에서 추출한 patch)

・ 비용함수(cost function) :

가상 바카라

(|| ・ ||F : Frobenius norm, R : 학습샘플의 수, H(ur): 입력 데이터셋,Vr: 타겟 데이터셋)
・ 학습 소요 시간 : 25.5 시간(2000 iterations with GeForce GTX970 GPU)


3) 가상 바카라 method

・[그림 3] 에서 CNN을 접목한 MAR 방법을 도식화하여 보여주고있다.
・먼저 원본 사이노그램(Original Sinogram) 으로부터 Original(Metal-inserted)*9, BHC, LI 가상 바카라을 생성하여 3 채널로 묶는다.

・2)에서 학습된 CNN을 통해 3 채널로 묶인 가상 바카라으로부터 메탈아티팩트가 감소된 CNN 생성 이미지(CNN generated image)가생성된다.
・CNN generated image 로부터 tissue processing을 하여 CNNPrior 가상 바카라을 생성하고, 전방 투시법(forward projection)을 통해1차 사이노그램(Prior Sinogram)이 생성된다.


*사이노그램이란?

CT는 방사선(x-ray)을 인체에 투과시켜 얻은 정보들로 가상 바카라을 재구성하여 만들어진다.x-ray가 어떤 물체를 통과하고 난 이후의 세기를 측정하면, p(s, Φ)를 획득할 수 있게 되는데, 이를 조사각도 Φ에서의 투사된 가상 바카라(projection)이라고 한다. 그리고 x-ray를 여러각도에서 조사하여 투사된 가상 바카라을 얻으면, 각도에 따라 p(s, Φ)도 달라진다.*10이렇게획득한 p(s, Φ)를 s와 Φ를 양 축으로 한 2차원 평면에 나타낸 것이 사이노그램이다.*11


・맨 왼쪽의 Original (Metal-inserted) Image 로부터 금속 부분만분리하여 금속부분만 나타난 이미지(Metal Only Image)를생성하고 전방투사법을 하면 금속 모양(metal trace) 만 있는사이노그램이 생성된다.

・Metal Trace Sinogram 과 Prior Sinogram을 이용해 OriginalSinogram 으로부터 메탈의 흔적을 제거하면(metal trace replacement)를 하면 보정된 사이노그램(corrected sinogram)이 된다.

・Corrected Sinogram을 FBP (filtered back projection: Sinogram을가상 바카라으로 변환해주는 과정인 FBP)를하면 최종적으로 CNN-MAR 이미지가 생성되게 된다.


[ 그림 3 ] 가상 바카라 방법의 흐름도(flowchart)


4) Numerical Simulation을 통해 생성된 가상 바카라(metal artifact database)에 대한 CNN-MAR 성능 평가
학습에 사용되지 않은 세 가지 케이스를 통해 제안된 가상 바카라방법의 성능을 평가해보았다.


[ 그림 4 ] 고관절 인공보철물(two hip prostheses)이 삽입된 고관절 가상 바카라에서의 실험결과, Case 1
[ 그림 5 ] 여러 보철물이 삽입된어깨 부위가상 바카라에서의실험결과, Case2


[ 그림 6 ] 충치 치료 시 사용하는 치과용 충전제(several dental fillings)가 삽입된 치아부위 가상 바카라에서의 실험 결과, Case 3


본 논문에서 제안한 CNN-MAR 방법을 비롯하여 기존에 사용되던MAR 방법인 BHC, LI, NMAR (normalized metal artifact reduction) 방법을 통해 생성된 가상 바카라들과 레퍼런스 가상 바카라을비교하기 위해서, 평균 제곱근오차(root mean squared error,RMSE) 와 구조유사도(structural similarity, SSIM) 인덱스(index)를사용해 정량적으로 평가하였다.


5) 실제 환자 CT (real data) 에 대한 가상 바카라 성능 평가

CNN-MAR 방법의 성능을 평가하기 위해 Numerical Simulation을통해 생성된 가상 바카라이 아닌 실제 환자의 가상 바카라도 평가에 사용되었다.

[ 그림 7 ] 두경부 가상 바카라에서의 실험 결과

환자는 머리에 외과용 클립(surgical clip) 이 삽입되어 있으며[그림 7]을 보면, 촬영에는 지멘스(Siemens)의 소마톰(SOMATOMSensation 16 CT scanner)이 사용되었다.(120 kVp, 496 mAs)촬영을 통해 1160개의 투사된 가상 바카라(projection view)을 얻었으며,외과용 클립으로 인해 발생한 메탈 아티팩트를 CNN-MAR 및 다른방법으로 개선한 뒤 그 성능을 비교하였다.


실험 결과

1) Numerical Simulation을 통해 생성한 가상 바카라에 대한 결과[그림 4], [그림 5], [그림 6]을 보면 세 케이스 모두 CNN-MAR 방법을 적용했을 때, 피부 조직 부분을 잘 보존하면서도가장 레퍼런스 이미지(reference image)에 가까운 복원능력을보여주었다.

[ 표 1 ] 수치 시뮬레이션 연구결과, 복원된 가상 바카라들의 평균 제곱근오차(RMSE)

[표 1]은 각각의 MAR 방법으로 복원된 가상 바카라들과 레퍼런스이미지와의 RMSE(평균 제곱근오차)를 계산한 결과이다. CNN-MAR 방법을 통해 복원된 가상 바카라이 모든 케이스에서 가장 작은 RMSE값을 가짐을 알 수 있다.

[ 표 2 ] 수치 시뮬레이션 연구결과, 복원된 가상 바카라들의 구조 유사도(SSIM)

[표 2]는 각각의 MAR 방법으로 복원된 가상 바카라들의 구조 유사도를비교한 결과이다. 구조 유사도 역시 CNN-MAR 방법을 통해 복원된가상 바카라에서 가장 높은 결과를 보였다.


2) 임상 적용(clinical application)

[그림 7]을 보면, 실제 환자 CT 가상 바카라에 대해서도 CNN-MAR기법이 가장 우수한 성능을 보인 것을 확인할 수 있다. CNN-MAR방법을 적용할 경우, 메탈 아티팩트가 잘 제거되었고 (화살표 1로표시된 검은 부분들이 잘 복원됨), 뼈 구조(bony structures) 역시변형시키지 않았다.


3) Properties of the Proposed 가상 바카라

가상 바카라 방법의 특성을 알아보기 위해 다양한 실험을추가적으로 진행하였다.

[ 그림 8 ] Tissue Processing 없이 CNN 만으로 실험한 결과


・ 우선 tissue processing 의 효과를 확인하기 위해, tissueprocessing 없이 CNN 만으로 prior image 를 생성해본 결과, 메탈아티팩트가 완전히 사라지지 않고 일부 남아있는 모습을 보였다.([그림 8]의 화살표 참고)

・ 따라서 CNN 과 tissue processing 은 서로 상호보완적인 관계로활용되고 있다는 것을 알 수 있다.

・ 또한 CNN의 입력값(input)으로 원본 이미지(original image)와함께 들어가는 기존의 다양한 MAR 적용 가상 바카라들에 대해서도평가해보고자, 입력값(input)을 다양한 채널로 구성하여 추가 실험을 진행했다. (2 채널 : Original + LI / 3 채널 : Original + BHC+ LI / 5 채널 : Original + BHC + LI + NMAR1 + NMAR2)


[ 표 4 ] 채널별 CNN과 CNN-MAR 방식으로 복원된 가상 바카라들의 평균 제곱근오차(RMSE)와 구조 유사도(SSIM)

・ [표 3]의 결과를 보면 5 채널 의 경우 성능이 가장 좋았으며 [표 3],이는 CNN이 기존의 다양한 종류의 MAR 방법들을 통합할 수 있는 가능성을 지닌다고 저자들은 설명하였다.


결론

연구 결과, 제안된 가상 바카라 방법에서 사용된 CNN 과 tissueprocessing 은 상호 보완적인 관계를 가지며, 함께 사용되어 메탈아티팩트를 줄이고 주변의 세밀한 구조들을 복원하는 우수한성능을 보여주었다. (CNN 은 서로 다른 MAR 방법으로부터 유용한정보를 융합하였으며, tissue processing 은 대부분의 아티팩트를제거하고 우수한 품질의 prior image를 생성하였다.) 이후 추가연구를 통해 학습데이터를 늘리고 다양한 MAR 방법을 융합하여,가상 바카라 방법의 성능을 향상시킬 예정이라고 한다.



글| 이지민 ljm861@gmail.com


늘 행복하고 싶은 대학원생. 학부 때는 딥러닝과 전혀 상관없는 원자력 및 양자공학을 전공하였고,대학원에 진학하여 의학물리학을 공부하던 중 교수님의 추천으로 딥러닝 공부도 함께 시작하게되었다. 학부 때 여러 행사를 준비했던 경험이 있어 운이 좋게도 TensorFlowKR 운영진으로활동하게 되었으며, 지식의 교류가 활발한 이 분야에 엄청난 매력을 느끼고 있다. 현재 라이언의무심한 귀여움에 반해 짝사랑 중이며, 핸드폰 케이스, 마우스 패드를 포함한 라이언 굿즈를 10개넘게 보유하고 있다.




참고문헌

*7가상 바카라 | Zhang,Y. & Yu, H. (2017). Convolutional neural network based metal artifact reduction in X-ray computedtomography, arXiv:1709.01581.

*8참고 | CT 가상 바카라은 몸에 방사선(x-ray)을 조사하여 획득하게 되는데, 체내에 금속성 물질(예: 금니, 인공 관절, 인공심장박동기 등)을 삽입한 환자가 CT를 찍게 되면 Beam HardeningEffect, 산란(scatter), 푸아송 노이즈(Poisson noise), 환자의 움직임(motion) 등의 다양한 원인에 의해 가상 바카라에인공음영이 생성된다. 이렇게 몸에 삽입된 금속성 물질로 인해 발생하는 인공음영을 메탈 아티팩트라고 일컫는다. 메탈 아티팩트를 감소시킬 목적으로 지멘스(SIEMENS)의 iMAR#, 필립스(PHILIPS)의 OMAR, GE헬스케어(GEHealthcare)의 Smart MAR 등의 상용화된 MAR 소프트웨어가 출시되었지만, 아직까지도 촬영 부위에 따라 효과적이지 못한 경우가 많이 발생하고 있다. 따라서 이 문제를 해결하고 가상 바카라의 품질을 개선하려는 연구들이 현재까지 계속되고 있다. 최근 딥러닝을 활용한 가상 바카라연구가 괄목하게 발전하면서, 메탈 아티팩트 문제도 딥러닝을 접목해서 해결하려는 연구가 활발하게 전개되고 있다.

*9참고 | 같은 가상 바카라의 III. B. Tissue Processing에 자세히 설명되어 있습니다.

*10참고 | http://terms.naver.com/entry.nhn?docId=3572221&cid=58944&categoryId=58970*11참고 | https://patentimages.storage.googleapis.com/US8509504B2/US08509504-20130813-D00000.png


[카카오 AI 리포트] Vol. 7_06. 다운받기

[카카오 AI 리포트] Vol. 7 전체글 다운받기


브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari