초록 열기/닫기 버튼
최근 컴퓨터 비전분야에선 딥러닝의 발달과 함께 이미지 분류 임무에 대한 성능이 급격한 발전을 이루고 있다. 의학 분야에서는 이러한 분류 임무가 여러 종류의 질병을 검출하고 진단하는 데 널리 이용되어 왔다. 본 논문에서는 기존의 이미지 분류를 위해 많이 사용되고 있는 딥러닝 네트워크에 특권 정보를 추가적으로 이용하여 폐렴을 검출하는 방법을 제안한다. 특권 정보는 이미지 내에서 분류 임무와 직접적으로 관련된 영역으로, 본 연구에서는 이미지 내 폐 영역으로 설정하였다. 이와 같은 특권 정보는 근래에 많이 활용되는 내재적 주의집중(implicit attention)의 역할을 함으로써 모델로 하여금 분류 임무와 직접적인 관련이 있는 영역에 집중하도록 도와준다. 본 연구에서는 파라미터가 공유된 VGG-16 모델을 두 개 사용하였는데, 이 중 한 네트워크에는 주 정보인 이미지 자체를 제공하고, 또 하나의 네트워크는 정보 병목, 가우시안 드롭아웃, 리파라미터라이제이션 기법을 이용하여 특권 정보를 제공하였다. 원본 데이터 셋보다 작은 다양한 크기의 데이터 셋을 특권 정보를 제공하였을 때와 제공하지 않았을 때를 비교하였다. 특권정보를 제공하였을 때, 테스트 정확도와 F1점수가 모두 향상되었는데, 데이터셋이 작을수록 특권정보로 인한 성능 향상의 폭이 커졌다 (1,000장의 이미지를 사용했을 때는 테스트 정확도 3.5%, F1 점수 0.0285만큼 향상, 100장의 이미지를 사용했을 때는 테스트 정확도 3%, F1 점수 0.0173만큼 향상, 75장의 이미지를 사용했을 때는 테스트 정확도 16.72%, F1 점수 0.0629만큼 향상). 또한 특권 정보를 활용할 경우 모델의 판단에 기준이 된 영역을 활성화 맵을 통해 제시함으로써 해석 가능성을 보여주었다.
In a recent computer vision society, there has been an rapid improvement in the performance of image classification tasks along with the development of deep learning technology. In the medical field, these classification techniques have been widely exploited to detect and diagnose several types of diseases. In this paper, we propose a method to detect pneumonia by additionally providing predetermined privileged information with off-the-shelf deep learning networks based on Learning Under Privileged Information (LUPI) framework. The privileged information is a designated area within an image, and can serve as implicit attention, encouraging the model to focus on the area directly related to the task, and thus may improve the classification performance. As an example, in this paper, we designated lung areas as our privileged information. Our proposed model consists of two shared VGG-16 models; one is for processing main information, image itself, and the other is for processing privileged information through information bottleneck, Gaussian dropout, and reparameterization trick. We provided various sized datasets but smaller than the original dataset by resampling it and compared model performances with and without privileged information. Our experiment showed that privileged information improves the test accuracy and F1 score, and the performance gain by the privileged information remarkably increases as the size of dataset gets smaller: increasing test accuracy and F1 score respectively by 3.5% and 0.0285 with 1000 training images, by 3% and 0.0173 with 100 training images, and by 16.72% and 0.0629 with 75 training images. We also demonstrated that our model can be interpretable through the activation maps of our model with the privileged information.
