초록 열기/닫기 버튼
전 세계적으로 무인 항공기 제어를 위한 다양한 알고리즘이 제안되었지만 탐색시간, 불명확한 규칙 등의 제한사항이 있었다. 이를 극복하기 위하여 본 연구에서는 심층 강화학습을 이용한 제어 기법을 적용하고 효과적인 학습을 위하여 조준각도(ATA) 기반의 커리큘럼 러닝을 제안한다. 제안한 기법의 효용성을 확인하기 위하여 항공기 질점 6-자유도 모델을 적용한 3차원 시뮬레이션 환경을 구축하고 두 항공기가 서로 뒤돌아 보고 있는 상황에서 격추하는 시나리오를 학습하였다. 그 결과 커리큘럼 러닝을 적용하지 않았을 경우 ATA 60° 이상은 제한된 시간에 학습이 완료되지 않은 것이 반해 ATA 기반 커리큘럼 러닝을 적용한 경우에는 별도의 보상함수 추가 없이 180°까지 학습이 완료되는 것을 확인하였다.
Diverse algorithms have been proposed to control unmanned aircrafts. However, they have limitations such as long exploration time and/or unclear behavior rules. To overcome the drawbacks and for efficient training, we propose an aircraft control technique using deep reinforcement learning applying antenna train angle (ATA) based curriculum learning. To validate the effectiveness of the proposed technique, we constructed a 3D simulation environment adapting a 6-DOF aircraft point model and conducted training with an initial setting of two fighters in the neutral position situation where they are looking back. The results showed that the proposed technique can achieve the goal of ATA 180° when the fighters are looking back without adding supplemental reward functions, while the deep reinforcement learning (DRL) without ATA curriculum could not succeed the learning over ATA 60° in a limited training time.
키워드열기/닫기 버튼
deep reinforcement learning, curriculum learning, aircraft control, ATA
