초록 열기/닫기 버튼
MTC(Many-Task Computing)는 상대적으로 짧은 작업 실행시간을 지니는 대규모 작업들을 고성능으로 처리하고자 하는 새로운 컴퓨팅 패러다임이다. 다양한 과학 응용 분야에서 MTC 패러다임을 요구하고 있으며, 이러한 MTC 응용들을 효과적으로 지원하기 위해서는 기존 배치 스케줄러의 성능을 뛰어넘는 고성능 작업 배포, 동적인 자원 할당 및 로드 밸런싱, 기존 빅데이터 응용과는 또 다른 형태의 데이터 집약형 워크로드 지원 등과 같은 기능들을 필요로 한다. 이에 따라 본 연구팀에서는 하둡(Hadoop) 플랫폼에서 대용량의 태스크들을 효과적으로 처리할 수 있는 MOHA(Mtc On HAdoop) 프레임워크를 개발하여 고성능 태스크 배포 성능을 확인하고, MTC 응용을 위한 스토리지 최적화를 위해 하둡의 기본 데이터 스토리지인 HDFS와 슈퍼컴퓨팅 분야의 Lustre 병렬파일시스템의 성능을 비교/분석함으로써 MTC 응용 실행에 적합한 환경을 제안하고자 한다.
MTC (Many-Task Computing) is a new computing paradigm that efficiently processes a significantly large number of tasks with relatively short running times. MTC paradigm can be applied in various scientific domains, and in order to effectively support these MTC applications we must devise high-performance task dispatching mechanism, dynamic resource allocation & load balancing scheme, and support for another type of data-intensive workload (compared to existing Big Data). We have developed MOHA(Mtc On HAdoop) framework which can effectively support MTC applications on top of the Hadoop platform. In this study, we propose an optimized environment for MTC application execution by verifying the high-performance task dispatching capability of MOHA, and conducting a comparative analysis of the HDFS and Lustre parallel file system.
키워드열기/닫기 버튼
many-task computing, hadoop, YARN, HDFS, kafka, lustre
