Abstract:
Forecast verification is a critical component for advancing weather research and model development. At the Korea Institute of Atmospheric Prediction Systems (KIAPS), a verification and evaluation package has been developed to support the enhancement of global numerical weather prediction models. The Korean Integrated Model (KIM) Analysis/Evaluation Tool (KAT), is designed to conduct statistical verification for medium-range forecasts and provide graphical displays that help identify forecast errors, thus offering valuable feedback to model developers. To meet the specific needs of forecasters, KAT includes evaluation tools tailored for high-impact weather events such as heavy rains, typhoons, and heatwaves, allowing users to assess the strengths and weaknesses of forecasting systems. Since its initial launch, KAT has undergone various refinements, prioritizing optimization of computational efficiency through parallel processing for major statistical analyses. Furthermore, KAT evaluates model stability and climatological representation in long-term simulations, which are critical for improving numerical prediction models. This technical note aims to outline the core structure of the KAT verification methodology, elucidate the scientific principles and perspectives that inform its design, and provide practical details on verification metrics, testbed setups, observations, and relevant references for users interested in similar objectives.

KIAPS의 전지구예측모델 개발에 활용하기 위해 필수적인 평가 및 진단 요소들을 고려하여 검증도구 KAT을 구축하여 활용하고 있다. 개발 요소를 동일한 기준으로 평가하고, 모형의 오차 원인을 분석하기 위한 진단 도구를 확보하는 것은 개발에 매우 중요한 요소이다. KAT의 주요 검증 요소는 전지구 중기예측 성능을 WMO 표준에 의해 평가하는 표준 검증과 전지구 오차 특성을 파악할 수 있는 오차 진단, 한반도 악기상 사례를 분석하는 사례 검증, 그리고 계절 모의 특성을 분석하는 계절 모의 분석이다. 도구의 효과적인 활용을 위해서는 검증 방법의 확장과 함께 도구의 병렬화 및 최적화와 같은 기능적인 개선을 통한 활용 확대가 중요하다. 검증 자료의 확보와 데이터베이스의 관리, 그리고 검증 테스트베드의 관리 또한 일관된 평가와 효율적 개발에 필수적인 요소이다. 현재 KAT은 개발의 상위 단계에 활용되는 성능 평가를 주된 목적으로 하고 있다. 그러나 개발 과정에서는 각 요소에 따라 다양한 방법의 분석이 이루어져야 할 것이다. 개발의 각 단계에서는 오프라인 모델이나 단독 구동시스템(Kim and Koo, 2024), 단일기둥 모델(Cho and Koo, 2023), 이상실험(Choi and Klemp, 2021) 등 다양한 도구들이 개발되어 활용하고 있다. 이러한 과정을 통해 모형의 설계를 완료한 경우, 예측 실험을 수행하게 되며 KAT을 통해 성능을 평가함으로써 단계적 개발 검증(HSD)이 가능하다. 모델의 성능 평가 뿐만 아니라, 다양한 요소들에 대한 진단은 모델 개발에 매우 중요한 요소이다. 미국 국립해양대기청(National Oceanic and Atmospheric Administration; NOAA) 산하 지구물리유체역학연구소(Geophysical Fluid Dynamics Laboratory; GFDL)에서 개발한 Model Diagnostics Task Force (MDTF) 패키지는 이러한 목적으로 개발되어, 기상 기후 모델의 단계적 진단에 유용하게 활용되고 있는 진보된 검증 패키지이다. 미국 국립대기과학연구소(National Center for Atmospheric Research)의 Model Evaluation Toolkit, METPlus 또한 광범위한 검증 및 진단 기능을 포함하여 범용 목적으로 확대하고 있으며, 새로운 검증 기법을 주도적으로 도입하고 있다. 이러한 복합 검증 패키지들을 수치모델 개발의 초기 단계의 검증부터, 다양한 예측시스템 평가 목적에 맞는 HSD가 가능하도록 구성되어 있다. 현재 KIAPS에서는 차세대모델의 전주기(초단기~연장중기) 검증을 개발 중이며, 여기에는 결합모델 기반 앙상블 연장중기 예측 검증을 포함한다. 또한 자료동화 과정과 분석장 진단 도구들을 확보해 나가고 있다. 이는 향후 KAT의 새로운 기능으로 포함될 예정이며, 타 기관의 진보된 검증 도구들을 다양한 요소를 활용할 수 있도록 지속적으로 보완해 나갈 계획이다.

Citation:
Lee E. H., Seol K. H., Park H. J., Cho S. J., Cho K. H., Lee G., Jung H. Y., Lee J. W., Lee E. J., Choi I. J., Jang J. H.(2025).  A Forecast Verification/Evaluation System for development of the Global Weather Prediction System: Korean Integrated Model Analysis/Evaluation Tool (KAT). koreascience.or.kr