4.7 판단 조정
마지막 절에서는, 과거 데이터를 사용할 수 있고 통계적인 예측값을 내는데 과거 데이터를 사용하는 상황을 다룹니다. 실무자가 이러한 예측값에 대해 판단 조정을 적용하는 것이 흔한 일입니다. 이러한 조정은 이 장의 앞에서 다룬 판단 예측의 모든 장점을 잠재적으로 가지고 있습니다. 예를 들면, 프로모션, 대규모 스포츠 경기, 공휴일, 아직 데이터에 반영되지 않은 최근의 이벤트와 같이 통계 모델에서 고려하지 않았을 수 있는 요소를 통합할 수 있도록 합니다. 하지만, 이러한 장점은 바른 조건이 있을 때만 제대로 결실을 맺습니다. 판단 예측값 같은 판단조정(judgmental adjustment)에는 편향과 한계점이 따르고 이러한 것을 최소화하기 위해 방법론적인 전략을 반드시 구현해야만 합니다.
조정을 조심스럽게 사용하기
실무자는 해야 할 일보다 훨씬 더 자주 조정하거나 잘못된 이유 때문에 여러 번 조정하기도 합니다. 통계 예측값을 조정하여, 예측값을 사용하는 사람이 소유권이나 신뢰성을 느낄 수 있습니다. 사용자는 종종 통계 예측값을 내는 방법을 이해하지 못하거나 그 진가를 알아보지 못합니다(왜냐하면 사용자들은 보통 이 분야에서 전문적인 훈련을 받지 않은 사람일 것이기 때문입니다). 판단 조정을 구현함으로, 사용자는 예측에 이바지하고 마무리했다고 느낄 수 있으며, 직관과 해석을 서로 관련 지을 수 있습니다. 예측값이 비로소 사용자들의 소유가 되는 것입니다.
통계 모델에 빠진 것 같다고 생각하는 데이터의 체계적인 패턴을 수정하는 것이 판단조정(judgmental adjustment)의 목표가 되면 곤란합니다. 예측가가 시계열에서 존재하지 않는 패턴을 읽는 경향이 있기 때문에 이러한 목표는 비효율적인 것으로 입증되었습니다. 통계 모델은 데이터의 패턴을 고려할 때 훨씬 뛰어난 성능을 발휘하고 판단 조정을 잘못 고려하면 정확도를 해칩니다.
판단조정(judgmental adjustment)은 유의미한 추가 정보를 가지고 있거나 조정이 필요하다는 강력한 증거가 있을 때 가장 효과적입니다. 통계 모델에 포함되지 않은 중요한 추가 정보가 있는 경우에만 조정해야 합니다. 조정은 조정하는 크기가 클 때 가장 정확해보입니다. 작은 조정은(특별히 낙관적인 생각을 조장하는 긍정적인 방향) 정확도를 낮추는 것으로 밝혀졌고, 피해야만 합니다.
구조화된 접근 방식을 적용하기
구조화된 체계적인 접근 방식을 사용하면 판단 조정(judgmental adjustment)의 정확도가 높아질 것입니다. 4.2 절에서 소개한 핵심 원리를 따르는 것이 중요합니다. 특히, 조정 내용을 문서 형태로 남기고 타당함을 보이는 작업을 해야 통계 예측을 무시하지 않을 수 없게 되고, 쓸데 없는 조정을 막을 수 있습니다.
패널이 조정을 실행하는 것이 흔한 일입니다(다음에 나오는 예제를 살펴보시길 바랍니다). 델파이 환경을 사용하면 큰 장점이 있습니다. 하지만, 조정이 그룹 회의에서 실행된다면, 패널 참석자들이 이러한 과정에서 피곤하게 될 것이니, 핵심 시장이나 상품의 예측값을 먼저 고려하는 것이 좋습니다. 회의가 하루 종일 진행되는 동안에는 조정이 거의 이뤄지지 않는 경향이 있습니다.
예제: 관광 예측 위원회
호주 관광청은 호주 관광의 모든 측면에 대한 예측값을 1년에 두 번 발표합니다. 다양한 정부 부문과 산업 분야의 전문가로 구성된 독립적인 기관인 TFC(Tourism Forecasting Committee)가 발표된 예측값을 생성합니다. 예를 들면, 호주 연방 재무부, 항공사, 컨설팅 회사, 금융 분야 회사, 관광 단체 등이 있습니다.
반복적인 과정을 예측 방법론으로 적용합니다. 호주 관광청 안의 예측 그룹에서 모델 기반 통계적 예측값을 내고, 2단계에 걸친 판단 조정을 합니다. 1단계에서는 (고위 연구자, 경제학자, 독립적인 자문위원 등으로 구성된) TFC 기술 위원회가11 모델 기반의 예측값을 조정합니다. 마지막 2단계에서는, (산업 전문가와 정부 전문가로 구성된) TFC가 최종 조정을 합니다. 두 단계 모두, 합의를 통해 조정이 이뤄집니다.
Figure 4.2: 호주 국내선 여행객 숙박일 장기 연간 예측값. 5장에서 회귀 모델을 공부하고, 7장에서 ETS (ExponenTial Smoothing; 지수 평활) 모델을 공부합니다..
저자는 2008년에 호주 국내 관광에 대한 예측값을 분석했습니다12. 저자는 발표된 TFC 예측값이 특히 장기적으로 볼 때, 낙관적이라고 결론 내렸으며, 대안적인 모델 기반 예측값을 제안했습니다. 이제 2011년을 포함하는 2011년까지의 관측 데이터을 사용할 수 있습니다. 그림 @ref{fig:tfc} 에서 실제 데이터에 대해 발표된 예측값을 나타냈습니다. 발표된 TFC 예측값이 계속 낙관적으로 나타나는 것을 볼 수 있습니다.
이 예제에서 무엇을 배울 수 있습니까? TFC가 ’목표치’보다 ’예측값’을 낸다고 방법론에서 분명하게 문서 형태로 나타냈지만, 목표와 예측을 혼동한 경우라고 볼 수 있겠습니까? 이 과정에서 예측가와 사용자가 충분히 잘 분리되었습니까? 반복적인 과정 자체가 개선될 수 있겠습니까? 회의에서 조정 과정이 개선될 수 있겠습니까? 그룹 회의가 낙관론을 장려한 것이겠습니까? 그 날에 국내 관광이 더 일찍 검토되었어야 했겠습니까?