4.2 핵심 원리

판단 예측할 때 체계적이고 잘 짜여진 접근 방식을 사용하면 이전 절에서 살펴본 판단 예측의 한계 때문에 나타나는 부정적인 효과를 줄이는데 도움이 됩니다. 접근 방식은 다음과 같은 원리를 따라야 합니다.

예측 작업을 간결하고 분명하게 정하기

예측하려는 시도를 정하고 예측 작업을 표현할 때 주의할 필요가 있습니다. 작업이 무엇인지에 대해 모두가 분명하게 아는 것이 중요합니다. 모든 용어 정의는 애매하거나 모호하지 않고 분명하면서 포괄적이어야 합니다. 또한, 예측하는 사람이 집중하지 못하게 만들 수 있는 감정을 자극하는 용어나 상관없는 정보를 피하는 것이 중요합니다. 뒤에서 소개하는(4.3 절을 보시길 바랍니다) 델파이(Delphi) 기법에서, 예측 작업을 정하기 전에 정보를 모으는 사전 작업을 수행하는 것이 종종 유용할 수 있습니다.

체계적인 접근 방식을 구현하기

예측 작업과 관련 있는 정보를 분류하는 검사표 등의 체계적인 판단 예측 방식을 사용하여 예측의 정확도와 일관성을 높일 수 있습니다. 예를 들어, 어떤 정보가 중요하고 정보에 가중치를 어떻게 줄지 확인하는 것이 도움이 될 수 있습니다. 신제품의 수요를 예측할 때, 어떤 요인을 고려해야만 하고 그런 요인을 어떻게 고려할 수 있겠습니까? 가격, 품질, 경쟁 제품의 품질, 당시 경제 상황, 제품의 예상 고객층 등이 되어야만 하겠습니까? 가능한 가장 좋은 체계적인 접근 방식으로 이어질 판단 규칙을 모으기 위해 의미 있는 노력과 자원을 쏟을만한 가치가 있습니다.

기록하고 정당화하기

체계적인 접근 방식에서 실행한 판단 규칙과 가정을 형식화하고 문서 형태로 만드는 것은 같은 규칙을 반복적으로 실행할 수 있어서 일관성을 높일 수 있습니다. 또한, 예측하는 사람에게 낸 예측값을 문서 형태로 만들고 정당화하라고 요청하는 것은 편향을 감소하는 효과로 이어질 수 있습니다. 더욱이, 형식적인 문서로 만드는 작업은 다음에 제안하는 체계적인 평가 과정을 아주 수월하게 만듭니다.

예측값을 체계적으로 평가하기

예측 과정을 체계적으로 추적하고 관찰하는 것을 통해 뜻밖의 불규칙한 점을 찾아낼 수 있습니다. 특히, 예측값을 꾸준히 기록하고, 관련된 관측값을 사용할 수 있을 때, 피드백 목적으로 기록한 것을 사용합시다. 여러분이 예측가로서 최선을 다해도, 여러분이 다루는 환경은 자주 변합니다. 변화가 일어나고, 여러분은 판단 규칙과 가정을 평가하기 위해 이러한 변화를 추적 관찰할 필요가 있습니다. 피드백과 평가는 예측가의 학습과 예측 정확도를 높이는데 도움을 줍니다.

예측가와 사용자를 구분하기

예측값을 가지고 행동 계획을 실행할 책임이 있는 사람과 같이, 예측값을 사용할 사람이 직접 예측 작업을 수행하는 경우에는 예측 정확도가 낮아질 수 있습니다. (1.2 절에서처럼) 여기에서 예측하는 것이란, 예측값에 영향을 줄 수 있는 어떠한 미래 사건에 관한 지식과 과거 데이터를 포함한 주어진 모든 이용 가능한 정보를 가지고, 할 수 있는 한 정확하게 미래를 예측하는 작업이라는 정의를 다시 강조하겠습니다. 예측가와 사용자는 분명하게 구분되어야 합니다. 흔한 예는 신제품을 출시하는 상황입니다. 예측은 신제품의 판매량을 합리적으로 추정한 값이어야 합니다. 이것은 회사의 재정 목표치에 맞추기 위해 담당자가 기대하거나 희망하는 판매량과 상당히 다를 수 있습니다. 이 경우에, 예측가는 사용자와 현실성 확인 작업을 할 것입니다.

예측하는 사람이 예측값을 가지고 잠재적인 사용자와 빈틈없이 대화하는 것은 중요합니다. 4.7 절에서 보게될 것처럼, 사용자가 예측가와 단절되어있거나 멀리 떨어져 있다고 느낄 수 있고, 예측값을 전적으로 신뢰하지 못할 수도 있습니다. 과정을 설명하고 명확하게하고 예측값을 내는 기본 가정을 정당화하는 작업은 사용자에게 어떤 신뢰감을 제공할 것입니다.

그런 다음에 예측값을 사용하고 실행될 수 있는 방법은 분명히 경영 의사 결정에 따라 바뀔 것입니다. 예를 들어, 예측이 구매와 재고 수준을 안내하는데 사용됨에 따라, (지나치게 낙관하게 되어) 경영진이 상향 예측에 맞추어 결정할 수도 있습니다. 비용 편익 분석(cost-benefit analysis)을 통해 초과 재고 보관 비용이 유실 판매보다 훨씬 낮다고 증명된 이후에 이러한 결정을 수용할 것입니다. 이러한 종류의 맞춤은 예측 과정의 일부가 아니라, 목표치를 정하거나 공급 계획의 일부가 되어야 합니다. 반대로, 예측값이 목표치로 사용될 때, 목표치를 더 쉽게 초과할 수 있도록 낮게 설정될 수 있습니다. 다시 한번, 목표치를 정하는 것은 예측값을 내는 것과 다르고, 이 두 가지를 혼동해서는 안 됩니다.

다음의 예제는 저자가 수행한 산업 분야 컨설팅 사례에서 가져온 것입니다. 두 가지 대조되는 종류의 판단 예측을 나타냅니다. 하나는 지금까지 설명한 원리를 고려한 것이고, 다른 하나는 그렇게 하지 않은 것입니다.

예제: 제약 혜택 제도

호주 정부는 PBS(Pharmaceutical Benefits Scheme; 제약 혜택 제도)의 혜택의 하나로 다양한 종류의 처방 의약품의 비용을 보조합니다. 보조금이 지급된 각 의약품은 다음과 같은 4가지 범주 중 하나에 속합니다. 고용인 부담 양여 보험료(concession copayments), 양여 안전망(concession safety net), 일반 보험료, 일반 안전망. 양여 카드를 가지고 있는 각 사람은 PBS 의약품당 양여 보험료를 지불합니다($5.80)5 지불은 양여 안전망으로 이름 붙인 양의 한계량($348)에 도달할 때까지 합니다. 나머지 회계 연도에는 PBS 목록에 있는 모든 의약품은 무료입니다. 각 일반 환자는 PBS 의약품당 일반 보험료를 지불합니다($35.40). 이 경우에는 지불을 일반 안전망 한도($1,363.30)에 도달할 때까지 합니다. 나머지 회계 연도에는 PBS 목록에 있는 의약품당 적은 양을 지불합니다($5.80). PBS 예측 과정에서 84개의 그룹에 속한 PBS 목록에 있는 의약품을 사용했고, 의약품 양의 예측값을 내고 각 그룹과 4개의 PBS 범주들 각각에 대한 전체 지출의 예측치도 냈습니다. 전체 672개의 시계열을 사용했습니다. 이 예측 과정이 PBS에 할당된 정부 예산을 정하는데 도움이 됩니다. 이 예산은 매년 70억 호주 달러 이상이며 이는 GDP의 1%에 달합니다.

PBS 예측값을 내는 과정.

Figure 4.1: PBS 예측값을 내는 과정.

그림 4.1은 예측 과정을 요약하여 보여줍니다. 새롭게 목록에 들어온 의약품과 새로운 정책의 효과 추정에 대해 판단 예측값을 낸 것입니다. 이러한 항목을 녹색으로 표시했습니다. 분홍색 항목은 다양한 정부 부서와 관계 기관에서 얻어서 사용한 데이터를 나타냅니다. 파란색 항목은 제공된 데이터로 계산된 것을 나타냅니다. 새롭게 목록에 들어온 것과 새로운 정책을 고려하여 판단으로 데이터를 조정하였고, 예측값도 판단으로 조정하였습니다. 양여 인구와 전체 인구 크기 둘 다 변하기 때문에 예측값들을 1인당 결과로 냈고, 전체 크기와 매월 지출의 예측값을 얻기 위해 이것을 예측 인구와 곱했습니다.

저자 중의 한 명(힌드만; Hyndman)은 몇 년 전에 예측 과정에 대한 평가를 부탁 받았습니다. 새롭게 목록에 들어온 것과 새로운 정책 효과(policy impacts)에 대해 판단을 사용한 것이 통계 모델만 사용한 것보다 더 나은 예측값을 내는 것을 확인했습니다. 하지만, 더욱 구조화되고 체계적인 과정을 통해 예측 정확도와 일관성을 늘릴 수 있다는 것도 발견했습니다. 특별히 정책 효과에 대해서 그랬습니다.

새롭게 목록에 들어온 것을 예측하기: PBS에 의약품을 추가해달라고 신청한 회사에 해당 의약품의 다음과 같은 다양한 측면에 대한 자세한 예측값을 제출하도록 하였습니다. 예측된 환자 수, 신약의 시장 점유율, 대체 효과 등. 제약 혜택 자문 위원회(Pharmaceutical Benefits Advisory Committee)는 이러한 예측값을 내기 위해 매우 구조화되고 체계적인 접근 방식을 설명하는 지침을 제공했고, 해당 과정의 각 단계마다 주의깊게 작성한 문서를 요청했습니다. 이렇게 구조화된 과정은 고의적인 자체 제공 편향이 일어날 가능도(likelihood)와 효과를 줄이는데 도움이 됩니다. 부-위원회가 회사 예측값에 대한 두 가지 세부 평가 단계를 맡았습니다. 한 단계는 의약품이 PBS에 추가되기 전에 하였고, 다른 하나는 추가된 후에 하였습니다. 마지막으로, 새롭게 목록에 들어온 것 몇몇을 골라서 이것에 대해 목록에 추가된 지 12개월 지났을 때와 24개월 지났을 때 관측값과 예측값을 비교하였고, 회사에 의견을 받기 위해 결과값을 회사에 돌려 보냈습니다.

정책 영향 예측값: 새로 목록에 들어온 것들에 대해 사용한 매우 구조화된 과정에 비해, 정책 영향 예측값에 대해서는 체계적인 절차가 없었습니다. 많은 경우에, 조그만 팀이 정책 영향의 예측값을 계산했고, 이러한 예측값은 한 사람의 작업에 심하게 의존합니다. 예측값은 일반적으로 공식 검토 과정의 대상이 아니었습니다. 정책 영향에 대한 판단 예측값을 어떻게 구성할 지에 대한 지침이 없었고, 이러한 예측값을 어떻게 얻었는지와 예측값에 어떤 가정이 깔려있는지 등을 다루는 적절한 문서가 부족할 때도 있었습니다.

그래서, 몇 가지 변경 사항을 제안했습니다:

  • 더욱 체계적이고 구조화된 예측 접근 방식을 장려하기 위해 새로운 정책 영향을 예측하기 위한 지침을 개발해야합니다;
  • 예측값을 낼 때 들어가는 모든 가정을 포함하여 각각의 경우에 예측 방법론이 문서 형태로 정리되어야 합니다;
  • 새로운 정책 예측값은 조직의 다른 영역에 속한 적어도 두 사람 이상이 내야합니다;
  • 각각의 새로운 정책을 시행하고 나서 1년 후에 검토 위원회가 예측값을 점검해야합니다. 특별히 유의미하게 연간 예상 비용이나 절감 효과가 있는 새로운 정책에 대해서 그렇습니다. 점검 위원회에는 예측값을 낼 때 참여했던 사람만 들어가는 것이 아니라 다른 사람들도 함께 포함시켜야 합니다.

이러한 제안 사항은 이 절에서 간단하게 소개한 원리를 반영한 것입니다.


  1. 2012년 기준입니다.↩︎