타당성과 신뢰성 - 타당성

1. 타당성과 신뢰성

1) 타당성

  타당성이란 측정을 위해 개발한 도구를 사용하여 측정하고자 하는 개념이나 속성을 얼마나 정확하게 측정할 수  있는가를 나타내는 지표이다. 아무리 정확한 측정대상을 선정했다 하여도 잘못된 측정도구나 측정방법을 사용하여 측정했다면 그 측정값들은 의미가 없다. 예를 들어, 몸무게를 측정하는 경우 정확도가 매우 떨어지는 저울로 측정하거나 줄자로 키를 재서 몸무게를 측정한다면 연구자가 측정하고자 하는 정확한 값들을 얻을 수 없으며 또한 이렇게 측정된 값들을 이용한 연구의 결과는 의미가 없다. 즉, 측정된 값 자체가 전혀 다른 속성이나 다른 개념을 측정한 것이라면 측정된 값들은 아무런 의미가 없다. 

  잘못 측정하는 경우는 자연과학분야보다 측정도구와 측정방법이 명확하지 않은 사회과학분야의 연구에서 많이 발생하기 때문에 사회과학분야의 연구에서는 측정도구와 측정방법의 선택에 더욱 신중해야 한다. 

  타당성은 측정도구와 측정방법이 측정하고자 하는 것을 측정하기에 타당한가를 의미한다. 따라서 측정하려는 개념이나 속성을 정확할 수 있는 측정도구와 방법을 사용해서 측정하는 경우 이 측정은 타당성이 높다고 할 수 있다. 요약하면, 타당성은 사용하고자 하는 측정도구와 방법이 측정하고자 하는 것을 얼마나 정확하게 측정할 수 있는가를 말하며, 이러한 타당성은 측정하려고 하는 개념을 조작적으로 어떻게 정의하느냐에 관한 측정의 조작정의에 개념에 따라서도 상당한 영향을 받는다. 

  측정하고자 하는 개념이나 속성을 하나의 조작적 정의를 이용해서 표현하고 측정할 수 있다. 그러나 하나의 조작적 정의에 의한 측정결과만으로는 측정하고자 하는 개념을 어느 정도로 정확하게 측정하였는지에 대해서는 쉽게 판단하기 어렵다. 따라서 한 가지의 개념에 대하여 여러 개의 서로 다른 조작적 정의를 이용해서 측정한 다음, 이렇게 측정된 값들 간의 상관관계를 조사하여 측정의 타당성을 평가하는 것이 필요한 경우가 많다. 

  

내적타당성과 외적타당성의 트레이드 오프 관계

 

(1) 내적 타당성

  내적타당성이란 실험이나 연구에서 다른 외생적 요인에 의한 영향을 배제함으로써 연구자가 연구하고자 하는 내용을 얼마나 정확하게 측정하여 분석할 수 있는가를 나타내는 지표를 말한다. 예를 들어, 인과관계를 연구하는 경우, 실험이나 연구에서 측정된 결과가 과연 어느 정도까지 정확하게 원인이 되는 변수의 변화에 의해서 발생한 것인가를 나타내는 지표를 의미한다. 즉, 측정된 종속변수의 변화가 어느 정도까지 실제 독립변수의 조작에 의해 일어났는가에 대한 것이다. 따라서 내적 타당성을 높이기 위해서는 가능한 한 원인이 되는 변수의 작용에 의한 효과만을 정확히 추출할 수 있는 조사설계와 외생변수들에 대한 철저한 통제나 제거가 필요하다. 이러한 내적 타당성의 세부적인 유형으로는 내용타당성과 기준에 의한 타당성 그리고 개념타당성의 3가지가 있다. 

 

① 내용타당성 (대표성)

  측정을 위해 개발한 도구가 측정하고자 하는 대상의 정확한 속성 값을 얼마나 포괄적으로 포함하고 있는가의 정도를 나타내는 타당성을 말한다. 일반적으로 이러한 내용타당성은 연구자나 측정자의 주관적인 판단에 의해서 평가된다. 연구자의 주관적인 판단에 근거하여 측정의 대표성을 판단하는 타당성을 내용타당성이라 한다. 

 예) 한 과목의 학점은 포괄적인 평가를 바탕으로 산출해야 내용타당성이 높음

 

② 기준에 의한 타당성 (효과성)

  기준에 의한 타당성은 특정한 평가기준에 의한 측정의 효과성을 제시하는 방법으로, 이에 대한 대표적인 예로는 예측타당성이 있다. 즉, 측정방법이 미래의 결과를 예측하는 데에 어느 정도 정확한가로 측정의 타당성을 평가한다. 

  예측타당성 - 미래의 결과를 예측하는 데에 어느 정도 정확한가로 판단

   예) 수능점수가 학습 능력을 예측하는 지표로 얼마나 정확한가?

 

③ 개념타당성 (논리성)

  내용타당성이나 기준에 의한 타당성으로 설명하기 어려운 감정과 같은 추상적인 개념이나 속성을 측정도구가 얼마나 적절하게 측정하였는가를 나타내는 타당성을 말한다. 즉, 측정방법이 다른 측정방법들과 비교해서 개념적으로나 논리적으로 얼마나 정확한가를 검증함으로써 파악할 수 있는 타당성을 의미한다. 

 

  ㉮ 이해타당성

     특정한 개념을 어떻게 이해하고 있는가에 관한 것이다. 관심이 있는 특정개념과 유사한 다른 여러 개념들이 존재하는 경우, 이들 개념들을 모두 측정할 수 있는 측정방법일수록 이해타당성이 높은 측정방법이 된다. 예를들어, 체력이라고 하면 지구력, 순발력, 유연성, 평형성 등 여러가지로 정의할 수 있다. 이와 같은 여러 가지 개념들을 체계적으로 모두 측정할 수 있는 측정방법일수록 이해타당성이 높다고 말할 수 있다. 

 

  ㉯ 집중타당성 

     동일한 개념을 서로 상이한 측정방법으로 측정한 결과값들 사이에는 높은 상관관계가 있어야 한다는 것을 의미한다. 

예를 들어, 암기력을 측정하기 위해 암기한 것을 모두 종이 위에 쓰도록 하는 방법과 암기한 것을 모두 말하도록 하는 방법을 사용하는 경우, 서로 다른 두 가지의 측정방법으로 측정한 결과값들 간에는 높은 상관관계가 존재해야만 ㅡㄱ정방법들의 집중타당성이 높다고 판단할 수 있다. 

 

  ㉰ 판별타당성

     서로 상이한 개념을 동일한 측정방법으로 측정할 경우 결과값들 간에 상관관계가 낮아야 한다는 것을 말한다. 예를 들어, 암기력과 창의력을 동일한 측정방법으로 측정하였다면, 측정결과로 얻게 된 결과값들 간에는 상관관계가 낮아야 한다. 그러나 만일 상관관계가 높다면 이때 사용된 측정방법은 2가지 서로 다른 개념에 동시에 적요하여 사용할 수 있는 방법이 되기 때문에 판별타당성이 결여된 방법이라고 할 수 있다. 

 

(2) 외적 타당성

  외적 타당성은 실험을 통해 도출된 결과를 이 실험과 유사한 다른 상황이나 현실세계에서도 적용할 수 있는가, 즉 일반화가 가능한가에 관한 타당성을 말한다. 그러나 대부분의 경우 연구자가 표본을 추출하여 조사하고 실험한 집단이나 상황이 실제 현실세계와 다른 수 있다. 예를 들어, 연구자가 어떤 특정한 사람들을 표본집단으로 선정하여 일정한 기간동안 인위적으로 통제하고 조사분석하여 얻은 결과를 실제 시장상황이나 새로운 집단에 적용했을 경우 동일한 결과를 기대하기 어려운 경우가 많다. 즉, 모집단의 일부를 대상으로 실험실 상황에서 얻은 결과를 현실세계에 있는 전체 모집단으로 일반화하여 확대 적용하는 것이 항상 용이한 것만은 아니다. 그러나 만일 실험이나 연구결과를 실제 상황에 적용할 수 있다면 그 연구는 외적 타당성이 높다고 판단할 수 있다. 반대로 실험 결과로 얻은 내용이 실험실 상황에서만 적용가능하고, 그 외의 현실세계에 적용하기에 적지 않은 문제가 있는 경우, 그 실험이나 연구는 외적 타당성이 결여되었다고 판단한다. 

  특히 마케팅조사분석에서 어느 집단을 표본으로 선정하는가, 즉 어떤 집단을 실험대상으로 선택하는가는 외적 타당성에 큰 영향을 미친다. 예를 들어, 상표에 대한 소비자의 인지도를 조사히기 위해 일정기간 동안 대학생들만을 대상으로 조사하여 분석한 결과를 많은 일반인들을 대상으로 하는 전체 시장상황에 확대 적용하는 것은 타당하지 못하다. 실제 잠재고객으로 생각하고 있는 일반소비자와 대학생들 간에는 인지와 판단기준에서 큰 차이가 있을 수 있기 때문이다. 따라서 외적 타당성을 극대화하기 위해서는 실험상황을 실제상황과 가능한 한 동일하게 설계하여 실험과 연구를 수행하도록 해야 한다. 

 

<참고문헌>

이훈영교수의 연구조사방법론, 이훈영, 도서출판 청람.

사회과학조사방법론, 채서일, 비앤엠북스.