신뢰성 - 신뢰성을 향상시키는 방법

1. 신뢰성

1) 신뢰성의 개념

  신뢰성이란 측정하고자 하는 현상이나 대상을 얼마나 일관성 있게 측정하였는가를 나타내는 것으로서, 안정성, 일관성, 예측가능성, 정확성이라고도 표현한다. 신뢰성은 어떠한 측정대상을 반복적으로 측정하는 경우 동일한 결과값을 얼마나 많이 얻을 수 있는지를 나타내는 지표로서 여러 번 측정해서 얻은 측정결과값들의 분산으로 신뢰성을 판단할 수 있다. 

  이러한 신뢰성을 정의하는 방법으로는 다음과 같은 것들이 있다. 첫째, 여러 번 반복해서 측정한 조사결과나 실험결과들이 얼마나 일치하는가를 나타내는 일치성 정도에 따라 신뢰성을 판단하는 방법이다. 이 방법은 동일한 내용에 대해 여러 번 반복하여 조사나 실험을 해서 얻은 결과들 간에 상관관계가 크면 클수록 사용된 측정도구와 측정방법의 신뢰성이 높다고 판단하는 방법이다. 이렇게 결과값들 간의 상관관계 정도로 신뢰성을 판단하는 방법은 신뢰성분석에서 가방 보편적으로 쓰이는 방법이다.

  둘째, 하나의 측정도구나 방법을 이용하여 얻은 측정치가 측정하고자 하는 개념이나 속성을 충분히 잘 대변할 수 있는 진실된 측정치인지를 판단하여 신뢰성을 파악하는 방법이다. 이 방법은 측정한 결과값 전체에서 오차범위를 제외한 설명력 있는 부분만을 측정하여 그 값을 설명력 계수로 나타내는 방법이다. 여기서 설명력 계수값이 높으면 높을수록 측정방법과 더 나아가 측정을 통해서 얻은 자료를 분석한 모형의 신뢰성이 높다고 판단할 수 있다. 

  셋째, 측정한 결과로 얻은 값들의 오차범위로 신뢰성을 파악하는 방법이다. 허용오차범위가 넓으면 넓을수록 그에 반응하는 신뢰수준은 반대로 줄어들게 된다. 이와 유사하게 측정의 경우에도 측정오차가 크면 클수록 측정도구와 측정방법의 신뢰성은 떨어지게 된다. 또한 측정오차의 상대적 크기로 서로 다른 측정의 신뢰성을 판단할 수 있다. 

  요약하면 동일한 개념을 동일한 측정방법을 사용해서 반복적으로 측정하였을 경우, 그 결과가 서로 유사하게 나타나야 신뢰성이 높은 것으로 판단한다. 따라서 신뢰성분석이란 연구자가 측정하고자 하는 대상이나 개념을 얼마나 정확한 측정도구를 이용하여 올바르게 그리고 일관성 있게 측정하였는지를 평가하는 분석방법이다. 

 

2) 신뢰성 측정방법

  신뢰성을 측정하는 대표적인 방법으로는 재검사법과 반분법, 그리고 내적 일관성을 구하여 측정하는 방법이 있다. 이들 방법들에 대하여 간략하게 설명하면 다음과 같다. 

 

(1) 재검사법

  재검사법은 동일한 측정대상에 대하여 동일한 측정도구나 방법을 사용하여 일정한 시간간격을 두고 반복적으로 측정하여 그 결과값들을 서로 비교하여 분석하는 방법이다. 반복해서 측정한 결과값들 간의 차이가 크면 이때 사용한 측정도구나 방법은 신뢰성이 낮다고 평가하고, 반대로 차이가 작으면 측정도구나 방법이 믿을 수 있어 신뢰성이 높다고 평가한다.

  이 방법은 시간적 간격을 두고 동일한 측정도구나 방법을 사용해서 측정한 결과값들 간의 상관계수로 측정방법의 신뢰성을 평가하기 때문에, 서로 다른 측정도구나 방법들을 비교하거나 실제 현상에 적용시키는 데에 매우 용이하다는 장점이 있다. 그러나 측정시간의 간격이 크면 클수록 신뢰성이 낮아진다는 한계점을 극복하기 어려울 뿐만 아니라, 외생변수의 영향을 파악하기 어렵다는 단점이 있다. 따라서 이 방법은 측정도구나 방법의 신뢰성을 측정하기 위한 방법으로는 그다지 정확도가 높지 않은 방법이다. 

 

(2) 반분법

반분법은 측정할 때 사용할 수 있는 도구나 방법들을 2개의 임의의 집단으로 나눈 다음, 이들을 이용하여 측정한 결과가 집단별로 서로 얼마나 다른지를 비교하여 측정도구나 방법의 신뢰도를 분석하는 방법이다. 예를 들어, 창의력을 측정하기 위하여 개발된 10개의 설문문항이 있는 경우, 이들을 임의로 구분하여 5개 문항씩 2개의 집단으로 나눈 다음, 동일한 설문대상자의 응답을 받는다. 각 집단에 속한 5개 응답들의 평균이 집단간 차이가 작으면 작을수록 이때 사용한 10개 문항으로 구성된 측정방법은 신뢰성이 높은 것으로 판단한다. 즉, 개별응답자의 집단평균값들 간의 상관분석을 통해 얻은 상관계수값의 크기로 측정 방법의 신뢰성을 추정하는 방법을 말한다. 

  반분하는 방법에는 보통 짝수항목과 홀수항목으로 반분하거나, 무작위적으로 항목을 반으로 추출하여 나머지를 또 하나의 척도로 만드는 방법을 일반적으로 사용하고 있다. 그런데 실제로는 두 부분을 따로 떼어 적용하는 것이 아니라 내용적으로만 반으로 갈라놓고 본래의 측정도구를 그대로 사용하여 두 부분의 측정값의 상관관계를 계산하여 신뢰도를 측정하는 것이다. 

 

(3) 내적 일관성

  내적 일관성은 동일한 개념을 측정하기 위해 여러 개의 항목을 이용하는 경우에 신뢰성을 측정하는 방법이다. 측정도구나 항목을 임의의 2개 집단으로 나누어 신뢰성을 평가하는 반분법과는 달리 측정도구나 항목을 개별적으로 취급하여 신뢰성을 파악하는 방법이다. 특히 이 방법은 여러 개의 측정항목 중에 신뢰도를 저해하는 항목을 찾아내어 측정항목에서 제외시킴으로써 측정도구의 신뢰성을 높이고자 하는 경우에 사용된다. 일반적으로 이 방법은 크론바하 알파라는 계수값을 산출해서 여러 항목들로 구성된 측정방법의 신뢰성을 평가한다. 크론바하 알파값이 어느 정도이면 신뢰성이 높다고 평가할 수 있는지에 대해서 명확한 기준은 없다. 그러나 일반적으로 크론바하 알파계수가 0.6에서 0.7 이상이 되면 측정항목들의 신뢰성이 비교적 높다고 판단한다. 또한 이러한 수준의 크론바하 알파계수값을 얻기 위해서는 여러 항목들 중에 알파계수값을 떨어지게 하는 항목은 제외시키고, 알파계수값을 높게 유지시키는 항목들만을 선별해서 사용함으로써 측정 도구의 신뢰성을 어느 정도까지 유지하고 조정할 수 있다. 크론바하 알파계수값을 이용한 내적 일관성 방법은 신뢰성분석에서 가장 많이 쓰이는 측정방법이다. 

 

3) 신뢰성을 향상시키는 방법

  신뢰성은 동일한 측정도구를 사용하여 측정대상을 반복해서 측정하였을 경우 측정한 결과가 서로 크게 다르지 않아야 한다는 것을 전제로 하고 있다. 신뢰성은 측정의 비체계적 오차와 관련된 개념이다. 측정의 비체계적인 오차를 줄여 신뢰성을 높이기 위해서는 다음과 같은 방법들이 사용된다. 

 

신뢰성을 향상시키는 방법

 

(1) 측정항목의 모호성을 제거한다

  측정문항을 분명하고 명확하게 작성해야 한다. 모호한 문항은 애매한 답변을 낳기 마련이다. 문항이 모호하게 표현된 경우, 응답자는 무엇을 의미하는지를 명확하게 파악하지 못한 채 임의로 해석하고 판단하여 잘못된 답을 할 가능성이 높다. 따라서 신뢰성을 높이기 위해서는 측정항목들을 응답자가 명확하게 이해할 수 있도록 작성하고 가능한 한 전문용어나 어려운 단어는 피하도록 해야 한다.

 

(2) 측정항목의 수를 늘린다

  측정항목의 수가 많으면 많을수록 측정의 신뢰도는 증가하게 된다. 이것은 중심극한정리에서 표본의 크기가 증가할수록 표본평균의 분산이 작아져서 진정한 모집단의 평균을 중심으로 표본평균이 모이게 되는 현상과 같은 개념으로 설명할 수 있다. 즉, 측정의 경우에도 측정항목의 수가 늘어나면 늘어날수록 측정항목의 평균은 측정하고자 하는 대상의 실제값에 더욱 가까운 값이 되기 때문에 보다 신뢰성이 높은 측정이 가능하게 된다. 

 

(3) 응답자가 모르는 내용은 측정하지 말아야 한다

  일반적으로 측정항목은 응답자가 알고 있어서 답변할 수 있는 내용으로 작성하는 것이 중요하다. 만일 응답자들이 모르는 내용을 질문하게 되면 응답자들은 단순히 이미지나 추측만으로 응답할 수밖에 없기 때문에 정확한 측정값을 얻기 어렵고, 이에 따라 측정의 신뢰성이 떨어지게 된다. 

 

(4) 검증된 측정방법을 사용한다

  측정의 신뢰성을 높일 수 있는 또 하나의 방법은 가능한 한 이미 다른 연구에서 검증된 측정도구나 측정항목을 사용하는 것이다. 연구 논문에서 기존의 다른 연구들을 많이 검토하고 인용해야 하는 이유 중의 하나는 기존의 연구에서 이미 사용해서 검증된 측정방법을 찾아 사용하기 위함이다. 물론 연구의 기본 목적이나 가설 및 연구의 공헌을 차별화하여 명확하게 밝히기 위해서 기존연구를 검토 인용하기도 하나 기존의 연구에서 입증된 측정 방법을 도입하여 사용하고자 하는 목적도 간과할 수 없다. 이와 같이 검증된 측정방법을 사용하는 것이 측정의 신뢰성을 높이기 위한 또 하나의 좋은 방법이 된다. 

 

<참고문헌>

이훈영교수의 연구조사방법론, 이훈영, 도서출판 청람.

사회과학조사방법론, 채서일, 비앤엠북스.