[사회복지조사론] 조사연구에서 신뢰도와 타당도를 확보하기 위한 방안

출처-픽사베이

[ 주제 ]

조사연구에서 신뢰도와 타당도를 확보하기 위한 방안에 대해 기술하시오.

 

신뢰도와 타당도

신뢰도는 무작위 오차와 관련된 것이므로 최대한 비체계적 오차가 발생할 가능성을 줄이는 것이 신뢰도를 제고하는 방안이 된다. 다시 말해서 측정오차의 발생 가능성을 최대한 통제하여 오차분산을 극소화시킴으로써 신뢰도를 제고할 수 있다. 측정의 신뢰도를 높이는 방안을 정리하면 다음과 같다.

1. 응답자들이 알고 있는 것만 질문한다.

2. 응답자들이 관심을 가지고 있는 것을 질문한다.

3. 선행연구를 통해 신뢰도가 입증된 척도를 사용한다.

4. 연구감독과 조사자들의 조사내용을 응답자들과의 직접 접촉을 통하여 확인한다.

5. 문항을 보다 구체적이고 명료하게 구성한다.

6. 조사자들은 여러 차례 훈련과 연습을 한 후 조사에 임한다.

7. 측정도구 자체의 신뢰도가 낮다고 판단될 경우 측정 항목 수를 늘린다.

8. 유사한 문항을 포함시킨다

 

타당도들 중 가장 복잡한 것으로 볼 수 있는 구성타당도는 측정되는 개념을 정확히 측정할 수 있도록 측정도구가 작성되었는지를 관련되는 다른 개념 또는 이론적 틀 속에서 평가하는 방법이다.

즉, 측정도구가 관련 이론을 구성하고 있는 개념들과 명제들 모두와 상관관계가 있는지의 여부를 결정하기 위하여 전반적인 이론적 틀과 측정도구를 관련시켜 본다. 여기서는 측정도구가 어떤 이론적 구성개념 또는 특성을 측정하고 있는 가가 고려된다. 앞의 내용타당도와 기준타당도에 비교하면 이것은 보다 이론적이고 논리적 접근방법이며, 때로는 가능한 경험적 자료의 축적을 통하여 타당성을 검증하는 과정이다. 만약 연구자가 결혼 혼만족도에 관한 측정도구를 개발하고자 할 때, 연구자는 결혼만족도가 다른 변수들과 어떠한 유 형의 관계를 맺고 있는가에 관한 어떤 이론적 가설을 개발할 것이다. 예를 들어, 결혼만족도와 가정폭력이 부적 영향관계를 갖게 될 것이라고 결론을 내리고 결혼만족도에 대한 측정이 예상된 방향으로 가정폭력과의 관련성을 보여준다면 이 측정도구는 구성타당도가 높다는 것을 증명하는 것이다.

 

 

이해타당도

이해타당도란 특정 개념을 어떻게 이해하고 있는가에 관한 것이다. 즉, 이를 높이기 위해서는 연구자가 관심이 있는 특정 개념과 관련이 있는 개념들을 체계적으로 연결시키는 이론적 구성도를 작성하여 그 모델에 측정방법을 연결시키는 노력을 하여야 한다. 예를 들어, '지능'이라는 것도 여러 가지로 정의할 수 있는데, 문제를 푸는 능력 또는 창조력, 판단력, 순간 대처능력 등 다양하다. 이와 같은 여러 가지 개념을 체계적으로 이용한 이론이나 측정방법이 이해타당도가 높은 경우가 많다.

 

수렴타당도

수렴타당도는 동일한 개념을 재는 두 측정도구들이 타당한 것이 되려면 도구들이더라도 서로 높은 상관관계를 지녀야 한다는 것이다. 이는 동일한 구성개념을 측정하는 서로 다른 방법들의 결과가 서로 일치될 때 확인되는 것으로, 집중타당도라고 부르기도 한다. 그래서 만약 임상의가 면담 등을 통해서 직접 결혼생활의 만족도가 낮은 것으로 확인된 클라이언트가 만족도가 높은 것으로 확인된 클라이언트보다 결혼생활의 만족도를 재는 측정도구에서 낮은 점수를 나타낸다고 한다면, 그러한 측정도구는 수렴타당도를 갖게 된다.

 

반응형

 

신뢰도를 저해하는 요인

첫 검사와 재검사 점수에 영향을 미치는 검사요인효과와 측정 간격이 길 때 조사대상집단의 특성변화(측정기간 중에 발생한 사건의 영향(ex 환경재해, 장례식 등)을 받는 역사요인 효과등이 있다.

또한 검사시간 간격이 짧은 경우는 선행검사의 기억(기억효과 혹은 학습효과)에 따른 높은 상관도를 보이는 이월효과(문항 기억을 잘하고 있어서 큰 고민 없이 답을 체크해 나가는 것)와 반대로 검사시간 간격이 긴 경우 망각이나 새로운 학습요인에 따른 낮은 상관도를 보이는 반응 민감상효과가 있고, 응답자의 연령, 측정하려는 특성의 본질 등의 시간변화에 따른 측정속성의 변화등이 있다. 이를 해결하고 신뢰도를 확보하기 위한 방안으로는 동형검사와 반분신뢰도, 문항 내적 일관성 등의 방식을 취할 수 있다.

 

타당도의 저해하는 요인

인과적 결론의 적합성을 저해하는 내적 타당도의 저해요인으로는 선발요인, 역사적 요소, 성숙효과, 선발과 성숙의 상호작용, 상실요소, 측정요소, 측정수단요소, 희고 인고요소, 오염효과 등이 있고, 실험결과의 일반화를 저해하는 외적 타당도의 저해 요인은 호오돈교화, 다수적 처리에 의한 간섭, 표본의 대표성 부족, 실험조작과 측정의 상호작용, 크리밍 효과 등이 있다. 이를 해결하기 위해 무작위할당으로 실험집단과 통제집단을 배정하고 짝짓기 매칭을 통해 실험적 방법을 이용하여 내적타당도를 확보하고, 표본의 대표성 높이기와 설문 방법을 이용해 호오돈 효과를 줄여 외적 타당도를 확보할 수 있다.