Confiabilidade
de um instrumento de medição (reliability of a measurement instrument) é
a extensão em que o instrumento produz resultados reprodutíveis.
Referências
de um instrumento de medição (reliability of a measurement instrument) é
a extensão em que o instrumento produz resultados reprodutíveis.
Um
instrumento de medição pode ser confiável e não ser válido. No entanto, um
instrumento de medição só será válido se for confiável.
instrumento de medição pode ser confiável e não ser válido. No entanto, um
instrumento de medição só será válido se for confiável.
Vamos
discorrer aqui sobre a confiabilidade de um questionário. Um questionário é
confiável se fornecer resultados consistentes quando replicado em condições
similares. Existem dois tipos de confiabilidade: a interna e a externa.
discorrer aqui sobre a confiabilidade de um questionário. Um questionário é
confiável se fornecer resultados consistentes quando replicado em condições
similares. Existem dois tipos de confiabilidade: a interna e a externa.
Confiabilidade externa (external reliability) refere-se à extensão com que os
resultados de um questionário variam quando aplicados em ocasiões diferentes (estabilidade) ou por examinadores diferentes (equivalência), aos mesmos participantes de pesquisa.
resultados de um questionário variam quando aplicados em ocasiões diferentes (estabilidade) ou por examinadores diferentes (equivalência), aos mesmos participantes de pesquisa.
Dizemos, então, que o questionário tem estabilidade
se forem obtidos os mesmos resultados quando aplicado duas ou mais vezes às
mesmas pessoas. Para medir a estabilidade, usamos o método do teste re-teste.
se forem obtidos os mesmos resultados quando aplicado duas ou mais vezes às
mesmas pessoas. Para medir a estabilidade, usamos o método do teste re-teste.
Dizemos que o questionário apresenta equivalência
se dois ou mais examinadores obtiverem os mesmos resultados, quando o administrarem
às mesmas pessoas. Para medir equivalência, calculamos a confiabilidade entre
examinadores.
se dois ou mais examinadores obtiverem os mesmos resultados, quando o administrarem
às mesmas pessoas. Para medir equivalência, calculamos a confiabilidade entre
examinadores.
Método de teste re-teste (test-retest method): avalia a estabilidade, ou seja, a
extensão com que as pessoas respondem as mesmas perguntas da mesma forma,
depois de certo tempo. Para isso, o questionário é administrado duas vezes
(primeiro o teste, depois o re-teste), para o mesmo grupo de pessoas. A
aplicação do método exige, porém, duas pressuposições, nem sempre realistas:
primeiramente, nada deve acontecer no período que decorre entre o teste e o
re-teste que modifique a opinião dos respondentes e, segundo, eles não devem
estar lembrados,quando fazem o re-teste, das respostas dadas no teste.
extensão com que as pessoas respondem as mesmas perguntas da mesma forma,
depois de certo tempo. Para isso, o questionário é administrado duas vezes
(primeiro o teste, depois o re-teste), para o mesmo grupo de pessoas. A
aplicação do método exige, porém, duas pressuposições, nem sempre realistas:
primeiramente, nada deve acontecer no período que decorre entre o teste e o
re-teste que modifique a opinião dos respondentes e, segundo, eles não devem
estar lembrados,quando fazem o re-teste, das respostas dadas no teste.
Uma medida estatística da estabilidade das respostas no teste e
re-teste de um questionário é o coeficiente de correlação de Pearson. Calcula-se
a correlação entre o escore (total) dos respondentes no “teste” e o escore
(total) quando o questionário foi aplicado pela segunda vez – o “re-teste”.
O coeficiente de correlação é usado como índice da confiabilidade do
questionário.
re-teste de um questionário é o coeficiente de correlação de Pearson. Calcula-se
a correlação entre o escore (total) dos respondentes no “teste” e o escore
(total) quando o questionário foi aplicado pela segunda vez – o “re-teste”.
O coeficiente de correlação é usado como índice da confiabilidade do
questionário.
Exemplo
MESQUITA e VIEIRA (2009)1 administraram o questionário
conhecido como Perfil do Impacto de Saúde Oral, conhecido como OHIP, (Oral
Health Impact Profile) para 916 funcionários e professores da rede estadual de
ensino de Montes Claros, MG (2). Os questionários estavam numerados, mas foram
distribuídos aleatoriamente e respondidos anonimamente. Quando distribuiu os
questionários, a pesquisadora explicou aos respondentes que deveriam memorizar
o número escrito no questionário, embora esse número não os identificasse. Isto
porque eles seriam chamados novamente para responder o mesmo questionário. Os
que aceitassem o convite deveriam então colocar, no segundo questionário, o
número do primeiro, pois seria o re-teste do questionário.
conhecido como Perfil do Impacto de Saúde Oral, conhecido como OHIP, (Oral
Health Impact Profile) para 916 funcionários e professores da rede estadual de
ensino de Montes Claros, MG (2). Os questionários estavam numerados, mas foram
distribuídos aleatoriamente e respondidos anonimamente. Quando distribuiu os
questionários, a pesquisadora explicou aos respondentes que deveriam memorizar
o número escrito no questionário, embora esse número não os identificasse. Isto
porque eles seriam chamados novamente para responder o mesmo questionário. Os
que aceitassem o convite deveriam então colocar, no segundo questionário, o
número do primeiro, pois seria o re-teste do questionário.
Confiabilidade
entre examinadores (Inter-rater
reliability): Se o mesmo questionário puder ser aplicado aos mesmos
respondentes por dois ou mais pesquisadores, é possível obter uma medida da confiabilidade entre examinadores, de duas
maneiras diferentes:
entre examinadores (Inter-rater
reliability): Se o mesmo questionário puder ser aplicado aos mesmos
respondentes por dois ou mais pesquisadores, é possível obter uma medida da confiabilidade entre examinadores, de duas
maneiras diferentes:
· Calculando a proporção de escores
que estão em perfeita concordância;
que estão em perfeita concordância;
· Calculando o coeficiente
de correlação entre os escores obtidos pelos participantes com os dois entrevistadores.
Se forem mais de dois examinadores, calcule a média dos coeficientes de
correlação dos escores obtidos por participante com cada par de
entrevistadores.
de correlação entre os escores obtidos pelos participantes com os dois entrevistadores.
Se forem mais de dois examinadores, calcule a média dos coeficientes de
correlação dos escores obtidos por participante com cada par de
entrevistadores.
Exemplo
Lobbestael, J; Leurgans M; Arntz (2011)2
administraram o questionário conhecido como Manual de Entrevista Clínica Estruturada
para o Diagnóstico e a Estatística de Transtornos Mentais a 151 pacientes
internados e ambulatoriais e controles, não-pacientes. Os examinadores
administravam os questionário independentemente, sem saber os resultados
obtidos pelos outros. Depois, analisaram os resultados, que revelaram
concordância entre os examinadores.
administraram o questionário conhecido como Manual de Entrevista Clínica Estruturada
para o Diagnóstico e a Estatística de Transtornos Mentais a 151 pacientes
internados e ambulatoriais e controles, não-pacientes. Os examinadores
administravam os questionário independentemente, sem saber os resultados
obtidos pelos outros. Depois, analisaram os resultados, que revelaram
concordância entre os examinadores.
Confiabilidade
interna ou consistência interna de um
questionário 1 é
a extensão em que os diversos itens que o
compõem o questionário conduzem às mesmas respostas.
interna ou consistência interna de um
questionário 1 é
a extensão em que os diversos itens que o
compõem o questionário conduzem às mesmas respostas.
Existem vários métodos para estimar a confiabilidade interna de um
questionário, mas os mais conhecidos são:
questionário, mas os mais conhecidos são:
· Método da divisão em metades
· Alfa de Cronbach
Método da divisão em metades (split-half method): para usar este método, divide-se o questionário em duas partes
iguais: por exemplo, a metade superior e a metade inferior, ou o conjunto dos
itens de número par e o conjunto dos itens de número impar. Calcula-se, então,
a correlação entre “o somatório dos escores obtidos pelos respondentes quando
se aplicou a primeira metade do questionário” e “o somatório dos escores
obtidos pelos respondentes quando se aplicou a segunda metade do questionário”.
O coeficiente de correlação, nesse caso, ajustado para o tamanho inicial do
questionário, é um indicador da confiabilidade.
iguais: por exemplo, a metade superior e a metade inferior, ou o conjunto dos
itens de número par e o conjunto dos itens de número impar. Calcula-se, então,
a correlação entre “o somatório dos escores obtidos pelos respondentes quando
se aplicou a primeira metade do questionário” e “o somatório dos escores
obtidos pelos respondentes quando se aplicou a segunda metade do questionário”.
O coeficiente de correlação, nesse caso, ajustado para o tamanho inicial do
questionário, é um indicador da confiabilidade.
Exemplo
O diretor de uma escola quer saber se um professor mostra conhecer
a disciplina que leciona. Fez então um questionário de auto-aplicação para os
alunos. Para estudar a confiabilidade pelo método da divisão em metades, o
diretor deve aplicar o questionário e depois dividir em dois, com metade das
questões em cada parte. Calcula, então, a correlação (que deve ser alta) entre
os pontos obtidos nas duas metades.
a disciplina que leciona. Fez então um questionário de auto-aplicação para os
alunos. Para estudar a confiabilidade pelo método da divisão em metades, o
diretor deve aplicar o questionário e depois dividir em dois, com metade das
questões em cada parte. Calcula, então, a correlação (que deve ser alta) entre
os pontos obtidos nas duas metades.
Alfa de Cronbach: é
uma medida da consistência interna de um questionário – um dos aspectos de
confiabilidade. Definitivamente, é a medida mais usada, não só por ser fácil de
calcular como também poder ser calculada mesmo quando se aplica o questionário
uma única vez. Mas nem sempre é bem entendida nem bem interpretada. Veja mais
sobre o alfa de Cronbach em outra postagem, deste mesmo blog.
uma medida da consistência interna de um questionário – um dos aspectos de
confiabilidade. Definitivamente, é a medida mais usada, não só por ser fácil de
calcular como também poder ser calculada mesmo quando se aplica o questionário
uma única vez. Mas nem sempre é bem entendida nem bem interpretada. Veja mais
sobre o alfa de Cronbach em outra postagem, deste mesmo blog.
Referências
1. Mesquita FAB, Vieira S. Impacto da
condição auto-avaliada de saúde bucal na qualidade de vida: um estudo em Montes Claros. RGO. 2009.
condição auto-avaliada de saúde bucal na qualidade de vida: um estudo em Montes Claros. RGO. 2009.
2.
Lobbestael, J; Leurgans M; Arntz, A Inter-rater reliability of the Structured Clinical Interview for
DSM-IV Axis I Disorders (SCID I) and Axis II Disorders (SCID II).
Clinical Psychology & Psychotherapy. Volume 18, Issue 1, pages 75–79, January/February
2011
Lobbestael, J; Leurgans M; Arntz, A Inter-rater reliability of the Structured Clinical Interview for
DSM-IV Axis I Disorders (SCID I) and Axis II Disorders (SCID II).
Clinical Psychology & Psychotherapy. Volume 18, Issue 1, pages 75–79, January/February
2011
