1. Fidedignidade Igor Menezes Princípios de Psicometria AULA 10

2. O estudo da fidedignidade é uma etapa posterior à fase de validação de um instrumento psicométrico. Pela TCT, a fidedignidade era o parâmetro psicométrico mais investigado, sendo desenvolvidas várias técnicas estatísticas de estimação desse parâmetro. Dentro da TRI, a fidedignidade é preterida em favor do parâmetro de validade, embora seja também estudada. Igor Menezes Princípios de Psicometria

3. Teoria Clássica dos Testes (TCT) Igor Menezes Princípios de Psicometria

4. Definição Corresponde à consistência dos escores obtidos pelas mesmas pessoas quando elas são reexaminadas com o mesmo teste em diferentes ocasiões, ou com diferentes conjuntos de itens equivalentes, ou sob outras condições variáveis de exame. Diz respeito também ao grau de precisão da medida ou ao nível de consistência interna (correlação item-total) entre os itens de um teste. Igor Menezes Princípios de Psicometria

5. Clareando conceitos... FIDEDIGNIDADE = CONFIABILIDADE = PRECISÃO Nomenclatura com relação às técnicas estatísticas utilizadas para a análise dos dados empíricos coletados Fidedignidade Consistência Interna EquivalênciaConstância Estabilidade Ciências Físicas Fidedignidade Calibração dos Instrumentos Igor Menezes Princípios de Psicometria

6. FIDEDIGNIDADE = MEDIR SEM ERROS Medir os mesmos sujeitos Em ocasiões diferentes com o mesmo teste Na mesma ocasião com testes equivalentes Igor Menezes Princípios de Psicometria

7. Correlação entre as duas medidas - 1+ 1 Os tipos de fidedignidade são expressos em termos de um coeficiente de correlação. > Precisão da medida > Erro de mensuração Igor Menezes Princípios de Psicometria

8. Medidas de Fidedignidade Possibilitam estimar que proporção da variância total dos escores de teste é uma variância de erro. Coeficientes de precisão é a função da variância verdadeira (covariância) pela variância total Igor Menezes Princípios de Psicometria

9. Exemplo 1: Interesse em medir flutuações de humor Indicador: Mudanças do dia-a-dia Resultado: Escores seriam parte da variância verdadeira do teste, pois são relevantes para o objetivo do teste. Exemplo 2: Interesse em medir características de personalidade Indicador: Mudanças do dia-a-dia Resultado: Escores são considerados como variância de erro, pois não se adeqüam ao objetivo do teste. Igor Menezes Princípios de Psicometria

10. Aplicação do Coeficiente de Fidedignidade Exemplo: Teste de Fluência de Palavras FORMA 1 Escrever o máximo possível de palavras começando com uma determinada letra. FORMA 2 Escrever o máximo possível de palavras com uma outra letra aproximadamente igual em dificuldade. * Tempo: cinco minutos ou Correlação (r) Coeficiente de Fidedignidade Igor Menezes Princípios de Psicometria

11. Qualquer condição que seja irrelevante para o objetivo do teste representa variância de erro. Reduzindo a variância de erro Aumentando a Confiabilidade Manutenção de Condições Uniformes de Testagem Controle do Ambiente Instruções Limites de Tempo Amostra Normativa Igor Menezes Princípios de Psicometria

12. Coeficientes de Fidedignidade 1. Fidedignidade Teste-Reteste 2. Formas Paralelas (Alternadas) 3. Método das Duas Metades 4. Kuder-Richardson 6. Fidedignidade do Avaliador 5. Coeficiente Alpha de Cronbach Igor Menezes Princípios de Psicometria

13. Fidedignidade Teste-Reteste O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas nas duas aplicações de um mesmo teste. Teste A Momento 1 Teste A Momento 2 Correlação (r) entre Escore A e Escore B Mesmo(s) sujeito(s) Escore AEscore B Coeficiente de Estabilidade ou Constância 1 Igor Menezes Princípios de Psicometria

14. Mostra a extensão em que os escores em um teste podem ser generalizados para situações diferentes. Cuidados em manter breve o intervalo da retestagem (máximo de 6 meses). Somente os testes que não são afetados pela repetição se prestam à técnica de reteste (como testes motores e de discriminação sensória). A variância de erro corresponde às flutuações aleatórias de desempenho de uma sessão de teste para a outra. 1 Fidedignidade Teste-Reteste Igor Menezes Princípios de Psicometria

15. VANTAGEM DESVANTAGENS Garantia da equivalência (paralelismo), pois se trata da aplicação do mesmo teste. Dificuldade em se definir o intervalo ideal de tempo entre a 1ª e a 2ª aplicações. Dificuldade em controlar os eventos que ocorrem entre a 1ª e a 2ª aplicações. 1 Fidedignidade Teste-Reteste Igor Menezes Princípios de Psicometria

16. 1 Fidedignidade Teste-Reteste Teste-Reteste: interpretação Parâmetro Ideal: Coeficiente Spearman-Brown (rsb) ≥ 0,50 (quando se assume a igualdade das variâncias entre as duas metades) Coeficiente Guttman (L4) ≥ 0,50 (quando não se assume a igualdade das variâncias entre as duas metades). Igor Menezes Princípios de Psicometria

17. Formas Paralelas (ou alternadas) O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas na aplicação de formas equivalentes de um teste. Teste A Momento 1 Teste B (forma paralela) Momento 1 Correlação (r) entre Escore A e Escore B Mesmo(s) sujeito(s) Escore AEscore B Coeficiente de Equivalência 2 Igor Menezes Princípios de Psicometria

18. O coeficiente de fidedignidade é uma medida tanto da estabilidade temporal quanto da consistência da resposta a diferentes amostras de itens (ou formas de teste). A variância de erro é resultante da amostragem de conteúdo. 2 Formas Paralelas (ou alternadas) Igor Menezes Princípios de Psicometria

19. Os testes devem ser construídos independentemente para satisfazer as mesmas especificações. Critérios para Manutenção da Equivalência Devem conter o mesmo número de itens. Devem ser expressos na mesma forma. Devem abranger o mesmo tipo de conteúdo. O intervalo de tempo e o nível de dificuldade dos itens devem ser iguais. 2 Formas Paralelas (ou alternadas) Igor Menezes Princípios de Psicometria

20. VANTAGENS DESVANTAGENS São úteis na investigação dos efeitos de algum fator experimental interveniente no desempenho apresentado no teste. Dificuldade em se conseguir formas perfeitamente paralelas, isto é, medir mesmo traço latente com itens diferentes. Os testes são aplicados numa só ocasião. Reduz a possibilidade de treinamento ou fraude. Não elimina totalmente o efeito da prática. 2 Formas Paralelas (ou alternadas) Igor Menezes Princípios de Psicometria

21. 2 Formas Paralelas (ou alternadas) Formas Paralelas: interpretação Parâmetro Ideal: Testa se todos os itens possuem variâncias e erros iguais. Quando são iguais o cálculo da fidedignidade será dado pelo alpha de Cronbach. Se o valor do qui-quadrado for inferior a 0,05, rejeita-se a hipótese nula de igualdade de variâncias e erros na população. Igor Menezes Princípios de Psicometria

22. 2 Formas Paralelas (ou alternadas) Parâmetro Ideal: Maior variância verdadeira do que variância de erro. Formas Paralelas: interpretação Igor Menezes Princípios de Psicometria

23. Duas Metades (Split Half) O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas na aplicação de um mesmo teste dividido em duas metades equivalentes. Teste A Momento 1 Correlação (r) entre Escore A1 e Escore A2 Mesmo(s) sujeito(s) Escore A1 Escore A2 Coeficiente de Consistência Interna 3 Igor Menezes Princípios de Psicometria

24. r tt = coeficiente obtido DP d 2 = variância das diferenças entre os escores de cada pessoa nos dois meios-testes. DP x 2 = variância dos escores totais. Fórmula Geral A variância verdadeira (coeficiente de fidedignidade) é dada pela diferença entre 1,0 e a variância de erro. Duas Metades (Split Half) 3 Igor Menezes Princípios de Psicometria

25. Deve-se encontrar os escores nos itens pares e ímpares do teste. A variância de erro é resultante da diferença entre os escores de uma pessoa nos dois meios-testes. Deve-se dividir o teste em grupos de itens que tratam do mesmo conteúdo. Duas Metades (Split Half) 3 Igor Menezes Princípios de Psicometria

26. VANTAGENS DESVANTAGENS Exige apenas uma aplicação (evita eventos temporais). Dificuldade em se garantir a equivalência das duas metades. Os testes são aplicados numa só ocasião. Reduz a possibilidade de treinamento ou fraude. A forma final do teste poderá reter um número demasiadamente elevado de itens, fatigando o sujeito (aumenta a variância de erro). Duas Metades (Split Half) 3 Igor Menezes Princípios de Psicometria

27. Duas Metades (Split Half) 3 Duas Metades: interpretação Parâmetro Ideal: Coeficiente Spearman-Brown (rsb) ≥ 0,50 (quando se assume a igualdade das variâncias entre as duas metades) Coeficiente Guttman (L4) ≥ 0,50 (quando não se assume a igualdade das variâncias entre as duas metades). Igor Menezes Princípios de Psicometria

28. Kuder-Richardson O coeficiente de fidedignidade é a correlação entre os escores obtidos em cada item do teste. Teste A Momento 1 Item A1 Mesmo(s) sujeito(s) Coeficiente Kuder- Richardson Item A2 Item A3 Item A4 Item A40...... Correlação (r) interitem entre cada escore 4 Igor Menezes Princípios de Psicometria

29. KR 20 = coeficiente obtido s t 2 = variância total dos escores do teste n = nº de itens do teste Fórmula Geral Kuder-Richardson 20 A fórmula Kuder-Richardson 20 é utilizada quando os itens são dicotômicos.  pq = somatório do produto da proporção de pessoas que acertam o item (p) e da proporção dos que erram (q) Kuder-Richardson 4 Igor Menezes Princípios de Psicometria

30. KR 21 = coeficiente obtido s t 2 = variância total dos escores do teste n = nº de itens do teste Fórmula Geral Kuder-Richardson 21 A fórmula Kuder-Richardson 21 é utilizada quando os itens, além de dicotômicos, têm o mesmo nível de dificuldade. T = média da soma dos itens acertados pelo sujeito (média do escore total). Kuder-Richardson 4 Igor Menezes Princípios de Psicometria

31. Quanto mais homogêneo, maior a fidedignidade. A variância de erro é resultante da amostragem por conteúdo e pela heterogeneidade do domínio comportamental amostrado. O coeficiente Kuder-Richardson é aplicável aos testes cujos itens são pontuados em termos de escalas dicotômicas (certo-errado; tudo-nada). Kuder-Richardson 4 Igor Menezes Princípios de Psicometria

32. Kuder-Richardson 4 CondiçãoKuder-Richardson (KR) Não-recomendado< 0,70 Aceitável0,70 ≤ KR ≤ 0,79 Recomendado0,80 ≤ KR ≤ 0,90 Não-recomendado> 0,90 Kuder-Richardson: interpretação Parâmetro Ideal: 0,70 ≤ KR ≤ 0,90 Igor Menezes Princípios de Psicometria

33. Alpha de Cronbach O coeficiente de fidedignidade é a correlação entre os escores obtidos em cada item do teste. É semelhante à técnica Kuder-Richardson. Teste A Momento 1 Item A1 Mesmo(s) sujeito(s) Coeficiente Alpha Item A2 Item A3 Item A4 Item A40...... Correlação (r) interitem entre cada escore 5 Igor Menezes Princípios de Psicometria

34. a = coeficiente obtido  s i 2 = soma das variâncias dos n itens n = nº de itens do teste Fórmula Geral Alpha A fórmula Alpha é uma modificação da Kuder-Richardson e reflete o grau de covariância dos itens entre si. s T 2 = variância total dos escores do teste O coeficiente Alpha varia de 0 (ausência total de consistência interna dos itens) a 1 (100% de consistência). Alpha de Cronbach 5 Igor Menezes Princípios de Psicometria

35. Quanto mais homogêneo, maior a fidedignidade. A variância de erro é resultante da amostragem por conteúdo e pela heterogeneidade do domínio comportamental amostrado. O coeficiente Alpha é aplicável aos testes cujos itens são pontuados em termos de escalas graduadas (Likert, Diferencial Semântico, Stapel, etc). Alpha de Cronbach 5 Igor Menezes Princípios de Psicometria

36. Alpha de Cronbach 5 Condição Alpha de Cronbach ( a ) Não-recomendado< 0,70 Aceitável 0,70 ≤ a ≤ 0,79 Recomendado 0,80 ≤ a ≤ 0,90 Não-recomendado> 0,90 Alpha de Cronbach: interpretação Parâmetro Ideal: 0,70 ≤ a ≤ 0,90 Igor Menezes Princípios de Psicometria

37. Fidedignidade do Avaliador O coeficiente de fidedignidade é a correlação entre os escores atribuídos por cada avaliador. Teste A Momento 1 Item A1 Mesmo(s) sujeito(s) Fidedignidade do avaliador Item A2 Item A3 Item A4 Item A40...... Correlação (r) 80 Escores Avaliador 1 75 77 74 83 Escores Avaliador 2 74 81 76 71 79 6 Igor Menezes Princípios de Psicometria

38. Fidedignidade do Avaliador Coeficiente Cohen Kappa 6 É uma das medidas mais robustas de exame da fidedignidade do avaliador. k = coeficiente Kappa Pr(a) = é a concordância observada relativa entre os avaliadores. Pr(b) = é a probabilidade de que a concordância seja devida ao acaso. Igor Menezes Princípios de Psicometria

39. Fidedignidade do Avaliador Coeficiente Cohen Kappa 6 É uma das medidas mais robustas de exame da fidedignidade do avaliador. O Cohen Kappa é utilizado quando se trabalha com somente dois avaliadores. Quando se utilizam mais de dois avaliadores, emprega-se o coeficiente Fleiss Kappa. Igor Menezes Princípios de Psicometria

40. CONDIÇÃOFidedignidade do Avaliador Não-recomendado< 0,70 Aceitável0,70 ≤ k ≤ 0,79 Recomendado≥ 0,80 Parâmetro Ideal: k ≥ 0,70 Fidedignidade do Avaliador 6 Fidedignidade do Avaliador: interpretação Igor Menezes Princípios de Psicometria

41. Muito usados para testes de criatividade e testes projetivos de personalidade. A variância de erro é resultante da variância do avaliador. Tipo de fidedignidade comumente calculado quando instrumentos avaliados subjetivamente são empregados na pesquisa. Fidedignidade do Avaliador 6 Igor Menezes Princípios de Psicometria

42. Tipo de Coeficiente de Fidedignidade Variância de Erro Teste-RetesteAmostragem de Tempo Forma Alternada ou ParalelaAmostragem de Conteúdo Método das Duas MetadesAmostragem de Conteúdo Kuder-Richardson Amostragem de Conteúdo e Heterogeneidade de Conteúdo Coeficiente Alpha Amostragem de Conteúdo e Heterogeneidade de Conteúdo AvaliadorDiferenças entre Avaliadores Fontes de Variância de Erro em Relação aos Coeficientes de Fidedignidade Igor Menezes Princípios de Psicometria

43. > Variabilidade da amostra Fatores que Afetam a Fidedignidade > Coeficiente de correlação > Precisão da medida > Número de itens > Coeficiente de correlação > Precisão da medida - 1 + 1 Igor Menezes Princípios de Psicometria

44. Fatores que Afetam a Fidedignidade Teoria de Resposta ao Item (TRI) Igor Menezes Princípios de Psicometria

45. Pela TRI, a fidedignidade pode ser obtida estimando-se A Curva de Informação do Item, que corresponde a um procedimento de análise gráfica que apresenta o nível do teta para o qual o item traz a maior informação. Esta análise é feita a partir da Função de Informação do Item (IIF), que, algebricamente pode ser calculada pela seguinte fórmula: Igor Menezes Princípios de Psicometria

46. Função de Informação do Item (IIF) Igor Menezes Princípios de Psicometria

47. Na análise gráfica, a magnitude da informação é indicada no eixo das ordenadas (y), sendo que os itens com elevada discriminação possuem uma função de informação mais acurada, visto que uma alta discriminação significa que o item pode diferenciar melhor os sujeitos que se situam próximo ao valor da dificuldade. Igor Menezes Princípios de Psicometria

48. A função de informação do item pode identificar, assim, itens que apresentam um bom ou um mal desempenho. Um item que traz pouca informação pode indicar a mensuração de algo diferente de outros itens na mesma escala; a má formulação do seu enunciado, o que careceria de revisão; a excessiva complexidade para os sujeitos que estão sendo avaliados; ou ainda, que se encontra fora do contexto do instrumento como um todo (Reeve e Fayers, 2006). Igor Menezes Princípios de Psicometria

49. A qualidade da informação do item aumenta quando: a)o parâmetro b se aproxima de teta; b)quanto maior for o parâmetro a; e c)quanto mais o valor do parâmetro c se aproxima de zero. Igor Menezes Princípios de Psicometria

50. Ex.: Item com boa qualidade de informação Igor Menezes Princípios de Psicometria

51. A Curva de Informação do Teste é resultado da soma das funções de informação de todos os itens de um instrumento, obtida a partir da Função de Informação do Teste (TIF). que considera a soma das informações fornecidas por cada item, não trouxe uma informação maior ou igual a 10,0, valor considerado por Hambleton (2004) como ideal para a garantia de uma boa precisão da medida psicométrica. Igor Menezes Princípios de Psicometria

52. Função de Informação do Teste (TIF): interpretação Parâmetro Ideal: TIF ≥ 10,0 Igor Menezes Princípios de Psicometria