ARTIGO 2 PARÂMETROS PSICOMÉTRICOS DE INSTRUMENTOS DE INTERESSE PROFISSIONAL PSYCHOMETRIC PARAMETERS OF PROFESSIONAL INTEREST INSTRUMENTS Fernanda Ottati*
RESUMO PALAVRAS-CHAVE INTRODUÇÃO De acordo com Andriola (1995), o auge da construção de instrumentos no Brasil se deu entre os anos 1930 e 1960. No entanto, o interesse não foi acompanhado pela atualização de conteúdos e parâmetros psicométricos, tanto pelos profissionais de Psicologia como pelas empresas responsáveis pela edição do material. Isso significa dizer que muitos testes utilizados até hoje não apresentam estudos que demonstrem sua confiabilidade. Os instrumentos voltaram a ser valorizados a partir da década de 1980, e esse resgate da legitimidade dos instrumentos será consolidado quando houver uma maior preocupação científica com a construção, correção e interpretação dos resultados. Van Kolck (1981, p. 20) afirma que validade e precisão são exigências essenciais para um bom teste “e este deve medir exatamente aquilo que pretende, mas realizar essa medida com acuidade, sem erros”. Em âmbito internacional, a preocupação com a construção e o uso de instrumentos psicológicos é também uma realidade. Na Espanha, foi criada uma Comissão de Testes com a finalidade de promover e potencializar o uso adequado dos testes, assim como a discussão está presente na Federação Européia de Associações de Psicólogos Profissionais (EFPPA), na Comissão Internacional de Testes (ITC), nas Associações Profissionais de Psicólogos da Holanda e do Reino Unido (PRIETO; MUÑIZ, 2000). Nos Estados Unidos, há algumas publicações anuais – como Mental Measurements Yearbooks e Test Critique do Buros Institute of Mental Measurements – que oferecem importantes informações sobre os testes, incluindo levantamentos de tipos de instrumentos, até a verificação de estudos de validade e precisão (CRONBACH, 1996; NORONHA; ALCHIERI, 2002).
1.1 -VALIDADE A verificação das evidências de validade pode ser realizada por meio de conteúdo, critério e construto. A validade de conteúdo envolve um exame do conteúdo do teste para verificar se ele abrange uma amostra representativa do domínio de comportamento a ser medido (ANASTASI; URBINA, 2000; PASQUALI, 2001; VAN KOLCK, 1981). Fachel e Camey (2000, p. 163) consideram que a validade de conteúdo também serve “para determinar se a escolha dos itens é apropriada e relevante”. Pasquali (2001) concebe que a validade de critério de um teste refere-se ao grau de eficácia que ele tem em predizer um determinado desempenho de um sujeito. Fachel & Camey (2000) consideram que o teste pode ser um preditor presente ou futuro. Isso quer dizer que se podem distinguir dois tipos de validade de critério: preditiva e concorrente. De acordo com Pasquali (2001), a diferença entre os dois é o tempo que há entre a coleta de informações pelo teste e a coleta de informações sobre o critério. Se for ao mesmo tempo, é validade concorrente. Se os dados de critério forem coletados depois das informações sobre o teste, é validade preditiva. Por fim, a validade de construto é considerada por Pasquali (2001) como a forma mais fundamental de validade. Van Kolck (1981) afirma que esse tipo de validade visa pesquisar as qualidades psicológicas que o teste mede. Ela tem sido entendida como o “grau pelo qual o teste mede um construto teórico ou traço para o qual ele foi designado” (FACHEL; CAMEY, 2000, p. 164). 1.2 - PRECISÃO (FIDEDIGNIDADE) Van Kolck (1981) acrescenta que um teste é X preciso quando seus resultados forem mais constantes e estáveis. Existem algumas formas de se verificar a precisão, tais como teste-reteste, formas paralelas e consistência interna. O teste-reteste é o cálculo do coeficiente de precisão da correlação entre os escores de um mesmo sujeito, num mesmo teste, só que em duas ocasiões diferentes. Anastasi e Urbina (2000) afirmam que o intervalo de tempo em que a precisão foi mensurada deve ser relatado no manual do teste, pois pode interferir no aumento ou na diminuição do coeficiente de precisão. Precisão de formas paralelas ou alternativas é obtida através dos escores do mesmo sujeito em duas formas paralelas do mesmo teste. A correlação com estes dois escores constitui o coeficiente de precisão. Vale ressaltar que, nas duas formas paralelas, os testes devem conter o mesmo número de itens, sendo expressos da mesma forma e abrangendo o mesmo conteúdo. A verificação da precisão por meio da consistência interna pode ser estabelecida por algumas técnicas. Entre as mais utilizadas, estão: duas metades, Kuder Richardson e Alfa de Cronbach. Todas essas técnicas exigem uma única aplicação do teste. 1.3 - PADRONIZAÇÃO DOS TESTES PSICOLÓGICOS Vários têm sido os trabalhos que afirmam a importância de cuidados na padronização de instrumentos. Weschsler (1999) e Van Kolck (1981) enfatizam que o aplicador deve seguir rigorosamente as instruções e todo tipo de orientação que se encontra no manual do instrumento, evitando improvisações que possam comprometer a validade dos instrumentos. E Anastasi e Urbina (2000) consideram que cabe aos construtores de testes oferecer instruções detalhadas para aplicação de cada teste desenvolvido, que incluem limite de tempo, instruções orais, demonstrações preliminares, maneira de manejar as perguntas às pessoas testadas e todos os outros detalhes da situação de aplicação. 1.4 - NORMATIZAÇÃO DOS TESTES PSICOLÓGICOS Anastasi e Urbina (2000) afirmam que as normas dos testes psicológicos não são absolutas, universais ou permanentes. Elas representam apenas o desempenho no teste das pessoas que constituem a amostra de padronização. De acordo com as autoras, ao escolher esta amostra, normalmente tenta-se obter um perfil representativo da população para a qual o teste foi planejado. Figueiredo e Pinheiros (1998) também enfatizam a importância de se padronizar o teste para o grupo específico no qual será utilizado, pois sabe-se que há várias diferenças na cultura, no tecido social, na linguagem, entre outras. Diante disso, percebe-se a necessidade de que instrumentos produzidos em países diferentes sofram estudos de normatização para cada lugar onde serão importados. Essa preocupação deve existir, já que, ao se interpretar os resultados do teste, não se pode usar as mesmas normas que foram utilizadas com populações diferentes, com culturas diferentes. Cabe aos profissionais, aos pesquisadores, às universidades e às editoras esse cuidado com o desenvolvimento científico. INVENTÁRIOS DE INTERESSES E A ORIENTAÇÃO
PROFISSIONAL Lucchiari (1993) entende que o objetivo da orientação é facilitar o momento de escolha do jovem, auxiliando-o a compreender sua situação específica de vida, na qual estão incluídos aspectos pessoais, familiares e sociais. Esse facilitar a escolha diz respeito a auxiliar o indivíduo a pensar, levando-o a descobrir quais caminhos quer seguir e, para isso, pode-se trabalhar três aspectos: conhecimento de si mesmo, conhecimento das profissões e escolha propriamente dita. Tanto os inventários de interesse como os próprios programas de orientação profissional podem ser utilizados para que os indivíduos se familiarizem com ocupações adequadas, as quais eles não teriam considerado por outros meios. Neste sentido, Anastasi e Urbina (2000) afirmam que as atitudes e os interesses representam um importante aspecto da personalidade de uma pessoa. Assim, pode ser de fundamental importância avaliar esses dois aspectos dos indivíduos envolvidos na orientação profissional. Essa seria uma das formas de alcançar alguns dos objetivos propostos da orientação. Os instrumentos de avaliação de interesses oferecem oportunidades de o indivíduo estudar e relacionar os resultados do teste com informações ocupacionais e também oferecem uma expansão nas opções de carreiras, já que muitos inventários já trazem não só ocupações que necessitam formação universitária, mas também opções de carreiras de nível técnico (ANASTASI; URBINA, 2000; CRONBACH, 1996). Além dessas características, Anastasi e Urbina (2000) enfatizam que eles possuem ainda uma outra, muito peculiar, que diz respeito à facilidade que as pessoas têm em responder às questões. Sbardelini (2000) considera que o uso dos testes na orientação profissional deve ser realizado como um: meio que oferece possibilidades de apreender a subjetividade
do sujeito diante das condições objetivas que lhe são
apresentadas. Nesse sentido, o teste visa enriquecer as informações
já levantadas por outros meios, atribuindo um significado mais
compreensivo e dinâmico da personalidade do sujeito e dos mecanismos
que interferem no processo de escolha. (p. 90) Cabe ressaltar que o uso dos testes na orientação profissional não deve ser a única fonte de informação sobre o indivíduo, já que os programas de orientação envolvem outros métodos, como dinâmicas de grupo e entrevista psicológica. Como afirma Souza (1995), os testes têm papel instrumental na orientação profissional, ou seja, não substituem a função do psicólogo, e sim vêm somar a essa. Outro ponto que a autora destaca é que os testes devem vir para oferecer mais informações sobre os indivíduos e, portanto, o processo de orientação não se inicia a partir dos testes. Ao utilizar testes, o profissional deve atentar para não fazer uso de forma fechada e estática, e sim dar importância a todas as dimensões do instrumento, incluindo as deficiências e limitações, até mesmo para saber como lidar com elas. Nesse sentido – ou seja, o de realizar avaliações psicológicas com mais propriedade –, o presente estudo objetivou analisar as qualidades psicométricas dos instrumentos de avaliação de interesse profissional. MÉTODO 3.1 - INSTRUMENTO 3.3 - PROCEDIMENTOS Todos os manuais foram lidos individualmente, para depois serem analisados pelos critérios propostos pelo questionário, também de forma individual. Os resultados foram analisados de forma qualitativa, com a construção de quadros descritivos. Os dados sobre validade, precisão, padronização e valorização das características dos testes foram descritos de acordo com as informações apresentadas nos respectivos manuais. RESULTADOS
DISCUSSÃO A análise mais perturbadora encontrada nesta pesquisa relaciona-se ao fato de a maioria dos instrumentos consultados não trazer em seus respectivos manuais qualquer informação sobre seus parâmetros psicométricos, o que nos leva a pensar que muitos resultados revelados pelos instrumentos possam ser questionados, considerando a ausência de dados de validade e de precisão, além de não apresentarem estudos de padronização. Sabe-se também que esses instrumentos são bastante utilizados e é possível que muitos profissionais ignorem o fato de usar instrumentos não recomendados do ponto de vista científico. Como Noronha (2002) afirma, por trás dessa problemática da má utilização dos instrumentos psicológicos está a má formação dos profissionais de Psicologia, que ainda aprendem determinadas técnicas e instrumentos muito desatualizados e sem um mínimo de informação. Os profissionais responsáveis pelas disciplinas de avaliação psicológica deveriam estar conscientes de que os problemas com testes existem e não são poucos. A formação deveria pressupor uma análise crítica em relação aos instrumentos, de forma que o aluno pudesse refletir e utilizar instrumentos com mais consistência. Toda essa questão ganhou mais evidência com a Resolução nº. 25/2001 do Conselho Federal de Psicologia, que regulamentava a elaboração, a comercialização e o uso dos testes psicológicos. Em 2003, o Conselho elaborou outra resolução, a nº. 002/2003, que anula a de número 25/2001. Nesta, a ênfase é dada na revisão de todos os testes publicados no Brasil, com a publicação de um instrumento para que esse estudo seja realizado por psicólogos nomeadamente capacitados, com comprovados conhecimentos em testagem psicológica. A utilização de testes que não estejam na lista daqueles considerados em condições de uso pelos psicólogos será considerada falta ética. As informações referentes aos parâmetros psicométricos dos testes consultados mostram que apenas o Teste do Catálogo de Livros Bessa-Tramer indica estudos a respeito da sua validade e precisão, embora não traga informações completas. Na questão da validade, somente outro instrumento, o Inventário de Interesses Profissionais, apresentou o tamanho da amostra na validade de construto. No que se refere à precisão, nenhum outro teste trouxe qualquer informação. Van Kolck (1981) considera que a validade e precisão são exigências essenciais para um bom teste. Os testes psicológicos são instrumentos de medida e, portanto, devem possuir essas duas características para que seus resultados possam ser confiáveis e legítimos (PASQUALI, 2001). Não há uma concordância entre os autores a respeito dos valores dos coeficientes de precisão, Noronha e Alchieri (2002) colocam que a partir de 0,80 o coeficiente é considerado adequado. Pasquali (2001) afirma que para um teste ser preciso é necessário um coeficiente próximo a 0,90. Para esse estudo, foram utilizados os coeficientes propostos pelos autores do questionário, Prieto e Muñiz (2000). Em relação aos dados de padronização, como o teste foi padronizado para a população a que se destina, os dados também não são animadores. Apenas dois instrumentos trazem algum tipo de informação, como o Kuder Inventário de Interesses, que tem normas para a população e diz o tamanho da amostra utilizada no estudo. O outro instrumento que traz informações é o Teste do Catálogo de Livros Bessa-Tramer, que também tem normas para a população, mas não diz o tamanho da amostra utilizada – apenas cita o procedimento de seleção. Os testes precisam ser padronizados e normatizados, ou seja, ter informações a respeito de limite de tempo, instruções dadas aos participantes e tabelas para conversão dos escores brutos. Todos esses dados só são possíveis de serem oferecidos se o teste, antes de ser lançado, for aplicado numa amostra de padronização, a qual irá possibilitar o estabelecimento de todos esses parâmetros. Por isso, a importância de que o manual traga explícito qual foi essa amostra e o número de pessoas, até mesmo para saber se o estudo pode ser confiável e generalizado para a população. Os achados do presente estudo mostraram que a qualidade de grande parte dos inventários de interesses disponíveis no mercado brasileiro está bem baixa. Mas esses resultados corroboram os de outros estudos já realizados, como os de Noronha (2002), Noronha, Sbardelini e Sartori (2001) e Noronha et al (2002), que também analisaram a qualidade dos testes psicológicos de inteligência e personalidade, chegando à conclusão de que precisam ser revisados. Os achados desses estudos e de outros, como o de Alves (2002), mostram que muitos dos testes utilizados no Brasil não apresentam dados mínimos em seus manuais, como os de identificação, instrução, padronização, validade e precisão. Cabe ressaltar mais uma vez, e em concordância com as novas políticas do Conselho Federal de Psicologia, que esse tipo de informação é básica e precisa estar descrita nos manuais.
NOTAS REFERÊNCIAS BIBLIOGRÁFICAS
ABSTRACT
KEYWORDS
|