Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
TEMA 3 LOS INSTRUMENTOS INSTRUMENTOS DE DE EVALUA EVA LUACIÓN CIÓN P SICOLÓGI SICOL ÓGICA CA INTRODUCCIÓN La formación de un buen profesional de la psicología debe contemplar, conocer el proceso de evaluación y el transcurso del mismo, saber elegir y aplicar aquellos instrumentos que le permitan realizar una labor de calidad.
1. ¿ Qué Qué ES UN INSTR INSTRUM UMENTO ENTO DE DE EVALUAC EVA LUACIÓN IÓN P SICOLÓGICA? SICOLÓGICA ? García – Montalvo (1997) “un instrumento de evaluación psicológica es todo aquello que el evaluador puede utilizar como legitima fuente de datos acerca de un sujeto”. Un instrumento se puede equiparar a “técnica” definida como procedimiento utilizado tanto en el laboratorio como en el mundo social para la realización de una evaluación psicológica. Los instrumentos de evaluación psicológica se clasifican en función de técnicas (entrevista, observación, autoinformes, subjetivas, proyectivas, objetivas) entendidas como “conjunto de procedimientos y recursos de que se sirve una ciencia o un arte”. Mientras que los instrumentos o técnicas pueden ser procedimientos no cuantificados ni tipificados, el test es un instrumento científico y tipificado que compara la conducta de 2 o más personas. No todas las técnicas o instrumentos son test, por el contrario los test si se les puede denominar instrumentos de evaluación psicológica. “Prueba” Cohen y Swerdlik (2001) “dispositivo o procedimiento de medición diseñado para medir variables relacionadas con la psicología (inteligencia, personalidad, aptitudes, intereses…) Gregory (2001) una prueba es un procedimiento estandarizado para tomar una muestra de conducta y describirla con categorías o puntuaciones.
Caracterís Características ticas de las pruebas pruebas: Procedimiento estandarizado. Muestra de conducta. Puntuaciones o categorías. Normas o estándares. Predicción de la conducta fuera de la prueba. • • • • •
Cronbach (1998) test lo define como “procedimiento sistemático para observar el comportamiento y describirlo con la ayuda de escalas numéricas o categorías fijas”. Si bien los instrumentos de evaluación psicológica se llaman coloquialmente test, solamente se pueden llamar test a aquellos que están estandarizados y tipificados, y por lo tanto, nos informan de la puntuación de un sujeto en relaciona a otro o a su grupo de referencia.
2. CLASIF CL ASIFICACIÓN ICACIÓN PSICOLÓGICA.
DE
LOS
INSTRUMENTOS INSTRUMENTOS
DE
EVALUACIÓN EVAL UACIÓN
Pervin (1979) organiza los instrumentos i nstrumentos de evaluación en: test proyectivos, test psicometricos y test objetivos. Fernández Fernández – Balleste Balles teros ros (199 (1999) 9) clasific clas ificación ación en 6 categorías: categorías: Técnicas de observación. Técnicas objetivas. Técnicas de autoinforme. La entrevista. Técnicas subjetivas. Técnicas proyectivas. • • • • • •
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
“La técnica de evaluación tan solo supone dispositivos de recogida de información, sin que necesariamente requiera tipificación de su material o con ella se permitan comparaciones intersujetos”. Clasificación de Forns, Abad, Amador, Kirchner y Roig (2002) relacionan los modelos de evaluación psicológica con las posturas conceptuales explicativas de la conducta: - Perspectiva biologicista, las técnicas de estudio de la conducta humana, son objetivas de tipo psicofiologico. - Perspectiva psiquiatrica, estudio de síntomas se realiza mediante la entrevista dirigida, complementada con el uso de análisis psicofisiológicos. - Las técnicas proyectivas y la entrevista libre son de posturas psicoanalíticas y psicodinamicas. - Modelo fenomenológico, resalta la importancia de la propia experiencia y vivencias personales, son las técnicas subjetivas y entrevista no directiva. - Modelo behaviorista que enfatiza el análisis de las conductas objetivables y el uso de la cuantificación, las técnicas prioritarias son la entrevista, la observación, las técnicas objetivas y los autoinformes. Las técnicas de evaluación psicológica también pueden clasificarse en función de su aplicación a lo largo del proceso de evaluación psicológica. Fernández – Ballesteros (1999) resalta como a medida que avanza el proceso se seleccionan distintos tipos de instrumentos. Así se inicia con pruebas mas generales, como la entrevista, finalizando con pruebas específicas, como las objetivas. Garaigordobil (1998) agrupa los autoinformes en base a la variable que miden: 1. Rasgos, dimensiones, o factores de personalidad, como ejemplo MMPI. 2. Estados como el STAI (cuestionario de Ansiedad estado / rasgo). 3. Repertorios clínicos conductuales que informan sobre la conducta motora, cognitiva, y fisiológica consideradas como muestras y no como rasgos intrapsiquícos, como los inventarios de miedos, cuestionarios de depresión… etc. 4. Repertorios, procesos y estructuras cognitivas, que se trata de autoinformes sobre creencias, atribuciones, automensajes o autoinstrucciones que se da el sujeto frente a la situación problema en la que se encuentra o también autoinformes sobre el funcionamiento motivacional del sujeto (expectativas, estímulos internos o externos reforzantes, etc.…). Los principales tipos de autoinformes según Fernández – Ballesteros (1999) son: entrevista, cuestionarios, inventarios y escalas; los autorregistros y pensamientos en voz alta. Las variables que generalmente miden los cuestionarios, inventarios y escalas son la personalidad, los repertorios clínico – conductuales y de constructos cognitivos y motivacionales. Las técnicas de pensamientos en voz alta se aplican en la evaluación de conductas cognitivas. Distinción entre cuestionario, inventario y escala. Cuestionario: lista de cuestiones o preguntas, formulación con interrogación. Inventario: a partir de un listado de ítems en forma de conjunto de frases que representan situaciones, conductas o respuestas a las que el sujeto tiene que contestar con que frecuencia le ocurren. Escala: observación externa y luego preguntas.
Características de la clasificación de técnicas de evaluación psicológica: (Aiken, Cohen, Swerdlik y Gregory. 1. Procedimientos estandarizados y no estandarizados : se considera una prueba estandarizada cuando tiene instrucciones fijas para su aplicación y calificación y se aplica a un grupo representativo de la población, para quienes esta dirigido. Los test estandarizados son pruebas referidas a la norma, mientras que los no estandarizados son referidos al criterio. 2. Pruebas individuales o grupales: un instrumento individual solo se aplica a un sujeto, mientras que las pruebas grupales pueden aplicarse simultáneamente a varios sujetos.
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
3. Pruebas referidas a la norma o al criterio: en las referidas a la norma, la puntuación del sujeto se interpreta con referencia a una muestra de estandarización, mientras que las pruebas referidas al criterio no necesitan de la comparación de un individuo con un grupo de referencia, sino determinar la posición de cada sujeto respecto a una criterio o área bien definida de contenido. Forns y cols. (2002) clasificación de técnicas según: 4. El grado de estructuración de los estímulos y la respuesta: Una prueba estructurada en el estimulo tiene una única interpretación, mientras que las pruebas con menos grado de estructuración ofrece variedad de interpretaciones. 5. El grado de enmascaramiento del objetivo de la prueba: Una prueba no enmascarada deja claro desde el principio los objetivos que persigue, mientras que los instrumentos enmascarados poseen un objetivo distinto del que pretenden aparentar en un principio. (técnicas subjetivas y proyectivas). 6. El grado de inferencia interpretativa: varios niveles (Sundberg, Tyler y Taplin (1973): Nivel I: La conducta del sujeto es entendida como muestra de su comportamiento en la vida real. Supone un nivel máximo de inferencia. Nivel II: La conducta evaluada del sujeto se asocia con otras conductas no evaluadas. Se apoya por tanto en un supuesto de relación. Nivel III: La conducta del sujeto expresa la existencia de un atributo subyacente en el sujeto, de carácter intrapsiquico e inobservable. Nivel IV: La conducta evaluada es una explicación especulativa a partir de una Tª concreta del psiquismo, y el concepto inferido se integra en una Tª completa. 7. El grado de modificalidad de la respuesta: Se refiere al grado en el que el sujeto puede modificar o alterar su respuesta en la prueba. Las pruebas objetivas son menos susceptibles de ser alteradas, mientras que los autoinformes los puede falsear con más facilidad el sujeto. •
•
•
•
3. ¿Quiénes PUEDEN APLICAR UN INSTRUMENTO DE EVALUACIÓN PSICOLÓGICA? En el proceso de evaluación psicológica, cuando el objetivo de la demanda es la intervención psicológica, se administran pruebas en distintas fases del proceso, y se aplica un tratamiento psicológico, para poder constatar los beneficios del tratamiento y observar los logros conseguidos. En este proceso puede intervenir un profesional o varios. Existen aspectos éticos y deontológicos de la evaluación psicológica.
Clasificación de instrumentos de evaluación a 3 niveles (Muñiz, 1997): a) Formación y experiencia en el ámbito concreto de la aplicación. Incluye instrumentos que pueden aplicarse, corregirse e interpretarse con solo la ayuda del manual, Ej. Test de rendimiento. b) Conocimiento sobre la Tª de los test y métodos estadísticos, por lo que requieren formación técnica sobre construcción y uso de test, así como los aspectos psicológicos, estadísticos, sobre diferencias individuales, personalidad, etc. Ej. Cuestionarios de personalidad. c) Titulación superior en psicología, psiquiatría o psicopedagogía y experiencia profesional en diagnostico clínico, que requieren una preparación profunda de los test y técnicas subyacentes, así como experiencia en su aplicación, Ej. Técnicas proyectivas y escalas de aplicación individual como las de Wechsler…etc.
4. ¿Cómo ELEGIR EL PSICOLÓGICA?
MEJ OR INSTRUMENTO DE EVALUACIÓN
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
La elección de las herramientas psicológicas mas adecuadas, depende de que se quiere evaluar, para que, es decir, cual es el objetivo y quien o quienes van a ser evaluados.
Pasos para elegir un instrumento: 1. Saber cuales son las pruebas estandarizadas. 2. Elegir aquellas que posean unos adecuados criterios de calidad: fiabilidad y validez. 3. Seleccionar aquellos instrumentos que puedan aplicarse a la edad del sujeto que queremos evaluar. 4. seleccionar un instrumento que evalué de forma individual o grupal depende de si se trata de un sujeto o varios. Teniendo en cuenta aspectos como: - Tiempo de aplicación. - Formato de la prueba. - El objetivo que se pretende evaluar. Una vez elegida la prueba que se va a aplicar, es imprescindible que el evaluador: 5. Se familiarice con la prueba. 6. Prepare adecuadamente el lugar donde se aplicaran las pruebas. 7. Cree un ambiente y rapport adecuado. Comodidad. 8. Prepare los materiales necesarios. 9. Explique el propósito de la evaluación antes de aplicar las pruebas y como se a utilizar la información obtenida. 10. Siga estrictamente las normas de aplicación. 11. Corrija las pruebas siguiendo los pasos que se indican en el manual, para no cometer errores. 12. Cumpla con las obligaciones éticas y deontologicas.
5. ¿COMO SON LOS MANUALES DE APLICACIÓN INSTRUMENTOS DE EVALUACIÓN PSICOLÓGICA?
DE
LOS
Partes de las que consta un manual: 1. Introducción. Origen de la prueba. 2. Objetivos que pretende el instrumento. 3. Descripción general de la prueba: nombre, autor, tipo de administración, etc.… 4. Fundamentación estadística, datos psicometricos, muestras empleadas, fiabilidad y validez. 5. instrucciones para la aplicación, corrección e interpretación. 6. Ventajas y limitaciones de la prueba y áreas de aplicación. (a veces no esta). 7. algunos manuales incluyen investigaciones recientes realizadas con ese test. El buen evaluador debe leer el manual antes de aplicar el test y prestar atención a los siguientes aspectos: 1. Construcción de la prueba. 2. Como debe de administrarse el test. 3. La corrección y obtención de los resultados del test. 5.1 ¿Cómo REALIZAR UNA CORRECTA ADMINISTRACIÓN DE LAS PRUEBAS DE EVALUACIÓN PSICOLÓGICA? Al sujeto se le deben decir las palabras exactas indicadas en el manual. Para la corrección y puntuación de las pruebas psicológicas, se deben seguir las siguientes indicaciones: 1. Se realizaran las acciones oportunas para conocer la puntuación directa del test. 2. Se transforma la puntuación directa en un tipo de valor que nos permitirá comparar al sujeto con el grupo de referencia. Cuando la prueba permite la corrección por ordenador es mejor porque se cometen menos errores.
6. CRITERIOS DE CALIDAD EXIGIBLES A LOS INSTRUMENTOS DE EVALUACIÓN PSICOLÓGICA.
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
Los principales criterios psicometricos de calidad o bondad asumidos como normas en la construcción, interpretación y utilización de instrumentos psicológicos de medición son la fiabilidad y la validez.
6.1 FIABILIDAD. La fiabilidad es la exactitud (consistencia y estabilidad) de la medición de un test, es decir, la precisión con la que mide la prueba. La fiabilidad es la concordancia entre una medida obtenida mediante determinado instrumento y la medida precisa o estándar, es decir, sin recurrir a un error. El calculo de la fiabilidad nos informa de la cuantía de error de un instrumento de medida, por lo que, a menor error, mayor fiabilidad y mas exacto y preciso será el test. La calificación real se define como el promedio de calificaciones que se obtendrían si una persona realizase la prueba una cantidad infinita de veces. La fiabilidad de la prueba se define como la relación de la varianza real con la varianza observada o la proporción de la varianza observada que se explica por la varianza real. El coeficiente de fiabilidad es un índice de confianza y por tanto indica la razón entre la varianza de la puntuación verdadera y la varianza total, por lo que no es un valor de todo o nada, sino que existen distintos tipos y grados de fiabilidad. La falta de fiabilidad es el resultado de los errores en la medida que se producen por estados internos temporales, baja motivación, condiciones externas, distracciones… etc. Forns y cols. Niveles de fiabilidad: - Fiabilidad alta (superiores a 90), son necesarios cuando se han de tomar decisiones que afectan a los individuos. - Fiabilidad moderada (75 – 85) son utilizados como pruebas preliminares o de cribado. - Fiabilidad baja (inferior a 65) han de ser rechazadas por su exceso de error. 6.2 FUENTES DE VARIANZA ERROR Aiken, Cohen, Swerdlik y Gregory describen las principales fuentes de error relativas a la construcción, administración, calificaron e interpretación de l as pruebas. 6.2.1 Construcción de pruebas. En la construcción de una prueba se puede generar una fuente de varianza en el muestreo de reactivos o muestreo de contenidos. 6.2.2 Administración de las pruebas. Durante la aplicación de la prueba pueden desencadenarse fuentes de varianza de error que pueden influir y modificar la atención y motivación del sujeto evaluado. 6.2.3 Calificación e interpretación de las pruebas. A la hora de corregir las pruebas se pueden generar errores, por eso ahora las pruebas se corrigen por ordenador o por hojas de lectura óptica. 6.3 TIPOS DE FIABILIDAD Distintas formas que existen de calcular el grado de fiabilidad de una prueba: 6.3.1 Coeficiente test – retest o estabilidad del test. Se halla al correlacionar las puntuaciones que obtiene un grupo de sujetos en la aplicación de una prueba con las obtenidas en una 2ª aplicación. Se esperar obtener parecidas calificaciones en las 2 aplicaciones. Este tipo de fiabilidad tiene en cuenta los errores de medida derivados de las posibles diferencias de las condiciones en las que en 2 ocasiones se ha aplicado la misma prueba. No refleja los errores relativos a distintas muestras de reactivos o elementos de la prueba. Menos error cuanto menos tiempo haya pasado entre las 2 ocasiones. 6.3.2 Coeficiente de formas paralelas/alternas o de equivalencia.
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
El coeficiente de formas paralelas o de equivalencia supera, al test – retest evitando dos tipos de errores: debidos a distintos reactivos y errores derivados de las 2 ocasiones de aplicación.
6.3.3 Coeficiente de consistencia interna El coeficiente de consistencia interna tiene en cuenta los errores de diferentes muestras de reactivos de una prueba, pero no refleja los errores de medición debidos a los diferentes condiciones o momentos de la aplicación. Este coeficiente se puede calcular por distintos métodos estadísticos: - Método de división por mitades. - Método de Kuder – Richardson. - Coeficiente Alfa de Cronbach. 6.3.4 Coeficiente interjueces o entre evaluadores. Para determinar la fiabilidad entre jueces 2 personas califican las respuestas de un grupo de sujetos y después se calcula la corrección entre los 2 grupos evaluados. En síntesis podemos decir que cada uno de los coeficientes de fiabilidad reflejan fuentes de varianza de error distintas, por lo tanto un coeficiente puede proporcionar un índice de error de la construcción de la prueba, de la aplicaron de la misma o de l a calificación o interpretación.
6.4 VALIDEZ Los test deben medir la dimensión real que se supone que están midiendo, es decir, deben tener validez. Matizaciones más importantes sobre la validez (silva): 1. La validez esta relacionada con las inferencias que se hagan a partir de las puntuaciones obtenidas mediante un instrumento en determinadas circunstancias. 2. No es valida el instrumento, sino las interpretaciones que se hagan a partir de las puntuaciones. 3. La validez es algo estimado, algo que se infiere, a partir de un conjunto de informaciones y no algo que se reduce a un coeficiente o coeficientes particulares. 4. No debe de hablarse de “tipos o clases” de validez sino, de tipos o clases de evidencia. No existe límite en cuanto al tipo de procedimiento o de datos utilizados para estimar la validez. Aiken, Cohen y Swerdlik indican los métodos para evaluar la validez: - El análisis de contenido. - La relación de las puntuaciones obtenidas en la prueba con las puntuaciones en base a un criterio de interés u otras medidas. - El análisis general de las características psicológicas o constructos particulares que mide la prueba. 6.4.1 Validez de contenido. “Se refiere a las respuestas del sujeto mas que a las preguntas del test, con el fin de enfatizar el hecho de que la estimación de la validez de contenido debe tomar en cuenta no solo el contenido de las preguntas, sino también el proceso que emplea el sujeto para llegar a su respuesta”. 6.4.2 Validez criterial Expresa el grado en que las puntuaciones en una variable, (predictor) pueden utilizarse para inferir el rendimiento en una variable diferente llamada criterio. También llamada predictiva. Dos clases:
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
1. Validez concurrente: Es la forma de validez relacionada con un criterio que es un índice del grado en que una puntuación de una prueba se relaciona con alguna medida criterio obtenida al mismo tiempo (de forma concurrente). 2. Validez predictiva: Es la forma de validez relacionada con un criterio que es un índice del grado en que una puntuación de una prueba predice alguna medida criterio.
Factores que afectan a la validez criterial: 1. Diferencias de grupo: Variables moderadoras de edad, sexo y rasgos de personalidad pueden afectar la correlación entre una prueba y una medida de criterio. 2. Extensión de la prueba: 3. Contaminación de criterios: 4. Índice de base: proporción de personas en la población que muestran la característica o comportamiento de interés. 5. Incremento de la validez: aumenta la precisión de las predicciones y los diagnósticos cuando el instrumento se incluye en una batería de técnicas de evaluación. 6.4.3 Validez de constructo Establece el grado en el cual un instrumento mide o guarda relación con un determinado rasgo o constructo. Constructo: - Es sinónimo de concepto científico. - No debe ser considerado como algo estático, aparece relacionado de forma probabilística. - Tanto constructos como validación de constructo están ligados a la evidencia empírica. - Es un medio de conocimiento, delante de la conducta. - No se propone solo con fines especulativos, sino con el fin de potenciar la predicción. - Su valor se juzga por su utilidad. Validez de constructo: - Es sinónimo de validez conceptual o grado de adecuación de las inferencias conceptuales o teóricas que se hacen a partir de los datos de evaluación. - Se refiere tanto al concepto como al método implicado. - Engloba en si los conceptos de validez criterial y validez de contenido. - No existe límite en cuanto a las estrategias, procedimientos, instrumentos y tipos de datos potencialmente útiles. - No se expresa solo en función de uno o algunos coeficientes, sino que estima en función de toda la información acumulada en torno a las hipótesis planteadas. - Consiste esencialmente en la aplicación del proceso de formulación y contrastacion de hipótesis científicas al campo de la evaluación psicológica. 6.5
RELACIÓN ENTRE FIABILIDAD Y VALIDEZ: UN CONTINUO DE GENERALIZABILIDAD Silva (1989) Tª de la Generalizabilidad permite lanzar un puente conceptual entre fiabilidad y validez e indica que ambos se hallan en un continuo de GENERALIZABILIDAD: la fiabilidad supone la relación se un test consigo mismo, por lo que se refiere a la GENERALIZABILIDAD consigo mismo, mientras que la validez se relaciona con otra prueba, criterio constructo, y por lo tanto de generalización va mas allá del test. 6.6 APLICACIONES DE LA Tª DE RESPUESTA AL ÍTEM (TRI). La TRI trata de subsanar 2 problemas: el error en la medida y la invarianza de las mediciones y las propiedades de los instrumentos. Los principales objetivos de la TRI son: 1. Búsqueda de medidas que sean independientes de las puntuaciones estándar derivadas del grupo.
Generated by Foxit PDF Creator © Foxit Software http://www.foxitsoftware.com For evaluation only.
2. La elaboración de nuevas pruebas que analicen la invarianza de la conducta en si misma. 3. La búsqueda de un tipo de medida en la que los parámetros del ítem y de la persona son invariantes. 4. La agilidad en la combinatoria de ítems de test, que pertenezcan a un mismo dominio de conducta, dando paso a la aplicación de test adaptados al sujeto, en función de la capacidad de las habilidades de cada individuo. En cuento al calculo estadístico que utiliza la TRI, utiliza un modelo matemático logístico para describir la relación entre el nivel de habilidad examinado y la probabilidad de que este de una respuesta correcta a un ítem del test.
7. PUNTUACIONES DE LAS PRUEBAS DE EVALUACIÓN PSICOLÓGICA
7.1 P UNTUACIONES DIRECTAS Es el resultado directo que se obtiene a la hora de corregir un test. “puntuación natural”.
7.2 PUNTUACIONES REFERIDAS AL CRITERIO Estas puntuaciones nos informan del grado de dominio que tiene un sujeto respecto a una habilidad en particular. Principales características de las puntuaciones referidas al criterio: 1. Los criterios de superación de la tarea son conocidos por el profesor y el estudiante y validos para tomar decisiones. 2. La ejecución del individuo se contrasta con la exigencia de la tarea. 3. La ejecución provee información tanto de lo que el escolar domina como de lo que no. 4. La investigación provee la información de los ptos de corte o de separación en sujetos que dominan y los que no dominan la tarea. 7.3 PUNTUACIONES REFERIDAS A LA NORMA La puntuación que obtiene el sujeto indica la posición del mismo con respeto al grupo de referencia. Existen 3 tipos de puntuaciones normativas: 1. Puntuación percentil que indica el % de sujetos del grupo normativo que puntúa por debajo de la puntuación obtenida. 2. Puntuación cronológica que presenta la relación que guarda la puntuación en el test con la edad cronológica del sujeto. 3. Puntuación típica que señala la distancia que separa a un sujeto de la medida del grupo normativo, expresando dicha distancia en unidades de desviación típica. 7.3.1 Puntuaciones percentiles Puntuaciones de orden. Útiles en pruebas de rendimiento. 7.3.2 Puntuaciones cronológicas Dos tipos: Edad mental: Es la puntuación media que obtiene en una prueba el conjunto de la población de esa edad. Cociente intelectual: edad mental / edad cronológica x 100. •
•
7.3.3 Puntuaciones típicas Dos tipos: Puntuaciones típicas derivadas. Puntuaciones típicas normalizadas. • •
7.4 PUNTUACIONES INDEPENDIENTES DE LA NORMA Estas puntuaciones se fundamentan en la Tª de respuesta al ítem TRI. Las puntuaciones obtenidas en un test no precisan ser referidas a los resultados normativos de un grupo, sino que representan, en si mismas, unos valores determinados en la dimensión de la aptitud analizada, reflejando el nivel de habilidad del sujeto.