¿Es la prueba psicométrica un montón de vasijas?

Desde que estudié psicometría en la escuela de posgrado para mis preparativos en educación, he sido extremadamente escéptico de casi todas las pruebas psicométricas “populares” utilizadas como una forma de “pruebas estandarizadas” para niños y como pruebas psicosociales para adolescentes y adultos .

Como han dicho otros aquí, el establecimiento de la validez de estas pruebas a través de medios fuera de las mismas pruebas es escaso o inexistente.

Hay dos requisitos fundamentales para cualquier instrumento utilizado para la evaluación (prueba) que conduzca a la evaluación (dar un significado a los resultados, o aún más, agregar algún tipo de valor a un conjunto particular de datos): confiabilidad y validez . Hay mucho más para diseñar e implementar una prueba confiable, válida, significativa y útil, pero la fiabilidad y la validez son las dos piedras fundamentales sobre las cuales se construye todo lo demás.

La confiabilidad es más sencilla, como la probabilidad de que si le hiciera la misma prueba a la misma población, bajo las supuestas condiciones hipotéticas, la prueba sea la “primera” vez en ambas ocasiones, y obtenga los mismos resultados. Una medida de confiabilidad generalmente se da como una función de probabilidad donde un “1” es 100% de probabilidad de que obtenga una alineación del 100% de los puntajes cada vez que le dio la prueba a una población definida. Una confiabilidad de 0.95 es realmente alta, pero comienza a tener reservas una vez que el número comienza a caer muy por debajo de 0.90.

La validez es la declaración de probabilidad en cuanto a si la prueba está realmente midiendo lo que dice medir. La validez es mucho más difícil de demostrar. La mayoría de las grandes compañías de pruebas actuales confían mucho en el uso de lo que se conoce como “validez interna”. Esto se debe entender adecuadamente para demostrar que cuando la pregunta # 23 pregunta sobre el concepto de “x”, obtenemos datos sobre lo que el examinador sabe sobre “x”. La validez interna generalmente se determina más simplemente al proporcionarle al examinador varios elementos que cada uno pregunta sobre “x”, luego, comparando la capacidad del examinador para responder a todos estos de manera consistente. Si el examinador es inconsistente, o bien no saben mucho acerca de “x”, están adivinando, o los elementos acerca de “x” no están bien o de manera consistente. Los fabricantes de pruebas de grandes compañías entregan sus pruebas a examinados expertos para que las prueben, por lo que afirman que los resultados inconsistentes se deben a los errores de los examinados (falta de conocimiento). (Independiente) La validez de debe medir 0.95 o superior. ¡Muchas pruebas psicométricas que he visto y que he tomado se han medido muy por debajo de 0.90 y algunas incluso han sido tan bajas como 0.67!

Si una de mis propias pruebas que he generado para mis propias clases tuviera una validez tan baja, ¡la descartaría! Ciertamente, no usaría los resultados de la prueba para evaluar ni a mis alumnos ni su conocimiento del tema que pretendía medir.

Esta validez interna no es en absoluto igual, por supuesto, como una medida externa de validez. Hacer una medida externa independiente de validez es costoso y requiere mucho tiempo, por lo que la mayoría de las pruebas no se han validado de forma independiente.

Un tercer tipo de validación es correlacionar los resultados de una prueba con los resultados de una prueba diferente, pero relacionada que cubra el mismo material o conceptos. Esta correlación entre pruebas, se afirma, valida la segunda prueba, ya que la primera ya ha sido aceptada. ¿Ves el problema aquí? Si la primera prueba no es válida, la segunda no puede ser más válida simplemente porque se alinea (se correlaciona) con la primera. Esta técnica, sin embargo, parece ser bastante común en muchas pruebas de CI y de personalidad populares.

Muchas pruebas psicométricas populares NO tienen base en la investigación cognitiva real o en estudios psicológicos o cognitivos doble ciego controlados. Gran parte de lo que pasa como pruebas psicométricas “científicas” se ha basado en suposiciones basadas en evidencia escasa de un estudio de IRM funcional de una sola muestra pequeña, o en extensiones de ideas sobre cómo alguien “cree” que funciona el cerebro. La prueba del cerebro izquierdo / cerebro derecho, por ejemplo, se basa en una idea errónea apoyada por la pseudociencia y la evidencia anecdótica. No existe un cerebro normal con un cuerpo calloso intacto que funcione como dos hemisferios separados, con las matemáticas teniendo lugar solo o predominantemente en la izquierda y la creatividad y el arte provenientes de la derecha. Sin embargo, las pruebas y los exámenes siguen siendo utilizados para describir a las personas y asignarles un tipo de personalidad y / o un “estilo de aprendizaje”. Los estilos de aprendizaje (llamados), por cierto, no son una ciencia, ni están respaldados por evidencia científica o estudios. Se basó esencialmente en un par de conceptos erróneos sobre inteligencias múltiples y luego se convirtió en un producto de la industria de la educación comercial. Se ha ganado mucho dinero y muchos sistemas escolares han aceptado la idea, pero es pseudociencia.

Del mismo modo, las pruebas de personalidad tienen poco que ver con la ciencia y mucho que ver con la pseudociencia y una confusión entre la correlación y la causalidad.

Quizás esto resume las pruebas psicométricas. Cuando se pregunta a los psicometristas qué es la inteligencia, los psicométricos honestos deben responder: “La inteligencia es lo que miden las pruebas de inteligencia”.

¿Suena como una respuesta imprudente? Es. También es lo mejor que pueden hacer. Con casi 100 años de prueba y error, estudios científicos y muchos miles de pruebas realizadas y evaluadas, las pruebas psicométricas son solo medidas “aproximadas” de lo que afirman. Algunos no tienen valor. Se puede demostrar que son poco fiables y no tienen certeza de validez. Algunos tienen un poco de valor predictivo, aunque lo que predicen es impreciso, si no también algo impreciso.

MI opinión es que ningún empleador debería utilizar las pruebas psicométricas como factores predictivos del comportamiento, la capacidad de una persona para trabajar con otros o como un medio para determinar el pago o la promoción. Estas pruebas simplemente no están diseñadas para estas cosas, y ni siquiera son demostrablemente válidas para gran parte de lo que afirman.

De manera similar, las pruebas psicométricas de los niños en las escuelas deben cesar, ya que la mayoría (no todas) de estas pruebas son una pérdida de tiempo y conducen a evaluaciones inapropiadas de los estudiantes, sus capacidades o las vías en las que podrían o deberían seguir en su educación. .

En primer lugar, no existe tal cosa como “pruebas psicométricas” en realidad. Hay una gran variedad de pruebas desarrolladas por psicometristas. Todo, desde pruebas de personalidad hasta pruebas de inteligencia, pruebas de personal, exámenes de licencias, etc.

Se habrá demostrado que una prueba correctamente desarrollada es confiable y válida.

La confiabilidad es la medida en que el puntaje mide algo en absoluto. Una forma de confiabilidad es la confiabilidad test-retest, es decir, si se realiza una prueba dos veces, ¿obtendrá puntajes similares? Se ha demostrado que una gran cantidad de pruebas son confiables.

La validez es la medida en que una prueba mide lo que pretende medir. Esto es más difícil de evaluar y se realiza en una amplia variedad de formas, pero se ha demostrado que muchas pruebas son razonablemente válidas.

Ahora, eso no significa que las pruebas sean 100% precisas. Ninguna persona razonable dice serlo.

Realmente depende de la prueba y de las inferencias que uno quiera extraer de ella. No tengo idea de qué prueba tomaste, así que no puedo comentarlo específicamente. Ninguna prueba es perfecta, pero suena un poco dudosa en el mejor de los casos. No es difícil hacer una mala prueba, y hay muchos de ellos alrededor. Es mucho más difícil hacer una buena y hay relativamente pocas organizaciones que lo hacen bien.

Es importante recordar que las pruebas en realidad no tienen “validez” en sí, sino usos validados, y es muy importante no tratar de extender el uso de las pruebas demasiado. Por ejemplo, el SAT ha sido validado para la selección de la universidad al observar resultados como el GPA de primer año de la universidad. (=) Sin embargo, a veces se ha usado para ver el desempeño de los estudiantes de la escuela intermedia, pero es poco probable que un estudiante de secundaria que obtenga un El puntaje en particular en el SAT realmente se compararía con el estudiante de secundaria que obtiene el mismo puntaje.


= Las personas a veces se quejan de que el SAT no es predictivo de los resultados de la universidad, pero si observan los puntajes del SAT en una universidad más integral que ya no tiene examinados preseleccionados, es un predictor decente.

Hay una gran cantidad de vajilla en las pruebas de personalidad psicométrica. La primera vez que tomé un MMPI, tuve que preguntarle al supervisor qué “¿Te gustó jugar, dejar caer el lápiz?” significaba “Adivina” dijo él.

Se me ocurrió “inválido”. Dos veces.

Él me vendió, dos veces.

Sí, muy personal y anecdótico. ¿De qué sirve una prueba que no considera el tema, y ​​qué tan válidas pueden ser esas pruebas en el sentido científico cuando el material es tan variable?

Sin embargo, es útil: le brinda a un empleador potencial una forma de validar una decisión de contratar u omitir a un empleado potencial sin asumir la responsabilidad de una reacción emocional.

Las pruebas psicométricas tienen tantas preguntas sin respuesta que se han hecho al respecto. Basándose en los instrumentos y procedimientos que se utilizan, así como en las directrices, se puede afirmar que, en la medida en que puede ser un campo realmente legítimo, hay muchas áreas cuestionables que no ofrecen suficiente satisfacción. Como alguien ya ha mencionado, la prueba no parece poner el tema en consideración adecuada y justa. Además, si es el punto de referencia que utilizan los empleadores para justificar sus sistemas de contratación y despido, puede ser bastante injusto. No soy una autoridad en este tema, pero lo más probable es que no haga una apuesta en ningún lado del argumento. Sería lo que a la mayoría de las personas les gusta llamar “indecisos”.

Esta es una respuesta opinada.

Pero SÍ, gran parte, o la mayoría, de la producción de la industria de pruebas es una tontería pseudocientífica.

Los evaluadores aplican estadísticas sofisticadas a grandes conjuntos de datos, generados a partir de sus propias pruebas. Pero, la validez requiere algún estándar externo, que casi nunca está disponible. Cuando se intenta la validación, las correlaciones son tan débiles que carecen de significado para los individuos.

Las cartas del tarot son igualmente confiables.

Esta cita se refiere principalmente a las pruebas de CI, pero se aplica igualmente a las pruebas de personalidad:

… Si el probador haría bien su reclamo, él
Pronto ocuparía una posición de poder
que ningún intelectual ha sostenido desde la
colapso de la teocracia. La vista es encantadora.
e incluso un poco de la vista es embriagadora.
suficiente. … La tentación inconsciente es demasiado
Fuertes para las defensas críticas ordinarias de
Los métodos científicos. Con la ayuda de
intrincadas falacias lógicas, y algunas
obiter dicta contrabandeada , autoengaño como el
preliminar al engaño público es casi
automático.
Walter Lippman, citado en Gould (The Mismeasure of Man, 1983),

Las pruebas psicométricas no “prueban” nada. Es difícil decir algo definitivo sin conocer los elementos reales en el cuestionario, pero usted se conoce mejor que una prueba. En general, pruebas como estas son guías útiles que prueban las hipótesis que tienen los científicos. Sin embargo, problemas como la validez interna (si las preguntas realmente proporcionan datos ayudan a responder la hipótesis del evaluador), la validez externa (si las preguntas reflejan con precisión a los examinados, usted en este caso, psicología, etc.). Mi sugerencia es si esto le molesta. , simplemente no piense demasiado en sus resultados. Confíe en usted mismo más que en una prueba imperfecta.

La psicometría no es vudú. Tampoco debe ser el único.
Medida, particularmente en lo que se aplica a sujetos humanos.
Y los resultados de cualquier prueba deben ser discutidos con el sujeto.

No me sorprende en absoluto que sientas que estás etiquetado cuando
nadie discutió el propósito de la prueba o los resultados con usted.

Esto indica un desprecio no ético y descuidado por un individuo
derechos de privacidad. En algunos lugares puede ser accionable.