Journal of Personality and Social Psychology es reconocida como una de las principales y más prestigiosas revistas en el campo de la psicología, siendo la tercera revista de mayor impacto en psicología social según sus indicadores de impacto. Es publicado por la American Psychological Association (APA) y se dedica a la divulgación de investigaciones empíricas originales, artículos teóricos y meta-análisis que contribuyen significativamente a la comprensión de diversos aspectos de la disciplina. Los artículos publicados en esta revista suelen tener un impacto e influencia significativa en el campo de la psicología y muchos de los investigadores más destacados a nivel mundial eligen esta revista para difundir sus trabajos.

Por ello, la alegría de nuestro académico Dr. Fernando Ponce Cisternas, tras publicar un artículo en el Journal of Personality and Social Psychology, está más que justificada. Su trabajo corresponde a una investigación empírica-teórica en el área de medición psicológica titulado “The Ephemeral Nature of Wording Effects” (La Naturaleza Efímera de los Efectos de Redacción).

En esta investigación, se aborda el uso de ítems inversos en la construcción de pruebas y se cuestiona el aparente efecto perjudicial que su uso tiene en la evaluación de atributos psicológicos, preocupación que ha sido señalada de manera consistente por diversos autores a lo largo de las últimas décadas.

A través de seis estudios diseñados de forma secuencial, utilizando modelamiento de mixturas y ecuaciones estructurales, el Dr. Ponce y sus colegas concluyeron que los hallazgos reportados por otros investigadores son el resultado de asociaciones espurias, producto del uso de estrategias de modelamiento de interpretabilidad cuestionable. Asimismo, argumentan que la expresion del efecto nocivo de los ítems inversos sería de naturaleza efímera e inespecífica y que su detección requiere del uso de estrategias desarrolladas por el mismo investigador durante su estancia de investigación (Ponce et al., 2022).

En resumen, esta investigación pone en tela de juicio décadas de hallazgos reportados por diversos autores y abre un extenso debate empírico, teórico y metodológico en el área de medición psicológica.

Para profundizar en el tema, hemos conversado con el Dr. Ponce, quien nos brindó más detalles sobre su trabajo y las implicancias de sus hallazgos.

P: ¿Cuál era el objetivo principal de la investigación empírica-teórica en el área de la medición psicológica mencionada en el artículo?

R: El objetivo de este estudio fue examinar los mecanismos subyacentes a la expresión de respuestas asimétricas frente a ítems inversos, previamente reportadas en escalas de auto-reporte, dispositivos de amplio uso en medición, evaluación e investigación psicológica.

P: ¿Qué se entiende por “ítems inversos” en la construcción de tests psicológicos?

R: Los ítems inversos son afirmaciones redactadas en un sentido inverso al atributo psicológico que se pretende examinar con escalas de auto-reporte. Por ejemplo, para medir autoestima, la escala de autoestima de Rosenberg (RSES) contiene ítems inversos como “A veces pienso que no soy bueno/a para nada”. En este caso, participantes con una mayor autoestima se espera que expresen un menor grado de acuerdo, a diferencia de con los ítems directos (por ejemplo, “Soy capaz de hacer las cosas tan bien como la mayoría de la gente”), en donde se espera que estos mismos participantes manifiesten un mayor grado de acuerdo. La inclusión de ítems inversos descansa en la idea de que son psicométricamente equivalentes a los ítems directos y se incluyen en instrumentos psicológicos con el propósito de controlar formas estereotipadas de respuesta como la aquiescencia u otras.

P: ¿Por qué se considera que el uso de ítems inversos tiene un efecto nocivo generalizado en la evaluación de atributos psicológicos?

R: Diversas publicaciones han reportado que escalas de auto-reporte que contienen ítems inversos tienden a arrojar peores indicadores de confiabilidad y validez en comparación a los observados con escalas que no los contienen. Esto se conoce como efecto de redacción y los autores han sugerido la idea de que este tipo de ítems son responsables de dicho efecto nocivo sobre las propiedades métricas de los instrumentos psicológicos. A su vez, han propuesto la idea de que el efecto de redacción se manifiesta de manera consistente entre escalas con ítems inversos y de manera estable a lo largo de múltiples aplicaciones, sugiriendo la noción de que el efecto de redacción se expresaría a partir de mecanismos generalizados derivados de las características intrínsecas de las escalas de auto-reporte.

P: ¿Qué tipo de estrategias de modelamiento defectuosas podrían estar contribuyendo a las asociaciones espurias encontradas en investigaciones anteriores?

R: La evidencia y conclusiones anteriormente descritas han sido alcanzadas empleado estrategias de modelamiento basadas en ecuaciones estructurales, utilizando modelos bifactor como estrategia de representación del modelo de medición. Sin embargo, numerosos autores hemos recientemente planteado una serie de cuestionamientos al uso e interpretabilidad de este tipo de técnicas. Este es un tema más bien técnico pero que en resumen diría que los modelos bifactor empleadas esconden estructuras de ecuaciones que facilitan una propensión al ajuste estadístico que no reflejan adecuadamente las estructuras de datos y sesgan las conclusiones que se pueden alcanzar con estos modelos.

P: ¿Qué estrategia reflejan los seis estudios secuencialmente diseñados mencionados en el artículo?

R: La idea fue partir replicando la evidencia reportada en investigaciones anteriores (empleando diseños transversales y longitudinales) y, con ello, establecer un punto de referencia empírico y teórico sólido validado por investigaciones previas que me permitiera examinar y evidenciar las problemáticas de modelamiento que otros autores no estarían detectando. Una vez demostrado ese punto, en los siguientes estudios fui estableciendo distintas demostraciones acerca de mi idea sobre potenciales mecanismos de naturaleza atencional en el efecto de redacción.

P: ¿Cuáles fueron las principales conclusiones de esos seis estudios?

R: La principal conclusión fue que la evidencia de consistencia y estabilidad temporal del efecto de redacción en medición psicológica, hallazgo sugerido por otros investigadores, es el resultado de correlaciones espurias que han conducido a estos autores a conclusiones equivocadas acerca de la aparente naturaleza generalizada del efecto y su potencial impacto en medición psicológica.

P: ¿Cuál es la naturaleza efímera e inespecífica del efecto nocivo de los ítems inversos según los resultados de la investigación?

R: Los resultados de esta investigación sugieren la idea de que el efecto de redacción, en lugar de ser producto de la presencia de ítems inversos como lo han señalado los autores, y cuya expresión sería consistente entre escalas y estable en el tiempo, sería producto de procesos transitorios de carácter atencional de los participantes y cuya ocurrencia sería intermitente. Esto quita la problemática en las características del instrumento y centra el foco de atención en los participantes, sus características individuales y en los procesos de respuesta asociados.

P: ¿Qué estrategias de detección desarrolladas en investigaciones previas se mencionan en el artículo y cómo podrían aplicarse para abordar el efecto nocivo de los ítems inversos?

R: Las estrategias empleadas en este estudio fueron originalmente desarrolladas en un estudio previo que publique el año 2022 en la revista Multivariate Behavioral Research y consisten en modelamiento de mixturas. Esta técnica identifica la presencia específica de patrones de respuesta, proveyendo de funciones de probabilidad de respuesta y estadísticos de calidad de clasificación. Este tipo de técnicas supera los inconvenientes de técnicas de detección tradicionalmente utilizadas.

P: ¿Cuál es el impacto de esta investigación en el campo de la medición psicológica? ¿Cuáles son las implicaciones prácticas de los hallazgos de esta investigación en términos de la construcción y evaluación de tests psicológicos?

R: Los resultados de la presente propuesta contribuyen significativamente al entendimiento y a mejorar las prácticas, procedimientos y estrategias de modelamiento que se lleven a cabo con escalas de auto-reporte, permitiendo desarrollar estrategias de análisis más eficaces para detectar y controlar la presencia de distintos estilos y formas de respuesta que amenacen la validez de nuestras mediciones. Estos hallazgos suponen un cambio en la perspectiva acerca de la naturaleza subyacente y los mecanismos de expresión del efecto de redacción, así como sugieren una serie de implicancias conceptuales y aplicadas ligadas al potencial impacto de este efecto en diseños de investigación psicométrico, transversales y longitudinales. Actualmente, mi propuesta de investigación pretende abordar estas implicancias a través de estudios observacionales y experimentales.

Fernando Ponce es Psicólogo y Doctor en Psicología de la Pontificia Universidad Católica de Chile, cuenta con especialización en Quantitative Psychology en la UCLA. Entre sus líneas de investigación se encuentra la Medición en Psicología (Epistemología de la medición, psicometría, evaluación con encuestas, y modelamiento) y Neurociencia Conductual (Estudio de los procesos básicos aplicada a la medición, y modelamiento de redes neuronales).

Por Gabriel SR