Validez y Confiabilidad para Dummies

Un tema que se ha probado difícil de entender e implementar en estudios y trabajos de tesis es de la definición y prueba de la validez y confiabilidad de los instrumentos de investigación. Y se torna complicado, siendo que son pocas las fuentes que desarrollan a profundidad la identidad de estos elementos y cómo es que se documentan.

Consideraciones antes de empezar

Importante es saber que la validez y confiabilidad se mide directamente en los instrumentos de investigación que se aplican, no así a los estudios. Por tanto, buscamos que un cuestionario o guía de entrevista sea válida y confiable. Si los instrumentos cuentan con estas dos características, el estudio en concreto es válido y confiable por herencia.

Habrá que empezar por el principio, definiendo cada elemento y su explicación en términos prácticos.

Confiabilidad

Se define tradicionalmente como el grado de consistencia de datos que una herramienta provee, cuando se trabaja en igualdad de condiciones.

Se mide la confiabilidad de un instrumento por razones de representatividad estadística. La primicia del muestreo indica que se puede obtener datos de una cantidad reducida de elementos, y que estos datos serán sumamente similares a la curva poblacional dado cierto margen de error. Se llega a esta representatividad a través de ciertos cálculos de tamaño de muestra y la determinación del modelo de muestreo adecuado (cómo identificar y seleccionar al respondiente); y si todo sale a lo esperado, se puede declarar una realidad para millones de habitantes, conociendo información de unos cuantos cientos.

Pero para lograr esto, el instrumento y la seleccción del respondiente son críticos. Las respuestas obtenidas deben representar a una curva constante y consistente, en las condiciones en que las respuestas fueron recogidas. Factores como si se encuesta antes y después de un período electoral, un siniestro natural, una recesión económica, luego de una venta nocturna, tras un periodicazo contra un producto o servicio... todos estos elementos no controlables afectan en directo la confiabilidad del instrumento.

Para construir confiabilidad, hay que revisar la redacción del instrumento - que obedezca a una neutralidad cuya resistencia a la exposición a cambios del entorno sea sólida -, y la temporalidad del muestreo - que los momentos en que se recolecta la información sean constantes, iguales en condición-.

Para medir confiabilidad, hay una serie de pruebas constantemente usadas.

La más sencilla de validar pero menos potente es dividir la muestra en dos levantamientos atemporales, recopilar la información y comparar los resultados midiendo las diferencias estadísticas de proporciones (prueba t o z, según aplique). Siendo que la información es la misma y lo que cambia es el tiempo, a diferencias significativas muy frecuentes se puede dudar de la confiabilidad del instrumento, pues los datos arrojados no son consistentes. Para que este método sea efectivo, el control del muestreo en ambos escenarios es fundamental, para asegurar que las condiciones y características de los respondientes son constantes en todo momento.

Otra manera de validar la confiablidad es el llamado Coeficiente Alpha de Cronbach. Es un índice de consistencia interna, con valores de 0 a 1. En esencia, es un coeficiente de correlación al cuadrado que mide la homogeneidad de las preguntas, promediando todas las correlaciones inter-variables; validando que, efectivamente, se parezcan. A medida que el coeficiente resultante se acerque a 1, se habla de mayor confiabilidad del instrumento. A partir de un valor .8, hablamos de un nivel de confiabilidad respetable y utilizable.

Para calcularlo rápidamente, se puede utilizar el programa SPSS o similar, que contenga la función. Importante mencionar que, para que la prueba sea factible, todas las variables deben ser capaces de combinarse aditivamente para obtener una puntuación total, y todas deben medir una situación en la misma dirección.

Validez

En términos simplificados, la validez es la certeza de que se está midiendo lo que se desea medir. Uno de los elementos en que menos atención se presta y que es pieza vital para cualquier instrumento de investigación es la garantía de que el instrumento es el adecuado a los objetivos de investigación.

Y digo que se presta poca atención porque frecuentemente resulta obvia la aseveración: Si quiero saber de peras, no pregunto por manzanas. La realidad es bastante más compleja que eso. Cuando se desarrolla un instrumento con poca información de fondo, se suele incurrir en errores de redacción y contenido que lleva a recopilar información poco manejable, que no responde a objetivos concretos. Se suele preguntar de más, o se suelen omitir aspectos trascendentales.

La validez es, por tanto, una rama entera en el diseño de instrumentos de investigación. Existen tres tipos básicos de validez:

Validez de contenido: Refleja la capacidad que tienen los ítems evaluados de reflejar el constructo poblacional. El contenido, el tema de las variables deben ser miembros del concepto que se está evaluando. Lo óptimo es que los objetivos específicos de una investigación van entrelazados al contenido del instrumento.

Validez de criterio: Tiene que ver directamente con las escalas que se utilizan en la medición, las cuales deben ser fieles a la manera natural de discriminar los conceptos medidos. Que las calificaciones sean entendibles, que los rangos sean típicos conductualmente hablando, son ejemplos de esta validez.

Validez de constructo: Directamente, si el instrumeto en su totalidad mide y refleja la identidad del constructo, del tópico investigado. La validez de constructo es el resultado de la cohesión de contenido y criterio, encaminados siempre al objetivo general del estudio.

Para construir la validez, es necesario invertir suficiente tiempo y dedicación al diseño de instrumentos que contemplen todos y cada uno de los aspectos definidos en los objetivos del estudio. Es un proceso de ensayo y error. Las pruebas piloto del instrumento deben encaminarse a validar el entendimiento del respondiente, la actitud de respuesta y la coherencia de los temas que se incluyen.

Medir la validez no es cosa fácil, y típicamente responde a la experiencia y los resultados de las pruebas piloto. Recurrir a expertos en materia de instrumentos, correctores de redacción y estilo, y visitas y validaciones constantes con los líderes del proyecto, son las maneras más usuales de validar un instrumento.

La relación entre validez y cofiabilidad

Sintetizo esta relación en un enunciado: "Un instrumento confiable lleva a la validez, pero no es suficiente". La confiabilidad asegura que los resultados de un levantamiento seguirán la curva de comportamiento a través del tiempo, pero no asegura que se mida lo correcto.

La validez se define antes del levantamiento, la confiabilidad se valida una vez realizado. Confiabilidad es momento y lugar, validez es escritorio y criterio.

Abajo se muestra una analogía de la relación entre confiabilidad y validez. Un instrumento confiable golpea la Diana repetidas veces, buscando acercarse a la realidad. Mientras más confiable el instrumento, más se acerca al blanco. Pero si el instrumento carece de validez... se está golpeando entonces la Diana equivocada.