Cómo saber si un estudio de investigación tiene poca potencia

Supongo que te refieres a una publicación científica, por lo que esta será mi línea. Aunque los mismos principios se aplicarían a un proyecto, conferencia, informe, etc., aunque en diferentes formas.

La ciencia pretende ser una aclaración de la verdad. Los científicos deberían, idealmente, buscar nuevos aspectos de la realidad y contarlos a sus compañeros, principalmente por escrito. Esta salida se conoce como la literatura científica y es la base de todas las discusiones técnicas, ideas, tecnologías, documentales y libros de texto técnicos. Esto significa muchas cosas importantes, me centraré en algunas, desde el punto de vista de un lector lego.

Lo primero que un lector debe tener en cuenta al filtrar qué leer es la reputación. Reputación del tema, de las instituciones, de los autores, del vehículo de publicación. Ya a partir de este primer contacto, se necesitan muchos antecedentes, expresados ​​como sentido crítico. Me temo que la mayoría de los lectores (muchos académicos incluidos) tienen un juicio muy ingenuo y parcial sobre lo que sería una reputación confiable.
Ahora, al leer el manuscrito, un aspecto crucial es la legibilidad, la claridad de pensamiento. ¿Está clara la presentación, se presentan las ideas en una construcción sólida? Los estudios que son claramente confusos son producidos con mayor frecuencia por aquellos que no entienden su trabajo, o que realmente están tratando de ocultar algo. Demasiados errores tipográficos y problemas de construcción indican una publicación precipitada, posiblemente marcando esfuerzos descuidados.
A continuación, verifique la calidad y concisión de la evidencia presentada. Las referencias utilizadas, los datos, tablas, figuras. ¿Son fáciles de leer? ¿Tener sentido? ¿Leyendas que explican todo el contexto y todos los elementos? Demasiados colores, tonterías, bonitas imágenes sin información, indican una actuación extravagante. El hecho de no proporcionar detalles estadísticos claros indica un intento de persuadir y / o falta de conocimientos estadísticos.
Aún en la evidencia, verifique la disponibilidad de materiales de respaldo, datos en bruto, scripts utilizados, depósito de base de datos, etc. Como ejemplo, los estudios de secuenciación de ADN que no apuntan a lecturas en bruto disponibles al público son probablemente modas.
Evaluar críticamente las conclusiones de los autores. ¿Son apoyados por sus datos? ¿Son cuerdas y proporcionales? ¿Los autores promueven opiniones personales y autoafirmaciones (por ejemplo, “nuestro alto rendimiento ilustra claramente la buena eficiencia de nuestro enfoque”, etc.). La mente, nada en realidad es buena o mala, revolucionaria, muy interesante, etc., por sí misma y fuera del alcance de la opinión personal. Recurrir a la retórica significa que los datos se apoyan débilmente, podría indicar que los autores en realidad intentaron convencerse mientras escribían.

Ahora, permítanos decir que ha leído el documento y está convencido de que los puntos anteriores son un estudio serio y sólido. ¡Todavía no significa que valga nada!
Este es el aspecto más complicado de la ciencia que la mayoría de las personas (desafortunadamente los financiadores y científicos también) se niegan a aceptar. La ciencia solo funciona a largo plazo. La importancia de una acción, de un descubrimiento, la factualidad de los datos, solo puede evaluarse a posteriori. ¡Y la bondad sabe cuánto tiempo tomará hasta que los mismos puntos sean revisados ​​exactamente! Por lo tanto, recomiendo extremar la precaución al tomar “impacto” inmediato, como la cobertura de la prensa, el entusiasmo general, incluso los premios, como un poder para la buena ciencia. La realidad siempre ha estado ahí y siempre lo estará, lo que la hace “emocionante” o una posible mina de oro son los ojos del espectador o las palabras de un narrador. Tal es la verdadera naturaleza de las publicaciones científicas.