La Práctica Basada en la Evidencia (PBE) se define como “la integración de la mejor evidencia disponible con la experiencia clínica en el contexto de las características, cultura y preferencias del paciente” (American Psychological Association (APA), Presidencial Grupo de Trabajo sobre la Práctica Basada en la Evidencia, 2006, p. 273). Por definición, la PBE se basa en la utilización de la investigación científica en la toma de decisiones en un esfuerzo por producir los mejores servicios posibles en la práctica clínica (Babione, 2010; Sánchez-Meca y Botella, 2010). En consecuencia, la PBE requiere de los profesionales nuevas habilidades como la capacidad para evaluar y jerarquizar la calidad de la evidencia o las investigaciones psicológicas, para proporcionar el mejor servicio posible a los pacientes mediante la incorporación de la mejor evidencia en la experiencia o el juicio profesional, junto a las opiniones de los pacientes (Sackett, Straus, Richardson, Rosenberg, y Haynes, 2000). Dentro de este proceso de evaluación crítica de la evidencia es crucial conocer y comprender el proceso de la prueba de significación de la hipótesis nula (Null Hypothesis Significance Testing, NHST) como herramienta para el análisis de datos, dado que este procedimiento goza de una considerable difusión en la investigación en Psicología, siendo utilizado en la mayor parte de los artículos publicados en revistas del área (Cumming y cols., 2007). En consecuencia, saber cómo interpretar los valores p de probabilidad es una competencia básica del profesional en Psicología y en cualquier disciplina en que se aplique la inferencia estadística. El valor de p relacionado con los resultados de una prueba estadística es la probabilidad de obtener los datos observados o un valor más extremo si la hipótesis nula es verdadera (Kline, 2013). La definición es clara y precisa, sin embargo, los conceptos erróneos de los valores p siguen siendo numerosos y repetitivos (Badenes-Ribera, Frías-Navarro, y Pascual-Soler, 2015; Falk y Greenbaum, 1995; Haller y Krauss, 2002; Kühberger, Fritz, Lermer, y Scherndl, 2015; Oakes, 1986). Los errores de interpretación más comunes del valor p son la “falacia de la probabilidad inversa”, la “falacia de la replicación”, la “falacia del tamaño del efecto” y la “falacia de la significación clínica o práctica” (Carver, 1978; Cohen, 1994; Harrison, Thompson, y Vannest, 2009; Kline, 2013; Nickerson, 2000; Wasserstein y Lazar, 2016). La “falacia de la probabilidad inversa” es la falsa creencia de que el valor de p indica la probabilidad de que la hipótesis nula (H0) es cierta, dado ciertos datos (Pr (H0|Datos)). Esto significa confundir la probabilidad del resultado, asumiendo que la hipótesis nula es verdadera, con la probabilidad de que la hipótesis nula sea verdadera, dados ciertos datos (Kline, 2013; Wasserstein y Lazar, 2016). La “falacia de la replicación” vincula el valor de p con el grado de replicabilidad del resultado de un estudio. Supone creer erróneamente que el valor de p indica el grado de replicabilidad del resultado y su complemento, 1-p, a menudo se interpreta como indicación de la probabilidad exacta de replicación (Carver, 1978; Nickerson, 2000). La “falacia del tamaño del efecto” relaciona la significación estadística con la magnitud del efecto detectado. En concreto, supone creer erróneamente que el valor de p proporciona información directa sobre el tamaño del efecto (Carver, 1978). Es decir, que cuanto más pequeño es el valor de p más grandes son los tamaños del efecto. Sin embargo, el valor de p no informa sobre la magnitud de un efecto. Éste sólo puede ser determinado mediante la estimación directa de su valor con los estadísticos apropiados y su intervalo de confianza (Cumming, 2012; Cumming, Fidler, Kalinowski, y Lai, 2012; Kline, 2013; Wasserstein y Lazar, 2016). La “falacia de la significación clínica o práctica” es la falsa creencia de que el valor de p indica la importancia de los hallazgos (Nickerson, 2000; Wasserstein y Lazar, 2016). De esta manera, un efecto estadísticamente significativo es interpretado como un efecto importante. Sin embargo, un resultado estadísticamente significativo no indica que el resultado sea importante, de la misma manera que un resultado no estadísticamente significativo todavía podría ser importante. Dados los errores de interpretación del valor de p y otras críticas sobre el uso y abuso de del procedimiento de la NHST (e.g., Monterde-i-Bort, Frías-Navarro, y Pascual-Llobell, 2010; Wasserstein y Lazar, 2016), la APA (2001, 2010a) recomendó reportar los estadísticos de tamaño del efecto y sus intervalos de confianza, que, en conjunto, transmiten más claramente la magnitud de los hallazgos de investigación (Ferguson, 2009). Existen docenas de estadísticos del tamaño del efecto disponibles (Henson, 2006; Kline, 2013), los cuales se pueden clasificar en dos grandes grupos: las medidas de diferencias de medias y las medidas de la fuerza de las relaciones entre variables (Frías-Navarro, 2011b; Kline, 2013; Rosnow y Rosenthal, 2009). El primero se basa en la diferencia de medias estandarizadas (e.g., d de Cohen, g de Glass, g de Hedges, f de Cohen, etc.) y el segundo se basa en la proporción de varianza explicada o la correlación entre dos variables (e.g., R2/r2, η2, w2). Los estadísticos del tamaño del efecto reportados con mayor frecuencia son la R2, d de Cohen, y η2 (e.g., Peng y Chen, 2014). Estos estadísticos han sido criticados por su sesgo (es decir, que tienden a estar positivamente sesgados), su falta de robustez a los valores atípicos, y su inestabilidad bajo las violaciones de los supuestos estadísticos (Grissom y Kim, 2012; Kline, 2013; Wang y Thompson, 2007). Por último, dentro de este contexto de cambio y avances metodológicos, las revisiones sistemáticas y meta-analíticas han ganado una considerable relevancia y prevalencia en las revistas de mayor prestigio (APA, 2010a; Borenstein, Hedges, Higgins, y Rothstein, 2009). Los estudios meta-analíticos ofrecen varias ventajas sobre las revisiones narrativas: el meta-análisis implica un proceso de investigación con base científica que depende del rigor y la transparencia de cada una de las decisiones tomadas durante su elaboración, y permite dar una respuesta definitiva acerca de la naturaleza de un efecto cuando hay resultados contradictorios (Borenstein y cols., 2009). Los meta-análisis facilitan estimaciones del tamaño del efecto más precisas, permiten evaluar la estabilidad de los efectos, y ayudar a los investigadores a contextualizar los valores de los tamaños del efecto obtenidos en su estudio (Cumming y cols., 2012). Sin embargo, los estudios meta-analíticos no están libres de sesgos, por ejemplo, el sesgo de publicación, que es una de las mayores amenazas para la validez de este tipo de estudios, cuya consecuencia es una sobreestimación del tamaño del efecto (Borenstein y cols., 2009; Sánchez-Meca y Marín-Martínez, 2010). Así, Ferguson y Branninck (2011) analizaron 91 estudios de meta-análisis publicados en la American Psychological Association y en la Association for Psychological Science Journal y encontraron que de 91 estudios analizados, 26 (41%) reportaron evidencia del sesgo de publicación. Por lo tanto, los investigadores, los profesionales de la Psicología y, en general, los lectores de los estudios meta-analíticos deben conocer métodos para detectar este tipo de sesgo. En este sentido, el funnel plot es una gráfica que se utiliza con frecuencia como método de detección de sesgo de publicación en las Ciencias de la Salud (Sterne, Gavaghan, y Egger, 2005). En definitiva, es necesario llevar a cabo investigaciones sobre el grado de conocimiento metodológico que los psicólogos académicos y profesionales tienen sobre la calidad metodológica de las evidencias y de la investigación psicológica para la correcta aplicación del enfoque de la PBE y la adquisición de un conocimiento científico válido. Este tipo de investigación puede aportar luz sobre estos problemas y dar lugar a programas de formación para tratar de corregirlos o minimizarlos. Objetivos El primer objetivo de este trabajo fue detectar los errores de razonamiento estadístico que los psicólogos académicos y profesionales españoles cometen cuando se les presentan los resultados de una prueba de inferencia estadística. Con este fin, se analizaron dos cuestiones: la primera fue la extensión de los errores más comunes de interpretación con respecto al valor de p y la segunda fue el grado en que se interpretan correctamente los valores de p por parte de ambos colectivos. El segundo objetivo fue analizar lo que los psicólogos académicos y profesionales españoles conocen sobre los tamaños del efecto, sus intervalos de confianza y los estudios de meta-análisis, teniendo en cuenta que esta es una de las principales recomendaciones propuestas por la APA (2010a) para mejorar la práctica estadística en la investigación psicológica y favorecer la acumulación de conocimiento y la replicación de los hallazgos. Por último, se trató de comprobar si los resultados de la investigación sobre los errores de interpretación del valor de p y el nivel de conocimiento sobre los tamaños del efecto, sus intervalos de confianza y los meta-análisis, realizados en los psicólogos académicos españoles, son constantes, para lo cual llevamos a cabo sendos estudios de replicación con una muestra de psicólogos académicos chilenos e italianos. Método Procedimiento Se realizaron una serie de estudios transversales mediante encuesta on-line. Para ello, se registraron las direcciones de correo electrónico de los psicólogos académicos españoles, chilenos e italianos a través de la consulta de las webs de las universidades en estos países. Los potenciales participantes fueron invitados a completar una encuesta a través del uso de un sistema CAWI (Computer Assisted Web Interviewing). Se envió un mensaje de seguimiento dos semanas después a los potenciales participantes que no habían contestado a la encuesta. La recogida de datos se llevó a cabo durante el año académico 2013-2014 para la muestra española y desde marzo a mayo de 2015 para la muestra chilena e italiana. En cuanto a la muestra española de psicólogos profesionales, se envió un e-mail a los Colegios Oficiales de Psicólogos invitándoles a participar en la encuesta on-line sobre práctica profesional en Psicología. Los potenciales participantes fueron invitados a completar una encuesta a través del uso de un sistema CAWI. Tres semanas después se envió un mensaje de seguimiento. La recogida de datos se llevó a cabo durante los meses de mayo a septiembre de 2015. Participantes La muestra de psicólogos académicos españoles estuvo formada por 472 participantes. La media de años de los profesores en la Universidad fue de 13.56 años (DT = 9.27). Los hombres representaron 45.8% (n = 216) y las mujeres 54.2% (n = 256). La muestra de psicólogos académicos chilenos e italianos estaba compuesta por 194 participantes. De estos 194 participantes, 159 eran italianos y 35 chilenos. De los 159 participantes italianos, 45.91% eran hombres y 54.09% mujeres, con una edad media de 47.65 años (DT = 10.47). El número medio de años que los profesores habían pasado en el ámbito académico fue de 12.90 años (DT = 10.21). De los 35 psicólogos académicos chilenos, los hombres representaron el 45.71% de la muestra y las mujeres el 54.29. Además, la edad media de los participantes fue de 43.60 años (DT = 9.17). El número medio de años que los profesores habían pasado en el ámbito académico fue de 15 años (DT = 8.61). Por último, la muestra de psicólogos profesionales españoles estuvo formada por 77 participantes (68.8% mujeres, 31.2% hombres, edad media de 41.44 años, DT = 9.42). Instrumento El instrumento aplicado consistió en una encuesta dividida en dos secciones. La primera sección incluía ítems relacionados con información sobre el sexo, la edad y los años de experiencia como psicólogo académico, el área de conocimiento a la que está adscrita, y el tipo de Universidad (pública/privada). Además, para los psicólogos profesionales españoles, la primera sección también incluyó ítems relacionados con los años de experiencia como psicólogo profesional, el entorno clínico (pública/privada), y el grado de familiaridad con el movimiento de la PBE. La segunda sección incluyó ítems relacionados con el conocimiento sobre aspectos metodológicos relacionados con la PBE, como por ejemplo, la interpretación del valor p, el nivel de conocimiento de los estadísticos del tamaño del efecto, intervalos de confianza, estudios de meta-análisis, y las listas de comprobación de la calidad metodológica de los estudios. Análisis de datos Todos los estudios incluyeron estadísticos descriptivos de las variables objeto de evaluación, tales como frecuencias y porcentajes. Además, los análisis incluyeron la estimación del intervalo de confianza para los porcentajes. Para el cálculo del intervalo de confianza se utilizaron los métodos de puntuación basados en la obra de Newcombe (2012). Todos los análisis se realizaron con el programa estadístico SPSS v. 20 de IBM para Windows. Resultados y conclusiones Los resultados indican que la comprensión de muchos conceptos estadísticos sigue siendo problemática entre los psicólogos académicos y profesionales españoles, y también entre los psicólogos académicos chilenos e italianos. Los errores metodológicos de interpretación y los pobres conocimientos de determinados estadísticos y procedimientos han sido y continúan siendo una fuente de amenaza directa para una adecuada implementación de la PBE en la práctica profesional y para la adquisición de un conocimiento científico válido. En cuanto a los errores de interpretación del valor de p, la “falacia de la probabilidad inversa” fue la interpretación errónea más prevalente entre los psicólogos académicos españoles, italianos y chilenos. Esto significa que algunos psicólogos académicos confunden la probabilidad de obtener un resultado dado o un resultado más extremo si la hipótesis nula es verdadera (Pr (Datos|H0) con la probabilidad de que la hipótesis nula sea cierta dados algunos datos (Pr (H0|Datos). Además, los psicólogos académicos españoles, italianos y chilenos adscritos al área de Metodología no fueron inmunes a las interpretaciones erróneas del valor de p, lo que puede dificultar la formación estadística de los estudiantes y facilitar la transmisión de estas falsas creencias, así como su perpetuación (Haller y Krauss, 2002; Kirk, 2001; Kline, 2013; Krishnan y Idris, 2014). Estos resultados son consistentes con estudios previos (Haller y Krauss, 2002; Lecoutre, Poitevineau, y Lecoutre, 2003; Monterde-i-Bort y cols., 2010). Por otra parte, la “falacia de la significación clínica o práctica” fue la interpretación errónea más frecuente entre los psicólogos profesionales españoles. Sin embargo, un resultado estadísticamente significativo no indica que el resultado es importante, de la misma manera que un resultado no estadísticamente significativo aún podría ser importante (Nickerson, 2000; Wasserstein y Lazar, 2016). La importancia clínica se refiere a la utilidad práctica o aplicada o a la importancia del efecto de una intervención. Es decir, si produce alguna diferencia real (auténtica, palpable, práctica, notable) para los clientes o para otros con los que interactúan en la vida cotidiana (Kazdin, 1999, 2008). Las pruebas de significación estadística tienen un propósito y responden a unos problemas y no a otros. Una prueba de significación estadística no indica la importancia de un resultado, la replicabilidad del mismo, o incluso la probabilidad de que un resultado sea debido al azar (Carver, 1978). El valor de p nos informa de si existe un efecto, pero no revela el tamaño del efecto, ni su significación clínica/práctica (Ferguson, 2009; Sullivan y Feinn, 2012). El tamaño del efecto sólo puede ser determinado mediante la estimación directa de su valor con los estadísticos apropiados y su intervalo de confianza (Cohen, 1994; Cumming, 2012; Kline, 2013; Wasserstein y Lazar, 2016). Sin embargo, interpretar un resultado estadísticamente significativo como importante o útil, confundir el nivel de significación de alfa con la probabilidad de que la hipótesis nula sea cierta, relacionar el valor de p con la magnitud del efecto, y creer que la probabilidad de replicación de un resultado es 1-p son interpretaciones erróneas o falsas creencias que siguen existiendo entre los psicólogos académicos y psicólogos profesionales, como muestran los resultados. Estos conceptos erróneos son problemas de interpretación y no son un problema del procedimiento de la NHST en sí mismo (Leek, 2014). Detrás de estas interpretaciones erróneas existen algunas creencias y atribuciones acerca de la significación estadística de los resultados. Por lo tanto, es necesario mejorar la enseñanza de la estadística, la formación de los psicólogos y el contenido de los manuales de estadística con el fin de garantizar una formación de alta calidad a los futuros profesionales (Babione, 2010; Cumming, 2012; Kline, 2013; Haller y Krauss, 2002). Los problemas en la comprensión del valor p influencian las conclusiones que los profesionales extraen de sus datos (Hoekstra, Morey, Rouder, y Wagenmakers, 2014), poniendo en peligro la calidad de los resultados de la investigación psicológica (Frías-Navarro, 2011a). El valor de la evidencia científica depende de la calidad de los análisis estadísticos y de su interpretación (Faulkner, Fidler, y Cumming, 2008). Por otro lado, la mayoría de los participantes en los estudios realizados afirmaron utilizar estudios meta-analíticos en su práctica profesional y tener un conocimiento adecuado sobre los mismos, así como de los estadísticos del tamaño del efecto. Sin embargo, reconocieron que tienen un pobre conocimiento de los gráficos que se utilizan en los meta-análisis, como por ejemplo, el forest plot y el funnel plot, lo cual puede llevar a una mala interpretación de los resultados y, por lo tanto, dar lugar a una mala práctica, teniendo en cuenta que la mayoría de los participantes declaró que usaba estudios meta-analíticos en su práctica profesional. Como varios autores señalan, la presentación gráfica de los resultados es una parte importante de un meta-análisis y se ha convertido en la principal herramienta para la presentación de los resultados de múltiples estudios sobre la misma pregunta de investigación (Anzures-Cabrera y Higgins, 2010; Borenstein, y cols., 2009). De este modo, el forest plot y el funnel plot son gráficos utilizados en los estudios de meta-análisis para presentar las estimaciones del tamaño del efecto medio y el sesgo de publicación, respectivamente. El sesgo de publicación es una importante amenaza para la validez de los estudios meta-analíticos, ya que las estimaciones meta-analíticas derivadas podrían ser imprecisas, típicamente, sobreestimando el efecto. A ese respecto, el funnel plot se utiliza como método de detección del sesgo de publicación en las Ciencias de la Salud (Sterne y cols., 2005). Por lo tanto, investigadores, académicos y profesionales deben tener un conocimiento adecuado de este tipo de gráfica, que es una herramienta básica de los estudios de meta-análisis para detectar el sesgo de publicación y la heterogeneidad de los tamaños de efecto. Con respecto al tipo de estadístico del tamaño del efecto que conocen los participantes, estos mencionaron en mayor medida los estadísticos de la familia de las diferencias de medias estandarizadas y η2 (estadísticos del tamaño del efecto paramétricos). Sin embargo, estos estadísticos del tamaño del efecto han sido criticados por su falta de robustez frente a los valores atípicos o desviación de la normalidad, y la inestabilidad bajo las violaciones de los supuestos estadísticos (Algina, Keselman, y Penfield, 2005; Grissom y Kim, 2012; Kline, 2013; Peng y Chen, 2014; Wang y Thompson, 2007). Hay razones teóricas y evidencia empírica de que los valores atípicos y las violaciones de los supuestos estadísticos son comunes en la práctica (Erceg-Hurn y Mirosevich, 2008; Grissom y Kim, 2001). Los resultados sugieren que la mayoría de los psicólogos académicos y profesionales españoles y los psicólogos académicos italianos y chilenos no conocen las alternativas para los estadísticos del tamaño del efecto paramétricos, tales como los estadísticos no paramétricos (e.g., correlación de Spearman), los estadísticos robustos de la diferencia de medias estandarizada (basados en las medias recortadas y varianzas winsorizada), la probabilidad de superioridad (PS), el número necesario a tratar (NNT) o el área bajo la curva ROC (AUC) (Erceg-Hurn y Mirosevich, 2008; Ferguson, 2009; Grissom y Kim, 2012; Keselman, Algina, Lix, Wilcox, y Deerin, 2008; Kraemer y Kupfer, 2006; Peng y Chen, 2014; Wilcox, 2010; Wilcox y Keselman, 2003). Como Erceg-Hurn y Mirosevich (2008) señalaron esto podría ser debido a la falta de exposición a estos métodos. De esta manera, “el plan de estudios de estadística en Psicología, los artículos de las revistas, los manuales populares, y el software están dominados por la estadística desarrollada antes de la década de 1960” (op. cit., p. 593). En cuanto a las listas de control de la calidad metodológica de los estudios, de nuevo la mayor parte de los participantes dijeron no tener conocimiento sobre ellas. Sin embargo, éste es un campo en expansión y actualmente existen listas de comprobación para estudios primarios (por ejemplo, CONSORT), para estudios de meta-análisis clásicos (por ejemplo, AMSTAR) y para estudios de meta-análisis en red (por ejemplo, PRISMA-NMA). Por otro lado, el análisis del comportamiento de los investigadores asociado con sus prácticas metodológicas señala que, en las tres muestras de psicólogos académicos, los participantes que podían nombrar algún estadístico del tamaño del efecto presentaron un perfil más cerca de las buenas prácticas estadísticas y de diseño de investigación. Sin embargo, hay tres temas de alerta en relación al conocimiento que los psicólogos académicos españoles, chilenos e italianos tienen acerca del tamaño del efecto y la validez de la conclusión estadística: asocian erróneamente el tamaño del efecto con la importancia de un hallazgo (“falacia de la significación clínica o práctica”), siguen utilizando en una alta proporción expresiones del valor p que giran en torno al oráculo del valor alfa, y no conocen el propósito de planificar a priori la potencia estadística en un estudio. Por último, dos acontecimientos que han permitido el debate en la ciencia sobre procedimientos estadísticos, el progreso hacia una reforma estadística y una mayor transparencia y calidad de los estudios, como son el debate abierto sobre los usos y abusos de las pruebas de significación estadística (que comenzó casi desde el inicio de su uso) y el desarrollo de herramientas de verificación como los listados de comprobación (CONSORT, STROBE, PRISMA...), siguen siendo desconocidos para una alta proporción de psicólogos académicos españoles, italianos y chilenos y entre los psicólogos profesionales españoles. Por lo tanto, el presente trabajo proporciona evidencia de la necesidad de formación estadística de los psicólogos académicos y profesionales españoles, y de los psicólogos académicos chilenos e italianos, teniendo en cuenta los problemas relacionados con la interpretación adecuada de los resultados obtenidos con el procedimiento NHST y el pobre conocimiento de términos estadísticos del tamaño del efecto, estudios meta-analíticos y listas de control de la calidad metodológica. La PBE requiere tener un conocimiento adecuado sobre los fundamentos de la metodología de investigación con el fin de ser capaces de evaluar críticamente los tests y las evidencias que los estudios incluyen en sus informes. Los problemas de comprensión del valor p de probabilidad, de los estadísticos del tamaño del efecto y de los estudios meta-analíticos, influyen en las conclusiones que los profesionales extraen de los datos, lo que pone en peligro la calidad de los resultados de la investigación psicológica y una adecuada implementación de una PBE en la práctica profesional. Como Faulkner y cols. (2008) señalan, el valor de la evidencia científica depende de la calidad de los análisis estadísticos realizados y de su interpretación. Por lo tanto, la interpretación de los resultados es un filtro de calidad que no puede ser sometido a las creencias erróneas o pobres interpretaciones del procedimiento estadístico. No obstante, varias limitaciones en la serie de estudios realizados en este trabajo deben ser reconocidas. Por ejemplo, la baja tasa de respuesta podría afectar a la representatividad de las muestras y, por lo tanto, a la generalización de los resultados entre los psicólogos académicos y profesionales. Sin embargo, es posible que los participantes que respondieron a la encuesta se sintieran más seguros de su conocimiento estadístico que aquellos que no respondieron. Si este fuera el caso, los resultados podrían subestimar las barreras a la PBE. Además, los resultados de nuestra investigación sobre concepciones erróneas del valor p están de acuerdo con los resultados de estudios anteriores sobre este tema en muestras de psicólogos académicos y estudiantes de Psicología (Badenes-Ribera, Frías-Navarro y Pascual Soler, 2015; Falk y Greenbaum, 1995; Haller y Krauss, 2002; Kühberger y cols., 2015; Monterde-i-Bort, y cols., 2010; Oakes, 1986). Por otra parte, los resultados de la investigación sobre el nivel de conocimiento de la magnitud del efecto y los estudios de meta-análisis en las muestras de psicólogos españoles (ambos grupos, psicólogos profesionales y académicos) fueron consistentes con los resultados del estudio sobre estos temas en la muestra de psicólogos académicos italianos y chilenos. Todo esto lleva a concluir en la necesidad de formar adecuadamente a los psicólogos para mejorar la práctica profesional. La PBE requiere de profesionales que evalúen críticamente los resultados de la investigación psicológica. Para ello, se requiere una formación adecuada en conceptos estadísticos, metodología y diseños de investigación, así como en los resultados de las pruebas de inferencia estadística y en los estudios de meta-análisis. Por ejemplo, los manuales de estadística deberían incluir una sección sobre el actual debate y las críticas del procedimiento NHST, en términos de si las pruebas de significación estadística son la mejor manera de avanzar en la adquisición de un conocimiento científico válido. Además, deberían añadir información sobre cómo calcular e informar el tamaño del efecto y sus intervalos de confianza, tanto en los resultados estadísticamente significativos y como en los resultados no estadísticamente significativos. Y, por último, los autores de los manuales deberían dar ejemplos de cómo decidir si un resultado estadísticamente significativo tiene importancia práctica o clínica (Gliner, Leech, y Morgan, 2002). Por otra parte, los programas de software estadístico deberían actualizarse para incluir en sus menús otras técnicas como la estimación de los intervalos de confianza de los estadísticos del tamaño del efecto paramétricos, y la estimación de estadísticos del tamaño el efecto más resistentes a los valores extremos (outliers) y a las violaciones de los supuestos de las pruebas paramétricas (normalidad de la variable y homogeneidad de la varianza), tales como los estadísticos robustos modernos y sus intervalos de confianza. En ese sentido, hay varios sitios web que ofrecen programas para el cálculo de los estimadores del tamaño del efecto y sus intervalos de confianza (ver Frías-Navarro, 2011b; Fritz, Morris, y Richler, 2012; Grissom y Kim, 2012; Kline, 2013; Peng, Chen, Chiang y Chiang, 2013). En definitiva, el objetivo de esta serie de estudios ha sido especialmente hacer hincapié en la necesidad de una re-educación estadística de los psicólogos profesionales y académicos, que incluye la difusión del uso de las listas de control, como una herramienta para evaluar la calidad metodológica de los estudios, y motivar el desarrollo de manuales que describan conceptualmente las pruebas estadísticas y señalen las consecuencias de una mala práctica estadística en la acumulación de conocimientos científicos válidos. Además, el propósito ha sido tener en cuenta la necesidad de incorporar los modernos estadísticos robustos del tamaño del efecto a los programas estadísticos como el SPSS. En la actualidad existe un debate científico y social abierto que podría cambiar el curso de las prácticas estadísticas entre los investigadores de la Psicología y las Ciencias de la salud. Por ejemplo, durante los últimos tres años las críticas contra el procedimiento de inferencia estadística clásica basada en el valor de probabilidad p y la decisión dicotómica para mantener o rechazar la hipótesis nula se han endurecido (Allison, Brown, George, y Kaiser, 2016; Nuzzo, 2014; Wasserstein y Lazar, 2016). Además, la baja proporción de estudios de replicación, el sesgo de publicación que conducen a una sobreestimación de la magnitud de los efectos, las prácticas estadísticas cuestionables (Questionable Research Practices, QRPs) dirigidas a alcanzar resultados estadísticamente significativos como no informar de los resultados de todas las variables dependientes medidas en el estudio, informar solamente de los resultados estadísticamente significativos, eliminar los valores extremos o ‘outliers’ y aumentar la muestra hasta lograr la significación estadística (p-hacking) y el fraude también son temas actuales de discusión (Earp y Trafimow, 2015; Ioannidis, 2005a, 2005b; Kepes, Banks, y Oh, 2014). Debates a los que ha tratado de contribuir la realización del presente trabajo, aportando evidencias del actual estado de la cuestión, en lo que se refiere al conocimiento y las prácticas de los psicólogos académicos y profesionales en relación a la metodología y los diseños de investigación. Los hallazgos del presente trabajo son una prueba empírica de todas las conductas inapropiadas que rodean al proceso de inferencia estadística y que durante décadas han sido objeto de estudio por los investigadores, como son las interpretaciones inadecuadas y el mal uso que se realiza de las técnicas de inferencia debido a las falacias estadísticas y de tamaño del efecto que la rodean. Profesores, científicos y profesionales de la Psicología no son inmunes a tales creencias. El problema no se ha resuelto a pesar de las recomendaciones y alertas que de manera permanente se han detallado en las publicaciones científicas. La re-educación estadística que corrija los errores de interpretación de las diferentes falacias y la incorporación de una práctica estadística basada en la evidencia, orientada al uso consciente y explícito de todos los elementos que rodean al proceso de inferencia estadística, es esencial para interpretar de forma crítica sus resultados. La literatura que se ha desarrollado sobre el razonamiento estadístico y su educación tiene toda una línea de investigación abierta sobre los errores de interpretación de los valores de p (Beyth-Maron, Fidler y Cumming, 2008; Garfield, Ben-Zvi, Chance, Medina, Roseth, y Zieffler, 2008; Garfield, y Franklin, 2011; Garfield, Zieffler, Kaplan, Cobb, Chance, y Holcomb, 2011), a la cual se pretende sumar la presente investigación, poniendo en evidencia su importancia, su vigencia y sus implicaciones en el desarrollo y la transmisión del conocimiento científico válido.

Evidence-Based Practice (EBP) is defined as “the integration of the best available research with clinical expertise in the context of patient characteristics, culture, and preferences” (APA, Presidential Task Force on Evidence Based Practice, 2006, p. 273). By definition, EBPP relies on the utilization of scientific research in decision making in an effort to produce the best possible services in clinical practice (Babione, 2010; Sánchez-Meca & Botella, 2010). Consequently, EBP requires to professionals new skills as the ability to critically evaluate and rank the quality of evidence or psychological research to provide the best possible service to patients by incorporating the best evidence into experience or professional judgment and opinions of patients (Sackett et al., 2000). Within this process of critical evaluation of evidence it is crucial knowing and understanding the process of the Null Hypothesis Significance Testing (NHST) as tool to data analysis, given that this procedure enjoys considerable diffusion in Psychology (Cumming et al., 2007). For example, these authors found that 97% of the articles published in Psychology journals use the NHST. Consequently, knowing how to interpret p values of probability is a core competence of the professionals in Psychology and any discipline where statistical inference is applied. The p-value linked to the results of a statistical test is the probability of witnessing the observed result or a more extreme value if the null hypothesis was true (Kline, 2013). The definition is clear and precise, however, the misconceptions of the p-value continue to be numerous and repetitive (Badenes-Ribera, Frías-Navarro, & Pascual-Soler, 2015; Falk & Greenbaum, 1995; Haller & Krauss, 2002; Kühberger et al., 2015; Oakes, 1986; Wasserstein & Lazar, 2016). The most common misconceptions of the p-value are the “inverse probability fallacy”, the “replication fallacy”, the “effect size fallacy” and the “clinical or practical significance fallacy” (Carver, 1978; Cohen, 1994; Harrison et al., 2009; Kline, 2013, Nickerson, 2000; Wasserstein & Lazar, 2016). The “inverse probability fallacy” is the false belief that the p-value indicates the probability that the null hypothesis (H0) is true, given certain data (Pr(H0| Data)). It means confusing the probability of the result, assuming that the null hypothesis is true, with the probability of the null hypothesis, given certain data (Kline, 2013; Wasserstein & Lazar, 2016). The “replication fallacy” links p-value to the degree of replicability of the result. Consequently, it is the false belief that the p-value indicate the degree of replicability of the result and its complement, 1-p, is often interpreted as an indication of the exact probability of replication (Carver, 1978; Nickerson, 2000). The “effect size fallacy” relates statistical significance to the size of the detected effect. Specifically, it involves the false belief that the p-value provides direct information about the effect size (Carver, 1978). That is, supposing that the smaller is the p value are larger the effect sizes. However, the p-value does not report on the magnitude of an effect. The effect size can only be determined by directly estimating its value with the appropriate statistic and its confidence interval (Cumming, 2012; Cumming et al., 2012; Kline, 2013; Wasserstein & Lazar, 2016). The “clinical or practical significance fallacy” is the false belief that the p-value indicates the importance of the findings (Nickerson, 2000; Wasserstein & Lazar, 2016). In this way, a statistically significant effect is interpreted as an important effect. Nevertheless, a statistically significant result does not indicate that the result is important, in the same way that a non-statistically significant result might still be important. Given the misconceptions of the p-value and other critics about the use and abuse of NHST (e.g., Monterde-i-Bort et al., 2010; Wasserstein & Lazar, 2016), the American Psychological Association (APA, 2001, 2010a) strongly recommended the reporting of effect sizes (ES) and their confidence intervals (CIs), which, taken together, clearly convey the importance of the research findings (Ferguson, 2009). There are dozens of effect size measures available (Henson, 2006; Kline, 2013). Nevertheless, they can be classified into two broad groups: measures of mean differences and measures of strength of relations (Frías-Navarro, 2011b; Kline, 2013; Rosnow & Rosenthal, 2009). The former is based on the standardized group mean difference (e. g. Cohen’s d, Glass’s g, Hedges’ g, Cohen’s f); the latter is based on the proportion of variance accounted for or correlation between two variables (e. g., R2/r2, η2, w2). The most frequently reported ES measures are the unadjusted R2, Cohen’s d, and η2 (e.g., Peng & Chen, 2014). These statistics have been criticized for bias (i.e., they tend to be positively biased), lack of robustness to outliers, and instability under violations of statistical assumptions (Grissom & Kim, 2012; Kline, 2013; Wang & Thompson, 2007). Finally, within this context of change and methodological advances, systematic, meta-analytic reviews of studies have gained considerable relevance and prevalence in the most prestigious journals (APA, 2010a; Borenstein et al., 2009). Meta-analytic studies offer several advantages over narrative reviews: meta-analysis involves a scientifically-based research process that depends on the rigor and transparence of each of the decisions made during its elaboration, and it can provide a definitive answer about the nature of an effect when there are contradictory results (Borenstein et al., 2009). Meta-analyses facilitate more precise ES estimations, they make it possible to rate the stability of the effects, and they help researchers to contextualize the ES values obtained in their study (Cumming et al., 2012). Nevertheless, meta-analytic studies are not free of bias, such as the publication bias, which is one the greatest threats to the validity of meta-analytic reviews. For example, Ferguson & Branninck (2011) analyzed 91 meta-analytic studies published in American Psychological Association and Association for Psychological Science journal and they found that of the 91 studies analyzed, 26 (41%) reported evidence of publication bias. The consequence of publication bias is an overestimation of effect size (Borenstein et al., 2009; Sánchez-Meca & Marín-Martínez, 2010). Therefore, researchers and readers of meta-analytic studies (such as, practitioner psychologists) should know methods for detecting this bias. In this way, funnel plot is a graphical that is used frequently as publication bias detection method in the health sciences (Sterne et al., 2005). Therefore, it is needed to carry out research on the degree of methodological knowledge that academic psychologists and practitioner psychologists have about methodological quality of evidence (or psychological research) for proper implementation of EBP approach. This kind of research may bring light about these issues and lead to develop training programs. Objectives The first purpose of these works was to detect the statistical reasoning errors that Spanish academic psychologists and Spanish practitioner psychologists make when presented with the results of a statistical inference test. To this end, two questions have been analyzed. The first was the extension of the most common misconceptions of the p value and the second was the extent to which p values are correctly interpreted. The second purpose was to analyze what Spanish academic psychologists and Spanish practitioner psychologists know about ES, their CIs, and meta-analyses, given that this is one of the main recommendations proposed by the APA (2010) to improve statistical practice and favor the accumulation of knowledge and the replication of findings. Finally, to check whether the results of the research on misconception of the p-value and the level of knowledge of effect sizes, confidence intervals and meta-analysis conducted in Spanish academic psychologists are reliable, it has been carried out a replication study with a sample of Chilean and Italian academic psychologists. Method Procedure Several cross-sectional studies were carried out through on-line survey. For this purpose, the e-mail addresses of Spanish, Chilean and Italian academic psychologists were found by consulting the webs of the universities at these countries. Potential participants were invited to complete a survey through the use of a CAWI (Computer Assisted Web Interviewing) system. A follow-up message was sent two weeks later to non-respondents. The data collection was performed during the 2013-2014 academic year for Spanish sample and from March to May 2015 for Chilean and Italian sample. Regarding Spanish practitioner psychologists sample, it was send an e-mail to Spanish Psychological Associations inviting them to participate in the on-line survey on professional practice in Psychology. Potential participants were invited to complete a survey through the use of a CAWI system. A follow-up message it was sent three weeks later. The data collection was performed from May to September 2015. Participants The sample of Spanish academic psychologists consisted of 472 participants. The mean number of years of the professors at the University was 13.56 years (SD = 9.27). Men represented 45.8% (n = 216) and women 54.2% (n =256). The sample of Chilean and Italian academic psychologists was comprised of 194 participants. Of these 194 participants, 159 were Italian and 35 were Chilean. Of the 159 Italians participants, 45.91% were men and 54.09% were women, with a mean age of 47.65 years (SD = 10.47). The mean number of years that the professors had spent in academia was 12.90 years (SD = 10.21). Of the 35 Chilean academic psychologists, men represented 45.71% of the sample and women54.29%. In addition, the mean age of the participants was 43.60 years (SD = 9.17). The mean number of years that the professors had spent in academia was 15 years (SD = 8.61). Finally, the sample of Spanish practitioner psychologists consisted of 77 participants (68.8% women and 31.2% men, average age of 41.44 years, SD = 9.42). Instrument The instrument applied consisted of a survey divided in two sections. The first one included items related to information about sex, age and years of experience as academic psychologist, Psychology knowledge area, kind of university (public/private). In addition, for Spanish practitioner psychologists the first section included items related to years of experience as practitioner psychologist, clinical setting (public or private), and degree of familiarity with EBP movement. The second section included items related to the knowledge on methodological issues associated with EBP, such as misconceptions of the p-value, level of knowledge about effect size statistics, confidence intervals, meta-analysis studies, and checklists of methodological quality of the studies. Data analysis All of the studies included descriptive statistics for the variables under evaluation such as frequencies and percentage. In addition, they included confidence interval for percentages (CIs). To calculate the CIs for percentages we used score methods based on the works of Newcombe (2012). All analyses were performed with the statistical program IBM SPSS v. 20 for Windows. Results and conclusions The findings indicate that the comprehension of many statistical concepts continues to be problematic among Spanish academic and practitioner psychologists, and among Chilean and Italian academic psychologists. The methodological errors and the poor methodological knowledge have been and continue to be a source of direct threat to properly implement the EBP in professional practice and getting valid scientific knowledge. Regarding misconceptions of the p-value, the “inverse probability fallacy” was the most frequently observed misinterpretation among Spanish, Italian and Chilean academic psychologists. This means that some academic psychologists confuse the probability of obtaining a result or a more extreme result if the null hypothesis was true (Pr(Data|H0) with the probability that the null hypothesis is true given some data (Pr(H0|Data). In addition, Spanish, Italian and Chilean academic psychologists from the area of Methodology were not immune to erroneous interpretations of the p-value, and this can hinder the statistical training of students and facilitate the transmission of these false beliefs, as well as their perpetuation (Haller & Krauss, 2002; Kirk, 2001; Kline, 2013; Krishnan & Idris, 2014). These findings are consistent with previous studies (Haller & Krauss, 2002; Lecoutre et al., 2003; Monterde-i-Bort et al., 2010). On the other hand, “clinical or practical significance fallacy” was the most frequently observed misinterpretation among Spanish practitioner psychologists. Nevertheless, a statistically significant result does not indicate that the result is important, in the same way that a non-statistically significant result might still be important (Nickerson, 2000; Wasserstein & Lazar, 2016). Clinical significance refers to the practical or applied value or importance of the effect of an intervention. That is, whether it makes any real (e.g., genuine, palpable, practical, noticeable) difference to the clients or to others with whom they interact in everyday life (Kazdin, 1999, 2008). Statistical significance tests have a purpose and respond to some problems and not to others. A statistical significance test does not speak about result importance, replicability, or even the probability that a result was due to chance (Carver, 1978). P-value informs us whether an effect exists, but the p-value does not reveal the size of the effect, and neither the clinical/practical significance of the effect (Ferguson, 2009; Sullivan & Feinn, 2012). The effect size can only be determined by directly estimating its value with the appropriate statistic and its confidence interval (Cohen, 1994; Cumming, 2012; Kline, 2013; Wasserstein & Lazar, 2016). Nevertheless, interpreting a statistically significant result as important or useful, confusing the alpha’s significance level with the probability that the null hypothesis is true, relating p-value to magnitude effect, and believing that the probability of replicating a result is 1-p are erroneous interpretations or false beliefs that continue to exist among academic psychologists and practitioner psychologists, like the results of the studies conducted show. These misconceptions are interpretation problems and they are not a problem of NHST itself (Leek, 2014). Behind these erroneous interpretations are some beliefs and attributions about the significance of the results. Therefore, it is necessary to improve the statistical education and training of psychologists and the content of statistics textbooks in order to guarantee high quality training of future professionals (Babione, 2010; Cumming, 2012; Kline, 2013; Haller & Krauss, 2002). Problems in understanding the p value influence the conclusions that professionals draw from their data (Hoekstra et al., 2014), jeopardizing the quality of the results of psychological research (Frías-Navarro, 2011a). The value of the evidence depends on the quality of the statistical analyses and their interpretation (Faulkner et al., 2008). On the other hand, most of the participants reported using meta-analytic studies in their professional practice and having adequate knowledge about them, including effect size statistics. Nevertheless, they acknowledged having a poor knowledge of graphical displays for meta-analyses, such as, forest plot and funnel plot, which may become in a misinterpretation of results and, therefore, lead to bad practice, taking into account that most of the participants said that they used meta-analytic studies in their professional practice. As several authors point out, the graphical presentation of results is an important part of a meta-analysis and it has become the primary tool for presenting the results of multiple studies on the same research question (Anzures-Cabrera & Higgins, 2010; Borenstein, et al., 2009, Botella & Sánchez-Meca, 2015). In this way, forest plot and funnel plot are graphics used in meta-analytic studies to present pooled effect size estimates and publication bias, respectively. Publication bias is an important threat to the validity of meta-analytic studies, since meta-analytically derived estimates could be inaccurate, typically overestimated. The funnel plot is used as a publication bias detection method in the health sciences (Sterne et al., 2005). Therefore, researchers, academics, and practitioners must adequately know funnel plots, which is a basic tool of meta-analytic studies to detect bias publication and heterogeneity of effect sizes. With regard to type of effect size statistic they know, the participants mentioned to a greater degree the effect size statistics from the family of standardized differences in means and η2 (parametric effect size statistics). Nevertheless, these effect size statistics have been criticized for lack of robustness against outliers or departure from normality, and instability under violations of statistical assumptions (Algina et al., 2005; Grissom & Kim, 2012; Kline, 2013, Peng & Chen, 2014; Wang & Thompson, 2007). There are theoretical reasons and empirical evidence that outliers and violations of statistical assumptions are common in practice (Erceg-Hurn & Mirosevich, 2008; Grissom & Kim, 2001). The findings suggest that the most of the Spanish academic psychologists, Spanish practitioner psychologists and Italian and Chilean academic psychologists do not know the alternatives for parametric effect size statistics such as, non-parametric statistics (e.g., Spearman correlation), the robust standardized mean difference (trimmed means and winsorized variances), the probability of superiority (PS), the number needed to treat (NNT), or the area under the ROC Curve (AUC) (Erceg-Hurn & Mirosevich, 2008; Ferguson, 2009; Grissom & Kim, 2012; Keselman et al., 2008; Kraemer & Kupfer, 2006; Peng & Chen, 2014; Wilcox, 2010; Wilcox & Keselman, 2003). As Erceg-Hurn and Mirosevich (2008) pointed out this might be due to lack of exposure to these methods. In this way, “the psychology statistics curriculum, journal articles, popular textbooks, and software are dominated by statistics developed before the 1960s” (op. cit., p.593). Concerning the methodological quality checklists, again most of the participants said not having knowledge about them. Nevertheless, this is an expanding field and currently there are checklists for primary studies (e.g., CONSORT), for meta-analytic studies (e.g., AMSTAR) and for network meta-analytic studies (e.g., PRISMA-NMA). On the other hand, the analysis of the researcher’s behavior associated with its methodological practices point out that Spanish, Chilean and Italian academic psychologists who could give a name of effect size statistics presented a profile more close to good statistical practices and design research. Nevertheless, three issues alert on the knowledge that both groups of academics have about effect size and validity of statistical conclusion in general: they associate wrongly effect size with the importance of a finding (clinical or practical significance fallacy), they continue to use in a high proportion p-value expressions that revolve around the oracle of the value of alpha, and they don’t know the purpose of planning a priori statistical power in a study. Finally, two events that have allowed the science debate on statistical procedures, progress towards a statistical reform and greater transparency and quality of studies, such as the open debate on the uses and abuses of statistical significance tests (which started almost since the beginning of its use) and the development of check tools such checklists (CONSORT, STROBE, PRISMA…), continue to be unknown in a high proportion by Spanish academic psychologists, Spanish practitioner psychologists and Italian and Chilean academic psychologists. Therefore, the present work provides evidence of the need for statistical training, given the problems related to adequately interpreting the results obtained with the NHST procedure and the poor knowledge of effect size statistical terms, meta-analytic studies and methodological quality checklists that Spanish academic psychologists, Spanish practitioner psychologists and Italian and Chilean academic psychologist have. The EBP requires having adequate knowledge about the fundamentals of research methodology in order to be able to critically evaluate the tests or evidence that studies include in their reports. The problems in understanding the p-value of probability, effect size statistics and meta-analytic studies influence the conclusions that professionals draw from the data, which jeopardizes the quality of the results of psychological research and a proper implementation of EBP in professional practice. As Faulkner et al. (2008) point out, the value of the evidence depends on the quality of the statistical analyses and their interpretation. Therefore, the interpretation of the findings is a quality filter that cannot be subjected to erroneous beliefs or poor interpretations of the statistical procedure. Nevertheless, it must be acknowledged several limitations in this series of studies. For instance, the low response rate might affect the representativity of the sample and, therefore, the generalizability of the findings among academic and practitioner psychologists. Nevertheless, it is possible that the participants who responded to the survey felt more confident about their statistical knowledge than those who did not respond. Should this be the case, the results might underestimate the barriers to EBP. In addition, the findings of the research on misconceptions of the p-value agree with the results of previous studies about this topic in samples of academic psychologists and undergraduates of Psychology (Badenes-Ribera, Frías-Navarro & Pascual-Soler, 2015; Falk & Greenbaum, 1995; Haller & Krauss, 2002, Kühberger et al., 2015; Monterde-i-Bort et al., 2010; Oakes, 1986). Furthermore, the findings of the research on knowledge level of effect size and meta-analytic studies in the samples of Spanish psychologists (both groups, practitioner and academic psychologists) were consistent with the results of the study on these topics in Italian and Chilean sample. All of this leads us to conclude with the need to adequately training psychologists to improve the professional practice. EBP requires professionals to critically evaluate the findings of psychological research and studies. In order to do so, training is necessary in statistical concepts, research design methodology, and the results of statistical inference tests and meta-analytic studies. For example, textbooks of statistics should include a section on the current debate and criticisms of the NHST procedure, in terms of whether statistical significance tests are the best way to advance the body of valid scientific knowledge. Moreover, they should add information about how to calculate and report the effect size and its confidence intervals, both in statistically significant results and in the non-significant ones. And finally, the authors should give examples in order to decide whether the result has practical or clinical importance (Gliner et al., 2002). On the other hand, statistical software programs should be updated to include in their menus other techniques such as the estimation of confidence intervals for parametric effect size statistics, and the estimation of effect size statistics more resistant to extreme values (outliers) and violations of the assumptions of the parametric tests (normal distribution and homogeneity of variance), such as modern robust effect size statistics and their confidence intervals. There are several websites that offer routines/programs for computing general or specific effect size estimators and their confidence intervals (see Frías-Navarro, 2011b; Fritz et al., 2012; Grissom y Kim, 2012; Kline, 2013; Peng et al., 2013). To conclude, the purpose of these studies has been especially to emphasize the need for statistical re-education among practitioner and academic psychologists, to disseminate the use of checklists, as a tool for assessing methodological quality of studies, and to motivate the development of manuals that conceptually describe statistical tests and point out the consequences of bad statistical practice on the accumulation of scientific knowledge. Also, the purpose has been to note the need for incorporating the modern robust effect size statistics in statistical programs, such as SPSS. Currently there is an open scientific and social debate that could change the course of statistical practices among researchers. For example, during the last three years criticism against the classical statistical inference procedure based on the probability value p and the dichotomous decision to keep or reject the null hypothesis has been hardened (Allison et al., 2016; Nuzzo, 2014; Wasserstein & Lazar, 2016). In addition, the low proportion of replication studies, publication bias that lead to an overestimation of the magnitude of effects, questionable statistical practices (Questionable Research Practices, QRPs) leading to find statistically significant results (called p-hacking), such as recording many response variables and deciding which to report after the analysis, reporting only statistically significant results, remove outliers and increase sample size to get statistical significance, and fraud also are current issues of discussion (Earp & Trafimow, 2015; Ioannidis, 2005a; Kepes et al., 2014). The realization of this study has tried to contribute to this debate, providing evidence of the current state of affairs, in what refers to the knowledge and practices of academic and professional psychologists in relation to the methodology and research designs. The findings of the present work are an empirical evidence of all inappropriate behaviors surrounding the process of statistical inference and that for decades have been studied by researchers, such as misinterpretations and misuse of statistical inference techniques due to statistic and effect size fallacies that surround it. Academics, scientists and professionals are not immune to such beliefs. The problem has not been resolved despite the recommendations and alerts that have been permanently detailed in scientific publications. Statistical-reeducation to correct the errors of interpretation of the various fallacies and incorporating an Evidence Based Statistical Practice oriented to the conscious and explicit use of all elements surrounding the process of statistical inference is essential to interpret critically the results of statistical inference. The literature that has been developed on statistical thinking and its education has a whole line of research open on this issue (Beyth-Maron et al., 2008; Garfield et al., 2008; Garfield, & Franklin, 2011; Garfield et al., 2011), to which might be added this investigation, highlighting its importance, its validity and its implications for the development and transmission of scientific knowledge.