Transparencia en Investigación: Problemas y Soluciones

# Transparencia en Investigación: Problemas y Soluciones
## .font80[Universidad de los Andes, Colombia]
### Fernando Hoces de la Guardia, Berkeley Initiative for Transparency in the Social Sciences
### 4 de Mayo, 2022 | <a href="https://bitss.github.io/slides-uandes2022/">diapositivas</a>

---

.center2 {
  margin: 0;
  position: absolute;
  top: 50%;
  left: 50%;
  -ms-transform: translate(-50%, -50%);
  transform: translate(-50%, -50%);
}

pre.sourceCode {
    max-height: 200px;
    overflow-y: auto;
}

/*
.remark-slide-number {
  position: inherit;
}

.remark-slide-number .progress-bar-container {
  position: absolute;
  bottom: 0;
  height: 4px;
  display: block;
  left: 0;
  right: 0;
}

.remark-slide-number .progress-bar {
 height: 100%;
 background-color: blue;
}
*/
</style>

</style>

# Contenidos

1. [BITSS](#about-bitss)

2. [Transparencia en la Investigación Científica](#transparencia)

3. [Problemas y Soluciones](#ADD)

]

---
count: false
# Contenidos

.font130[

1. [**BITSS**](#about-bitss)

2. [Transparencia en la Investigación Científica](#ADD)

3. [Problemas y Soluciones](#ADD)

]

---
background-image: url("Images/BITSSlogo.png"), url(Images/cega.png)
background-size: contain, 200px
background-position: 50% 100% , 0% 100% 
name: about-bitss
# Sobre Nosotros
  
  
### [BITSS](https://bitss.org)

.pull-left[
Berkeley Initiative for Transparency in the Social Sciences trabaja para mejorar la credibilidad de las ciencias al promover transparencia, reproducibilidad, rigor, y ética en la investigación y el análisis de políticas públicas

OPA

]

]
.pull-right[ .right[
Somos parte del Center for Effective Global Action ([CEGA](https://cega.berkeley.edu/)).

Meta-investigación
]

]]

---
count: false
# Contenidos

.font130[

1. [BITSS](#about-bitss)

2. [**Transparencia en la Investigación Científica**](#transparencia)

3. [Problemas y Soluciones](#ADD)

]

---
name: transparencia

# Ética en la Investigación Científica

- Valores científicos acuñados por Robert Merton (Merton [1942](https://ceulearning.ceu.edu/pluginfile.php/372119/mod_resource/content/1/Merton%20Science%20and%20Democracy%201942.pdf)):

- **Universalismo**: cualquier persona puede presentar un argumento, independiente de su estatus.  
  - **Comunismo/Comunalismo**: el conocimiento es compartido de manera abierta.  
  - **Desinterés**: la verdad como motivación, y no los beneficios monetarios.  
  - **Escepticismo Organizado**: revisión a través de pares (peer review), replicación.
]
---
background-image: url(Images/AMdV2007_1.PNG)
background-size: contain

# En la Practica [(Anderson et al 2007)](http://www.jstor.org/stable/pdf/10.1525/jer.2007.2.4.3.pdf)

---
background-image: url(Images/AMdV2007_2.PNG)
background-size: contain
count: false

# En la Practica [(Anderson et al 2007)](http://www.jstor.org/stable/pdf/10.1525/jer.2007.2.4.3.pdf)  
---
background-image: url(Images/AMdV2007.PNG)
background-size: contain
count: false

# En la Practica [(Anderson et al 2007)](http://www.jstor.org/stable/pdf/10.1525/jer.2007.2.4.3.pdf)

---
count: false
# Contenidos

.font130[

1. [BITSS](#about-bitss)

2. [Transparencia en la Investigación Científica](#transparencia)

3. [**Problemas y Soluciones**](#problemas)

]

---
name: problemas

# Problema #1: Sesgo de Publicación

El sesgo de publicacion ocurre cuando los estudios publicados en revistas cientificas estan sobrerepresentados por estudios que obtienen un particular tipo de restultados (e.g., rechazan la hipotesis nula).

Evidencia que sugiere la existencia de sesgo de publicacion:

- El tamaño de los efectos disminuye con el tamaño muestral ([Gerber et al  2001](http://pan.oxfordjournals.org/content/9/4/385.short)).

- La publicación de efectos nulos esta desapareciendo en el tiempo, en todas las disciplinas ([Fanelli 2011](http://link.springer.com/article/10.1007/s11192-011-0494-7)).

Evidencia que mide la magnitud del sesgo de publicación:

- Estudio que  siguió a experimentos completados muestra que aquellos experimentos con fuertes resultados son 40pp más probable de ser publicados, y 60pp más probable de ser escritos. Alto "file drawer problem". ([Franco et al 2014](http://science.sciencemag.org/content/345/6203/1502))

- En economía [Andrews and Kasy (2019)](https://www.aeaweb.org/articles?id=10.1257/aer.20180310) estiman que, para algunas literaturas, los estudios que rechazan la nula son entre 3 y 30 (!) veces mas probables de ser publicados en journals top.   
  
---
background-image: url(Images/Tess.PNG)
background-size: contain

# Sesgo de Publicacion en TESS/NSF [(Franco et al 2014)](http://science.sciencemag.org/content/345/6203/1502)  
---

# Problema #2: P-Hacking 
 
.font140[
- Definición: flexibilidad en el análisis de datos permite presentar *casi cualquier resultado* bajo un umbral arbitrario; significancia estadística pierde sentido.

- Otros nombres: "specification searching" ([Leamer 1983](http://www.econ.ucla.edu/workingpapers/wp239.pdf)), "data-fishing", grados de libertad del investigador, o "data-mining".

- No implica intencionalidad. Puede ser subconsciente, o simplemente una practica estándar del análisis estadístico ([Gelman and Loken 2013](http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf)).

- Evidencia: comportamiento anomalo de test estadisticos entorno a umbrales arbitrarios.
]
---
background-image: url(Images/GerberSoc.PNG), url(Images/GerberPS.PNG)
background-size: 450px, 600px
background-position: 10% 70%, 90% 70%

# Evidencia: Sociologia y Ciencias Politicas
.pull-left[
.font130[
Sociología [(Gerber and Malhotra 2008a)](http://smr.sagepub.com/content/37/1/3.short)
]
]

.pull-right[
.font140[
Ciencias Políticas [(Gerber and Malhotra 2008b)](http://nowpublishers.com/article/Details/QJPS-8024)
]
]
---
background-image: url(Images/Brodeur.PNG), url(Images/Brodeur_2.PNG)
background-size: 450px, 550px
background-position: 10% 70%, 90% 70%

# Evidencia: Economía

.pull-right[
.font130[
Top-5,  Variables Instrumentales [(Brodeur et al 2020)](https://www.aeaweb.org/content/file?id=12747)
]
]

---
count:false

# Soluciones Para Problemas 1 y 2

.font150[
- Registros (o pre-pregistros) 
- Planes de pre-analysis 
- Reportes registrados 
]

---
background-image: url(Images/plosone.PNG)
background-size: contain

# .font90[Registros en Estudios Nutricionales [Kaplan and Irvin 2015](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0132382)]

---
name: repro
# .font100[Problema #3: Baja Replicabilidad y Reproducibilidad]

.font170[
| Replicabilidad en las Ciencias Sociales (mismo método, diferente muestra) 	| Reproducibilidad en Economía (mismo método y datos) 	|
|-------------------------------------------------------------------	|------------------------------------------------------	|
| OSC ([2015](https://docs.google.com/document/d/1mm_4HZnEz_2Bh8XuiS2tpqCH08MFPyqUhi1baKPqR8Y/edit#heading=h.7vqf2cziid7z)): 30%-60% 	 | Chang & Li ([2015](https://www.nowpublishers.com/article/Details/CFR-0053)): 43% 	|
| Camerer et. al. ([2016](https://science.sciencemag.org/content/351/6280/1433)): ~60% 	| Gertler et. al. ([2017](https://www.nature.com/articles/d41586-018-02108-9)): 14% 	|
| Nosek & Camerer et. al. ([2018](https://www.nature.com/articles/s41562-018-0399-z)): ~60% 	| Kingi et. al. ([2018](https://hautahi.com/static/docs/Replication_aejae.pdf)): 43% 	|
| Klein et. al. ([2018](https://journals.sagepub.com/doi/10.1177/2515245918810225)): 50% 	| Wood et. al. ([2018](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0209416#abstract0)): 25% 	|
]

---
count:false
# .font80[Importancia 1: Un Concepto mas Inclusivo del Objeto Académico]

.pull-left[
.font120[
 <blockquote>
 Principio Clarebout:
 
 “Un artículo sobre ciencias computacionales en una publicación científica no es el objeto académico relevante, es simplemente publicidad sobre este objeto. El objeto académico relevante se comprende de todo el entorno de desarrollo de software y todo el conjunto de instrucciones necesarias para generar las figuras [y tablas del artículo]”
 
.right[ <cite> Buckheit and D.L. Donoho (1995, [2009](https://academiccommons.columbia.edu/doi/10.7916/D8QZ2MDS/download))</cite> ]
 </blockquote>
]
]

---
background-image: url("Images/iceberg.jpg")
background-size: 50%
background-position: 100% 50%

# .font80[Importancia 1: Un Concepto mas Inclusivo del Objeto Académico]

.pull-left[
.font120[
 <blockquote>
 Principio Clarebout:
 
 “Un artículo sobre ciencias computacionales en una publicación científica no es el objeto académico relevante, es simplemente publicidad sobre este objeto. El objeto académico relevante se comprende de todo el entorno de desarrollo de software y todo el conjunto de instrucciones necesarias para generar las figuras [y tablas del artículo]>”
 
.right[ <cite> Buckheit and D.L. Donoho (1995, [2009](https://academiccommons.columbia.edu/doi/10.7916/D8QZ2MDS/download))</cite> ]
 </blockquote>
]
]

---
# .font80[Importancia 1: Un Concepto mas Inclusivo del Objeto Académico]

El PC típicamente se alude para discutir la posibilidad de efectos positivos en:  
- Pedagogia 
- Generación incremental de conocimiento 
]
--

- Posibles efectos positivos en diversidad, equidad e inclusión: reduce requerimiento de conecciones o habilidades de lenguaje ("apropiadamente polite") para obtener materiales
]

???
An under discussed benefit of this principle is that increases access to knowledge for students who are outside of elite schools (no connections or "appropriate politeness" required to obtain materials).

---