Abrir datos abiertos

Gráficos de incidencia acumulada 14 días covid19 en España por provincias

Iniciativas ciudadanas en torno a la recogida y la publicación de datos durante la crisis por COVID-19

Alfonso S. Uzábal y Pablo Rey Mazón. Montera34.

      Administración incapaz

  1. La Administración estatal y autonómica en España ha dado muestra de su incapacidad a la hora de recopilar y publicar datos en tiempo real, de ofrecer series de datos comparables. No es un problema de la pandemia, viene de lejos.

  2. Desde los medios de comunicación y la ciencia se ha dado cuenta de las deficiencias de un sistema de gestión de datos que no llega a tiempo y, cuando llega, ofrece diferencias considerables sobre las mismas variables entre unas y otras fuentes oficiales.

  3. La Administración es un gran y viejo elefante que llega siempre tarde, si es que llega, al menos en lo que concierne a la publicación de datos actualizados listos para usar.

  4. Las administraciones no tienen el personal ni la técnica necesaria. En Reino Unido, por ejemplo, tuvieron un problema de gestión de los datos porque la base de datos se realizaba en una hoja de cálculo de Microsoft Excel que había alcanzado su límite de filas o columnas.

  5. Nos preocupa que la gestión de la crisis desde las instituciones no esté basada en información y análisis actualizados, adecuados y correctos y en reglas y umbrales claros que puedan ser entendidos e interpretados por la sociedad.

  6. Se han publicado varios manifiestos y artículos en España que abogan por una gestión diferente de los datos y por realizar auditorías externas.

    1. The need for detailed COVID-19 data in Spain https://www.thelancet.com/journals/lanpub/article/PIIS2468-2667(20)30234-6/fulltext 

    2. Todavía es posible https://datoscovid19esposible.github.io

  7. La pandemia ha supuesto un curso intensivo en estadística y visualización de datos para muchas personas. En general se ha mejorado en cuanto a cultura de datos. Sin embargo, tanto la Administración, medios de comunicación y público en general siguen comparando, por poner un ejemplo, los datos de contagios de un sábado con los de un lunes, cuando ya sabemos que en fin de semana se hacen por lo general menos pruebas. Debates como el del uso de escala logarítmica y lineal o la inconsistencia de los datos más recientes están ahora en las conversaciones mientras se toma un café.

    Iniciativas ciudadanas

  8. Las iniciativas ciudadanas suplen lo que la Administración debería estar haciendo. La sustituyen donde ésta no puede llegar, por falta de recursos humanos y técnicos, por lo estricto de competencias establecidas, por negligencia, por falta de voluntad política o por voluntad de ocultación (los organismos existen, hace falta que funcionen mejor: ISCIII, RENAVE, SiViES, Ministerio de Sanidad, las comunidades autónomas).

  9. Definimos a las iniciativa ciudadanas como proyectos/acciones que surgen desde la sociedad civil y no están adscritas a instituciones u organismos establecidos.

  10. Las iniciativas ciudadanas son capaces de adaptarse rápidamente a una situación siempre cambiante. Son más resilientes, pero también más frágiles.

  11. En vista de su relevancia ¿cómo conseguir hacer crecer y mantener las iniciativas ciudadanas para que puedan responder de forma consistente cuando se necesita?

  12. Las iniciativas ciudadanas abren datos abiertos para estructurar y hacer accesibles, comprensibles y utilizables los datos e información desagregados que publican las fuentes oficiales pero que son difícilmente utilizables y comparables.

  13. Recopilan series de datos e información estructurada para ponerlas al servicio del bien común. Si la Administración, si las administraciones, no lo hacen, la ciudadanía organizada se pone manos a la obra.

  14. En Twitter se puede acceder a multitud de iniciativas ciudadanas, colectivas o personales, que recopilan datos y publican análisis sobre el estado y la evolución de la pandemia de COVID-19 en España. Suplen así la falta de información actualizada oficial (ver el listado de iniciativas ciudadanas en la wiki de Escovid19data).

  15. Las iniciativas ciudadanas llevan a cabo una labor didáctica sobre los datos que los organismos oficiales no realizan. Las diferentes iniciativas, junto con periodistas de los medios de comunicación tradicionales, interactúan entre sí ayudándose a analizar las series de datos y detectar sus inconsistencias.

  16. En otros países existen iniciativas ciudadanas que suplen la deficiente información ofrecida por los organismos oficiales. Por ejemplo en Brasil, gracias a 40 voluntarios que recopilan diariamente datos de los boletines epidemiológicos de 27 secretarías de salud son capaces de construir una base de datos accesible para cualquiera o el proyecto Opencovid19-fr en Francia.

  17. Detectamos que una amplia mayoría de las iniciativas son personales y llevadas por hombres en solitario ¿por qué hay casi únicamente hombres?

  18. Muchas personas se han convertido en analistas de la evolución de la pandemia. Es interesante señalar que muchos de los más conocidos, al menos en Twitter, provienen del ámbito del análisis de datos deportivos. Otra gran parte de disciplinas estadísticas y matemáticas.

  19. No todo es luz. Muchas veces las iniciativas ciudadanas no hacen lo que demandan en sus críticas a las administraciones: la publicación de series de datos para que puedan ser usados por otras personas o instituciones. Como en la caverna de Platón vemos solamente las sombras, la gran mayoría muestra solamente los gráficos y no los datos tras los análisis. 

  20. Las iniciativas ciudadanas también tienen sus problemas: falta de trazabilidad y transparencia, ausencia de responsabilidad o de revisión.

    Escovid19data, una iniciativa para recopilar y publicar en abierto datos a nivel provincial

  21. Ante la falta de series de datos actualizados, desagregados por provincia y publicados en abierto sobre la pandemia de COVID-19 en España surge Escovid19data, un proyecto colaborativo de recopilación y de visualización colaborativo para publicar en abierto series de datos reutilizables.

  22. En Escovid19data los datos son capturados colaborativamente cada día. Se publican y visualizan para detectar errores.

  23. Se usa el sistema de control de versiones Git para permitir trazabilidad. Usamos un grupo de Telegram para coordinarnos, una hoja de cálculo y scripts de python y R para recopilar y unificar el formato de los datos recopilados en las 19 comunidades y ciudades autónomas. Estructura y organización ligeras.

  24. La recogida de datos y su visualización son parte del mismo proceso. Es necesario visualizar para validar grandes cantidades de información y detectar errores comunes como un error de transcripción, datos de un día asignados erróneamente a otro, una URL que deja de estar activa y no sirve los datos…

  25. Los datos llegan en los más variados formatos: notas de prensa, posts de Facebook, imágenes en twitter, tablas en pdf, dashboard y otros artefactos. Hay que unificar los diferentes formatos, transformarlos a formatos usables y compatibles.

  26. Desde varios medios de comunicación y proyectos académicos se usan los datos de Escovid19data, lo que pone de manifiesto que los datos oficiales no están llegando a las instituciones universitarias y científicas.

  27. Es muy reconfortante que los datos que estamos recopilando sirvan para llevar a cabo estudios científicos. A la vez que da mucho miedo pensar que la ciencia está sostenida por infraestructuras tan frágiles como un grupo de voluntarios para obtener la materia prima de sus investigaciones. 

    Cierre

  28. ¿A qué cosas no les estamos dedicando la atención que requieren mientras estamos ocupados en, no ya analizar, sino simplemente rescatar y construir series de datos analizables sobre la COVID-19 en España?

  29. La prensa y la academia, en mayor o menor medida, no han funcionado como mediadores de datos a la sociedad, liberando sus bases de datos. ¿Por qué en otros temas los medios de comunicación han publicado datos los cables de wikileaks, en las revelaciones de Snowden o los papeles de Panamá, y en el caso de la covid no?

    ¿Una nueva normalidad en los datos?

  30. Como habrás visto este texto tiene como idea de fondo que las instituciones van por un lado y las iniciativas ciudadanas por otro. Terminamos con un rayo de esperanza, contando algunas excepciones y otras buenas prácticas a este panorama desolador:

  31. La Junta de Castilla y León es un ejemplo de Administración que lo está haciendo bien en cuanto a publicar datos actualizados y desagregados, además de ser muy accesible en Twitter, donde se puede conversar con ellos ágilmente.

  32. Italia como ejemplo de administración que publica en un repositorio online de Github desde principios de marzo series de datos sobre la pandemia.

  33. The Atlantic es un medio de comunicación que lidera The COVID tracking project, un proyecto de voluntarios que recopila y publica datos sobre la COVID-19 en Estados Unidos de América.

  34. Daniele Graso, periodista en El País, medio de comunicación generalista, compartió su recopilación de datos de comunidades autónomas uniprovinciales con el proyecto Escovid19data.

  35. Multitud de interacciones entre periodistas y usuarios en Twitter sin adscripción a un medio de comunicación que comparten análisis, indicios y pistas. Periodistas que piden colaboración sobre dónde encontrar tal o cual fuente de información.

  36. Gracias a la publicación en Twitter de los problema de los datos ofrecidos en la plataforma de datos abiertos de Euskadi se ha conseguido que mejoren cómo publican los datos y que empiecen a publicar las series completas de alguna de sus series, como la de casos por franja de edad, en vez del acumulado total. Queda mucho por mejorar todavía.

Pablo y Alfonso participan y coordinan la iniciativa Escovid19data que publica diariamente en abierto los datos sobre COVID-19 recopilados de las comunidades autónomas (https://github.com/montera34/escovid19data) y una serie de gráficos para facilitar el acceso a los mismos (https://lab.montera34.com/covid19/).

Tipo de post
Blog
Autor
montera34