Análisis de la base de datos abierta de Dirección General de Epidemiología haciendo uso de Deep Learning para la predicción de la necesidad de intubación en pacientes hospitalizados por COVID-19

Analysis of the open database of the General Directorate of Epidemiology using Deep Learning to predict the need for intubation in patients hospitalized for COVID-19

Omar Fabián Rivera-Ceniceros , Luis Alberto Ordaz-Díaz

Universidad Politécnica de Durango, Carretera Durango-México Km. 9.5 S/N

Autor de correspondencia: Dr. Omar Fabián Rivera-Ceniceros, Universidad Politécnica de Durango, Carretera Durango-México Km. 9.5 S/N, México. E-mail: omar.rivera@unipolidgo.edu.mx. ORCID: 0000-0002-4382-5737.

Recibido: 24 de Junio del 2021 Aceptado: 24 de Agosto del 2021 Publicado: 10 de Septiembre del 2021

Resumen. Haciendo el uso de aprendizaje profundo se busca determinar la probabilidad de que un paciente hospitalizado por COVID-19 padezca insuficiencia respiratoria y precise ser ventilado mecánicamente en una Unidad de Cuidados Intensivos (UCI). El análisis profundo se realiza mediante el entrenamiento del algoritmo de Redes Neuronales Secuenciales, ya que estas presentan una buena eficiencia en el análisis de datos abiertos. Para este estudio se tomó la base de datos abiertos de la Dirección General de Epidemiología. De acuerdo a los decretos oficiales de la federación las bases históricas y la información referente a los casos asociados a COVID-19 son de uso libre con el propósito de facilitar a todos los usuarios que la requieran, el acceso, uso, reutilización y redistribución de la misma. La base de datos de la Dirección General de Epidemiología presenta información varia que de acuerdo a entrevista con un médico de primera línea que trabaja con pacientes de COVID-19 y a su consideración algunos datos pueden ser irrelevantes, tal es el caso de la nacionalidad de los infectados, por mencionar alguno; de igual manera se trabajó solo con aquellos pacientes que dieron positivo a la enfermedad. Así mismo la base de datos puede servir para encontrar algunos otros aspectos o datos estadísticos relevantes sobre la pandemia en México.

Palabras clave: COVID-19; Lenguaje profundo; Redes neuronales secuenciales.

Abstract. Using deep learning, the aim is to determine the possibility that a patient hospitalized by COVID-19 suffers from respiratory failure and needs to be mechanically ventilated in a medical intensive care unit (ICU). The deep analysis is performed by training the Sequential Neural Networks algorithm, since these present good efficiency in the analysis of open data. For this study, the open database of the General Directorate of Epidemiology was used. According to the official decrees of the federation, the historical databases and the information related to the cases associated with COVID-19 are of free use with the purpose of facilitating access, use, reuse and redistribution to all users who require it. The database of the General Directorate of Epidemiology presents various information that, according to an interview with a first-line doctor who works with COVID-19 patients and in his opinion, some data may be irrelevant, as the nationality of people infected, to mention a few; likewise, we worked only with those patients who tested positive for the disease. In the same way, the database can be used to find some other aspects or relevant statistical data about the COVID-19 pandemic in México.

Keywords: COVID-19; Deep learning; Sequential neural networks.

1. Introducción

El acelerado crecimiento y expansión de esta cepa de COVID-19 impulso iniciativas para generar una producción de conocimiento publica sin precedentes encausada al entendimiento del virus con la finalidad de detenerla lo antes posible mediante desarrollo de vacunas y tratamientos médicos que ayuden a mejorar la velocidad de recuperación y baja la mortalidad [12:1], así como tratar de minimizar el uso de ventilación mecánica o asistida debido a la escasez de ventiladores de presión positiva adecuados para el uso en pacientes de COVID-19 [9].

En consecuencia, esta acelerada necesidad de publicación de investigadores, se ha generado una gran cantidad de conocimiento generado en un breve lapso de tiempo sin precedentes. Una de estas bases de datos está presente en la plataforma de la Dirección General de Epidemiologia, donde se tiene una base con más de 3 millones de capturas en excel de casos relacionados de COVID-19 hasta inicios del 2021, base de datos donde se a considerando aquellos casos negativos, falsos positivos o positivos [1].

En los últimos años el uso de Machine Learning así como la minería de datos se ha popularizado mucho a la hora de trabajar con grandes cantidades de datos, es por eso que se pensó hacer uso de estas técnicas y herramientas para llevar a cabo la búsqueda de patrones y el análisis de esta basta base de datos que ofrece la Dirección General de Epidemiologia sobre el COVID-19. Las redes neuronales artificiales y el Machine Learning son un modelo computacional que no es nuevo, si no que fue evolucionando a partir de diversas aportaciones científicas y en los últimos años se han producido avances que han reducido el trabajo mediante herramientas y lenguajes de programación de alto nivel open source [13: 331-332], así como herramientas en la nube que permiten acceder a un mejor potencia computacional sin la necesidad de administrar la infraestructura, y en base a estas ventajas es que se pensó en usar estos modelos para llevar a cabo una búsqueda de patrones dentro de la información recabada, haciendo uso de la plataforma de servicio en la nube Google Colab® basada en notebooks de Jupiter.

1.1 Objetivo

El objetivo primordial de este proyecto es predecir si los pacientes ingresados a un hospital tienen la necesidad de hacer uso de ventiladores para casos graves de COVID-19 en base al análisis de la base de datos de la pandemia proporcionados por la Dirección General de Epidemiología [1], permitiendo comparar si la disponibilidad de los ventiladores será suficiente para atender todos los nuevos ingresos que lo requieran.

1.2 Alcances

El alcance del proyecto como su objetivo lo muestra, va evocado a la identificación de potenciales pacientes que requieran ser intubados con ventiladores especializados para casos de COVID-19, con la finalidad de que los hospitales puedan apoyarse para identificar la necesidad de estos ventiladores en pacientes que posean ciertas características identificadas dentro de la base de datos, teniendo en mente la posibilidad de dar tiempo a reaccionar en cuanto un paciente ingrese a la Unidad de Cuidados Intensivos o emergencias. Cabe mencionar que el objetivo de este proyecto no es abordar razones, temas o problemáticas sociales, falta de hospitales, etcétera; es simplemente abordar el tema desde un punto de vista técnico proponiendo hacer uso de los datos libres que se cuentan. Estos datos precisamente son de uso libre esperando que los investigadores realicen análisis y generen conocimiento que pueda ser aprovechado por pares.

2. Metodología

Como se ha expresado desde un principio, en una primera instancia esta investigación aborda la problemática de tratar de predecir si un paciente será asignado a un área de cuidados intensivos o no, y si existe la posibilidad de que el paciente requiera el uso de un respirador automático, que como se sabe, han sido escasos durante la pandemia, principalmente en los primeros meses, teniendo una gran problemática para atender a pacientes graves. El primer reto que se encontró fue la gran cantidad de información en una base de datos con casi tres millones doscientos mil casos registrados, habiendo entre estos registros personas que dieron falsos positivos, negativos y positivos.

Dado lo anterior y el objetivo general se optó por solo usar los registros de personas que hubiesen dado positivo a COVID-19, con lo anterior también se logró solventar el problema de que esta cantidad de registros sobrepasaba la capacidad de Excel para abrirlo (la base de datos es un archivo .xlsx), aun así quedaban muchos datos irrelevantes que fueron descartándose como: Estado de migración, si fue atendido en clínica privada o pública, fecha de registro e ingreso, numero de identificador, por mencionar algunas.

Estos datos que fueron descartados no fueron al azar y se pidió la colaboración de un médico de primera línea con maestría en ciencias forenses y geriatría, que ha estado atendiendo adultos mayores durante la pandemia, por solicitud de esta persona se omitirá su nombre. Al depurar los registros se dejaron datos importantes como enfermedades, edad, sexo, origen indígena o no, embarazo, etcétera dándoles importancia sobre todo a aquellos pacientes hospitalizados que fueron ingresados a la Unidad de Cuidados Intensivos y que requirieron el uso de respirador. Con este tratamiento a la base de datos se logró reducir la cantidad de información y se pasó de 3’194,264 registros al día de consulta, a tan solo 248,574. El posterior tratamiento que se le dio a la base de datos fue convertir los códigos empleados en el catálogo de la base de datos (tablas 1, 2 y 3) a datos más ordenados empezando por el cero, ya que en las pruebas de entrenamiento el algoritmo mostró mejoría en su aproximación al hacer estos cambios, a continuación, vemos algunas tablas de clasificación originales y posterior remplazo.

Tabla 1. SI-NO Tabla 2. Sexo Tabla 3. Clasificación

CLAVE	DESCRIPCIÓN	CLAVE	DESCRIPCIÓN	CLAVE	CLASIFICACIÓN
1	SI	1	MUJER	3	CONFIRMADO
2	NO	2	HOMBRE	6	SOSPECHOSO
97	NO APLICA	99	NO ESPECIFICADO	7	NEGATIVO
98	SE IGNORA
99	NO ESPECIFICADO

Las tablas de clasificación modificadas quedan de la siguiente forma:

Tabla 3. SI-NO Tabla 4. Sexo Tabla 5. Clasificación

CLAVE	DESCRIPCIÓN	CLAVE	DESCRIPCIÓN	CLAVE	CLASIFICACIÓN
0	NO	0	HOMBRE	0	NEGATIVO
1	SI	1	MUJER	1	CONFIRMADO
2	NO APLICA
3	NO ESPECIFICADO

Cargado el set de datos lo primero que se realiza es definir las entradas (x) y la salida (y), a continuación, se describirán algunos aspectos del programa en Python.

x= COVID.iloc[:,:-1] #La última columna es seleccionada como salida

y= COVID.iloc[:,15].values #las anteriores 15 columnas son entradas

Se crean los datos a entrenar y los datos de prueba a partir de las entradas y salida.

X_train,X_test,y_train, y_test = train_test_split(x, y, test_size = .2, random_state = 1)

Posteriormente son definidas las capas de entrada, las capas ocultas y la capa de salida, la selección de la configuración de las capas fue basada en la bibliografía antes citada, las activaciones de las capas quedan de la siguiente manera, donde se consideraron 4 capas ocultas, ya que incrementar el número de capas no mejoraba la predicción, se activaron con función RELU al tratarse de una función de uso general con datos positivos:

entrada_secuencial = keras.Input(shape=(15,)) #shape 15 corresponde al número de columnas

x=layers.Dense(15,activation="relu")(entrada_secuencial)

x2=layers.Dense(50,activation="relu")(x)

x3=layers.Dense(50,activation="relu")(x2)

x4=layers.Dense(75,activation="relu")(x3)

salida_final=layers.Dense(2,activation="softmax")(x4) #Salida

Aumentar la capa oculta y las neuronas (hasta 75 neuronas) no incrementa la eficiencia de la red neuronal, por eso se mantienen las 4; para la capa de salida, dado que solo se tiene como salida un 0 y 1 que representa la necesidad de intubación o no, o la necesidad de ingresar al paciente en la UCI se emplea una activación Softmax de densidad 2. Para compilar el modelo, se emplea una optimización tipo ADAM y una función de perdida de tipo crossentropy dado que como se ha escrito, se pretende predecir un valor binario que indica como salida un valor que representa Falso o Verdadero, Si o No.

model = keras.Model(inputs=entrada_secuencial, outputs=salida_final,name="COVID_model")

model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])

Para el entrenamiento fue suficiente con 5 épocas, se agregó hasta 50 épocas como prueba y esto tampoco mejoró la respuesta:

model.fit(X_train, y_train, epochs=5, batch_size=1024)

Para determinar las variables a emplear al evaluar la red neuronal se emplearon distintas comparaciones y librerías.

Para averiguar qué variables tienen más influencia en las predicciones se utilizó el framework SHAP, que permitirá visualizar la importancia de las características y su impacto en la predicción de si un paciente será intubado.

El framework SHAP proporciona visualizaciones intuitivas e interactivas que apuntan a mostrar qué características son más relevantes.

model.fit(X_train, y_train)

explainer = shap.TreeExplainer(model)

shap_values = explainer.shap_values(X_train)

shap.summary_plot(shap_values, x, plot_type='bar')

El árbol de decisión tuvo las siguientes características: Profundidad del árbol: 6, Número de nodos terminales: 64

3. Resultados

La red neuronal se entrena con 5 épocas para cada uno de los dos análisis (necesidad de intubación e ingreso a UCI), A continuación, se muestran los resultados para determinar la necesidad de ingreso a la Unidad de Cuidados Intensivos

Epoch 1/5

195/195 [======] - 2s 6ms/step - loss: 0.5021 - accuracy: 0.7864

Epoch 2/5

195/195 [======] - 1s 6ms/step - loss: 0.2860 - accuracy: 0.9159

Epoch 3/5

195/195 [======] - 1s 6ms/step - loss: 0.2846 - accuracy: 0.9149

Epoch 4/5

195/195 [======] - 1s 6ms/step - loss: 0.2804 - accuracy: 0.9143

Epoch 5/5

195/195 [======] - 1s 6ms/step - loss: 0.2753 - accuracy: 0.9161

loss: 0.2753 - accuracy: 0.9161

El resultado para la necesidad de ser intubado por un paciente de COVID-19 tuvo como respuesta:

loss: 0.3802 - accuracy: 0.8572

Teniendo un 91% de eficiencia para predecir si un paciente ingresara a la Unidad de Cuidados Intensivos y 85% de uso de respirador.

Ambos modelos fueron evaluados con las entradas originales de la base de datos, con los datos de prueba y los datos de entrenamiento generados, en todos los casos la respuesta de la evaluación arrojaba la misma “perdida” y la misma “precisión” tal y como se mostró anteriormente.

model.evaluate(X_train,y_train)===> accuracy: 0.8567

model.evaluate(X_test,y_test) ===> accuracy: 0.8537

model.evaluate(x,y) ===> accuracy: 0.8551

Se utilizó la validación cruzada para evaluar los resultados del análisis y garantizar que los datos son independientes de la partición entre datos de entrenamiento y los de prueba.

clf = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)

clf.score(X_test, y_test) = 0.915236850045258

Para probar la red neuronal con datos que se puedan ingresar se hace mediante un arreglo que represente de forma ordenada en cada posición los datos y enfermedades a evaluar, en la siguiente lista se muestra en orden de posición las enfermedades y consideraciones a evaluar:

Sexo, Edad, Neumonía, Embarazo, Indígena, Diabetes, Epoc, Asma, Inmuno supresora, Hipertensión, Cardiovascular, Obesidad, Enfermedad Renal Crónica, Tabaquismo, Otra Condición, para entender los valores numéricos hay que ver la tabla 3 y 4.

A continuación, se muestra cómo se puede predecir ingresando los datos en el arreglo.

a=np.array([[1, 56, 0, 2, 1, 0, 0 , 0, 1, 0, 1, 0, 1, 0, 0]]) #SEXO [0 = Hombre, 1 = Mujer]. GENERAL [0 = NO, 1 = SI, 2 = se ignora, 3 = No Aplica o se ignora,

b= model.predict(a)

Posibilidad de entrar al UCI = 96.0%

Posibilidad de no presentar problemas = 4.0%

Posibilidad de usar respirador = 61.0%

Posibilidad de no usar respirador = 39.0%

Al ingresar valores que corresponden a diferentes sexos, enfermedades, etcétera, se pudo determinar si el paciente será ingresado o no al UCI y si este requerirá se intubado, y de igual manera se visualizó mediante SHAP la importancia de predecir si un paciente al ser ingresado a la Unidad de Cuidados Intensivos y su relación con la posibilidad de ser Intubado como lo vemos en la siguiente gráfica de barras.

También con estos datos se han encontrado otros datos de importancia como:

1. Un hombre adulto joven con hipertensión tiene más posibilidades de usar respirador que uno que no padece hipertensión hasta en un 6%, pero en adultos mayores con hipertensión solo es un 3%

2. Se ha encontrado que aquellos pacientes que no son ingresados al UCI tienen mayor posibilidad de requerir el uso de ventilador artificial.

3. Un hombre de 25 años con hipertensión ingresado en el UCI tiene una posibilidad de usar respirador del 61.0%, pero una mujer de 25 años con los mismas condiciones tiene la posibilidad de usar respirador de un 49.0%

4. Un hombre de 50 años con hipertensión ingresado en el UCI tiene una posibilidad de usar respirador del 57.0%, pero un hombre con los mismos síntomas pertenece a la comunidad indígena puede tener de 8% más posibilidades de necesitar respirador, además una mujer indígena tiene 3% más probabilidad de usar respirador que una mujer de área urbana.

5. Tanto un hombre joven adulto menor a 30 años como un adulto mayor de 60 años diabéticos tienen alta posibilidad de ser intubados (98%) en caso de ingresar al UCI, pero el adulto mayor tiene un 4% menos de probabilidad de usarlo

6. Una mujer adulto mayor diabética tiene 10% menos probabilidades de ser intubada que un varón adulto mayor, y 6% menos que una mujer adulto joven menor de 30 años.

7. Sin embargó los puntos anteriores se reducen drásticamente hasta un 46% de probabilidad de usar respirador artificial si el paciente tiene la posibilidad de ingresar al UCI si el medico dictamina que requiera entrar y hay disponibilidad.

Pero aquellos que por cualquier motivo no tienen la posibilidad de ingresar al UCI y recibir los medicamentos y tratamiento adecuado, tiene más probabilidad de usar respirador, sobre todo en personas del género masculino.

8. De acuerdo al análisis realizado, el factor más importante para determinar si un paciente será intubado o no es si padece Neumonía.

4. Conclusiones y observaciones

Al correr el análisis de la base de datos de COVID-19 se puede llegar a varias conclusiones y observaciones:

1) Con este set de datos analizados se encontró una predicción con un porcentaje alto de eficiencia que permita determinar si una persona será intubada o no, sin embargo también será bueno considerar el uso de radiografías del paciente como complemento al análisis, ya que analizar solamente la base de datos para determinar que una persona requiera ayuda mediante un respirador artificial pudiera ser insuficiente en el remoto caso que se presente un paciente con los mismos antecedentes, y este pudiera no haber requerido hacer uso de un respirador [16], donde incluso se puede hacer un análisis por Deep Learning de tales imágenes tal y como algunos investigadores lo han hecho [17].

2) El análisis por aprendizaje profundo realizado en este proyecto no arrojo nuevos descubrimientos y observaciones hechas en investigaciones realizadas por otros investigadores, pero si ha servido para corroborar algunos hallazgos que otros han encontrado ya sea mediante observación u otros análisis estadísticos tales como:

Las investigaciones en México han observado que las comunidades indígenas tienen mayor posibilidad de infección por COVID-19, dicha observación se puede corroborar con este proyecto al arrojar como resultado que una persona perteneciente a una comunidad indígenas tienen un 8% más de posibilidades de sufrir contagio y ser intubado, comparando esto con las observaciones obtenidas en la publicación del índice de vulnerabilidad municipal por COVID-19 [8]. Donde al buscar los municipios con más presencia de comunidades indígenas como el Mezquital, Dgo, se puede observar un mayor índice de contagio.

Otra observación que ha sido corroborada por esta investigación es sobre el estudio publicado el 26 de agosto de 2020 en la revista Nature y que ofrece posibles explicaciones biológicas de por qué los hombres son más propensos a padecer cuadros severos de la COVID-19 que las mujeres tal y como se muestra en los resultados de esta investigación.

3) La hipertensión sobre todo en adultos jóvenes juega un papel importante en la necesidad de uso de un ventilador, ya que al estar presente este padecimiento se tiene mayor posibilidad de tener que ser intubado.

4) Ser atendido en una Unidad de Cuidados Intensivos también juega un papel crítico, ya que aquellos que no tuvieron la posibilidad por diversas razones de ser atendidos en una Unidad de Cuidados Intensivos pero presentaron un caso grave de COVID-19 tiene hasta un 20% más de probabilidades de ser intubados, llegando hasta un 96% de posibilidad de ser intubado de acuerdo a los resultados encontrados.

5) Se puede observar desde un principio la deficiencia en algunos aspectos en la captura de datos de la DB proporcionada por el sistema nacional de epidemiología, se pondrá como ejemplo el estado de Durango (lugar de procedencia del autor) que cuenta con 39 municipios, la base de datos del COVID-19 cuenta con un código numérico para cada municipio del país, sin embargo en el estado de Durango durante la revisión de los datos se encontraron códigos correspondientes a municipios ajenos al estado, dichos errores claramente son humanos ya que si se buscan estos códigos en la base de datos se nota que los números pertenecen a municipios con nombres parecidos a municipios del estado mencionado.

6) Es fundamental que los pacientes ingresen a cuidados intensivos donde de acuerdo a los resultados y la experiencia de la doctora entrevistada, al parecer al ingresar al UCI, los pacientes recibirán mayor atención y medicamentos, siendo esto es un factor determinante en la posibilidad de usar respirador o no de acuerdo a la doctora, ya que en base a los resultados entre menores cuidados se tenga, al paso de los días aumentará más la posibilidad de usar ventilador.

7) Se confirma de acuerdo a la bibliografía [15] que las mujeres tiene un sistema inmunológico superior al del hombre, aunque varía entre 2% y 4% de acuerdo a la edad.

Cabe mencionar que todo el análisis anterior se realizó en pacientes no ambulatorios, es decir, pacientes hospitalizados en hospitales públicos y privados de México, por lo que estos resultados, conclusiones y observaciones pueden variar de país a país de acuerdo a distintos factores como estilo de vida.

5. Reconocimiento de autoría

Omar Fabián Rivera Ceniceros: Conceptualización, Ideas, Metodología, Análisis formal, Escritura y Borrador original; Administración del proyecto. Luis Alberto Ordaz Díaz: Ideas, Investigación, Escritura: revisión y edición.

Referencias

[1] Dirección general de Epidemiologia. Datos Abiertos Dirección General de Epidemiología, Internet: https://www.gob.mx/salud/documentos/datos-abiertos-152127 [7, enero, 2021].

[2] J. Pearce. (2020, Abril). "A Review of Open-Source Ventilators For COVID-19 And Future Pandemics,". F1000Research, 9:218. Disponible https://doi.org/10.12688/f1000research.22942.2, [Feb. 12, 2021].

[3] E. Tse, D. Klug y M. Todd. (2020, Oct.). "Open science approaches to COVID-19," F1000Research, 9:1043. Disponible: https://doi.org/10.12688/f1000research.26084.1, [Feb. 13,2020].

[4] A.Väänänen, K. Haataja, K. Vehviläinen-Julkunen y P. Toivanen. (2021, Marzo). "Proposal of a novel Artificial Intelligence Distribution Service platform for healthcare," F1000Research, 10:245. Disponible: https://doi.org/10.12688/f1000research.36775.1 [Abril 8, 2021].

[5] C. Castillo, C. Valdivia, C. Osorio et al. (2021, Enero). 4th ISCB Latin American Student Council Symposium: "A virtual and inclusive experience during COVID-19 times," F1000Research, 9:1460, Disponible: https://doi.org/10.12688/f1000research.28330.1 [Abril 15, 2021].

[6] M. Capistran, A. Capella, J. Christen (2020, Junio). "Forecasting hospital demand during COVID-19 pandemic outbreaks," arXiv:2006.01873, Disponible: https://arxiv.org/abs/2006.01873 [Enero 20, 2021].

[7] J. Rao, H. Zhang y A. Mantero. (2020, Mayo). "Contextualizing COVID-19 spread: a county level analysis, urban versus rural, and implications for preparing for the next wave". F1000Research, 9:418. Disponible: https://doi.org/10.12688/f1000research.23903.1 [Abril 15, 2021].

[8] R. Sierra. "Índice de vulnerabilidad municipal a COVID-19," CONABIO, CIMAT. Guanajuato. Reporte Técnico, Núm. 2, 14 de julio de 2020 [Abril 19, 2021].

[9] R. Casado. "Respiradores frente al COVID-19: Diferentes tipos para cada situación.". Revista EFE:SALUD, 24 de Abril de 2020 [Abril 19, 2021].

[10] RGT consultores. "El Sistema Respiratorio y el COVID-19", Internet: https://rgtconsultores.mx/blog/el-sistema-respiratorio-y-el-COVID-19-parte-1, 12 de mayo de 2020 [Diciembre 20, 2020].

[11] RGT consultores. "Ventiladores Mecánicos ante el COVID-19", Internet: https://rgtconsultores.mx/blog/ventiladores-mecanicos-ante-el-COVID-19, 20 de mayo de 2020 [Diciembre 20, 2020].

[12] R, Ortiz, (2020, Oct.). "Análisis métrico de la producción científica sobre COVID-19 en SCOPUS". Revista Cubana de Información en Ciencias de la Salud, vol.31 no.3 e1587. Epub 30 de octubre de 2020. Disponible: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132020000300002&lng=es&tlng=es. [Diciembre 17. 2020].

[13] J, VanderPlas. "Python Data Science Handbook ". O'Reilly Media, Inc., 2015, 1005 Gravenstein Highway North, Sebastopol, CA 95472. pp. 331-332, 359-462.

[14] A. Gulli, P. Sujit. "Deep Learning with Keras". Packt Publishing Ltd, 2017, Livery Place, 35 Livery Street, Birmingham, UK. pp. 368-422.

[15] M. Rodríguez. "COVID-19: ¿es el sistema inmunológico de las mujeres más robusto que el de los hombres? (y los interesantes hallazgos que se están dando por el coronavirus)". Internet: https://www.bbc.com/mundo/noticias-54344789. Octubre 2020, [Mayo 17, 2021].

[16] F. Petite, M. Rivera, J. San Miguel, Y. Malo., J. Flores, M. Cuartero (Abril 9, 2021). Initial findings in chest X-rays as predictors of worsening lung infection in patients with COVID-19: correlation in 265 patients. Radiology, S0033-8338(21)00081-3. Elsevier Public Health Emergency Collection. Advance online publication. https://doi.org/10.1016/j.rx.2021.03.004, [Mayo 17, 2021].

Librería	Versión
Python	3.6
Tensorflow	2.5.0
Keras	2.3.1
Numpy	1.19.5
Sklearn	0.22.2.post1
Seaborn	0.11.1