La falta de datos es un problema cotidiano con el que un profesional de los datos tiene que lidiar. Aunque hay muchos artículos, blogs, videos ya disponibles, encontré difícil encontrar una información consolidada concisa en un solo lugar. Por eso estoy poniendo mi esfuerzo aquí, esperando que sea útil para cualquier profesional o entusiasta de los datos.

¿Qué son datos faltantes? Los datos faltantes se definen como valores que no están disponibles y que serían significativos si se observan. Los datos faltantes pueden ser cualquier cosa, desde una secuencia, una característica incompleta, archivos faltantes, información incompleta, errores en datos de entrada, etc. La mayoría de los conjuntos de datos en el mundo real contienen datos faltantes. Antes de poder utilizar la información con campos de datos faltantes, es necesario transformar esos campos para que puedan ser utilizados para el análisis y el modelado. Como muchos otros aspectos de la ciencia de los datos, esto también puede ser en realidad más arte que ciencia. Entender los datos y el campo del que provienen es muy importante.

Tener valores faltantes en los datos no es necesariamente un contratiempo, sino una oportunidad para realizar una correcta ingeniería de características para guiar al modelo a interpretar la información perdida de manera correcta. Existen algoritmos y paquetes de aprendizaje automático que pueden detectar y tratar automáticamente los datos perdidos, pero aún así se recomienda transformar los datos faltantes manualmente mediante el análisis y estrategias de código.  Primero, necesitamos entender cuáles son los tipos de datos que faltan. La falta de datos se clasifica ampliamente en 3 categorías:

Cuando decimos que faltan datos completamente al azar, queremos decir que la falta de datos no tiene nada que ver con la observación que se estudia (Variable Completamente Observada (X) y Variable Parcialmente Faltante (Y)). Por ejemplo, una balanza que se ha quedado sin pilas, un cuestionario que se ha perdido en el correo, o una muestra de sangre que se ha dañado en el laboratorio. Los datos que faltan completamente al azar son una suposición ideal pero poco razonable. Por lo general, se considera que los datos son MCAR cuando faltan datos por diseño, debido a un fallo del equipo o porque las muestras se pierden en tránsito o son técnicamente insatisfactorias. La ventaja estadística de los datos MCAR es que el análisis permanece imparcial. Una vista pictórica de MCAR es la que se muestra a continuación donde la falta de datos no tiene relación con las variables del conjunto de datos X o Y. La falta de datos no está relacionada con X o Y sino con alguna otra razón Z.

Exploremos un ejemplo de datos móviles. Aquí una muestra tiene un valor faltante que no se debe a las variables del conjunto de datos sino a otra razón.

Cuando decimos que faltan datos al azar, queremos decir que los datos que faltan en una variable parcialmente faltante (Y) están relacionados con algunas otras variables completamente observadas (X) en el modelo de análisis, pero no con los valores de Y en sí.

Esto no está específicamente relacionado con la información que falta. Por ejemplo, si un niño no asiste a un examen porque está enfermo, esto podría ser predecible a partir de otros datos que tenemos sobre la salud del niño, pero no estaría relacionado con lo que habríamos examinado si el niño no estuviera enfermo. Algunos pueden pensar que el MAR no presenta un problema. Sin embargo, MAR no significa que los datos que faltan puedan ser ignorados. Una vista gráfica de MAR como la que se muestra a continuación, donde la falta de datos tiene relación con la variable X del conjunto de datos, pero no con la Y. También puede tener otra relación (Z).

Si los caracteres de los datos no coinciden con los de MCAR o MAR, entonces entran en la categoría de faltantes no al azar (MNAR). Cuando los datos faltan no al azar, la falta está específicamente relacionada con lo que falta, por ejemplo, una persona no asiste a una prueba de drogas porque la persona tomó drogas la noche anterior, una persona no tomó la prueba de competencia en inglés debido a su baja habilidad en el idioma inglés. Los casos de los datos del MNAR son problemáticos. La única forma de obtener una estimación no sesgada de los parámetros en ese caso es modelar los datos que faltan, pero eso requiere una comprensión adecuada y un conocimiento del dominio de la variable que falta. El modelo puede entonces incorporarse a uno más complejo para estimar los valores faltantes. 

Una vista gráfica del MNAR es mostrada a continuación, donde la falta de datos tiene una relación directa con la variable Y. También puede tener otra relación (X y Z).

Hay varias estrategias que pueden aplicarse para manejar los datos faltantes para hacer el Modelo Estadístico/Aprendizaje Automático.

Cómo pensar acerca de los datos 

Esto puede ser posible en la fase de recopilación de datos en una situación similar a una encuesta, en la que se puede comprobar si los datos de la encuesta se han capturado en su totalidad antes de que el encuestado abandone la habitación. A veces puede ser posible llegar a la fuente para obtener los datos como volver a hacer la pregunta que falta para obtener una respuesta. En el escenario del mundo real, esta es una forma muy poco probable de resolver el problema de los datos faltantes.

Suena arbitrario y nunca es la acción preferida, pero a veces se puede inferir un valor faltante basado en otra respuesta. Para preguntas relacionadas, por ejemplo, como las que se suelen presentar en una matriz, si el participante responde a todo con "2", se asume que el valor que falta es un 2.

El enfoque más común de los datos que faltan es simplemente omitir los casos con los datos que faltan y analizar los datos restantes. Este enfoque se conoce como el análisis de casos completos (o casos disponibles) o la eliminación de listas.

Si hay una muestra lo suficientemente grande, en la que la potencia no es un problema, y se cumple el supuesto de datos faltantes completamente al azar, la eliminación de la lista puede ser una estrategia razonable. Sin embargo, cuando no hay una muestra grande, o no se cumple el supuesto de datos faltantes completamente al azar, la supresión de datos de la no es la estrategia óptima. También introduce un sesgo si no se cumple el supuesto de datos faltantes completamente al azar. 

Véase a continuación la observación de la muestra después de la supresión

En este caso, sólo se ignoran las observaciones faltantes y se hace un análisis de las variables presentes. Si hay datos que faltan en otra parte del conjunto de datos, se utilizan los valores existentes. Dado que una supresión por pares utiliza toda la información observada, conserva más información que la eliminación de la lista

Se sabe que la eliminación por pares está menos sesgada para los datos faltantes completamente al azar o faltantes al azar. Sin embargo, si hay muchas observaciones que faltan, el análisis será deficiente. El problema de la supresión por pares es que, aunque se toman los casos disponibles, no se pueden comparar los análisis porque la muestra es diferente cada vez.

Si faltan demasiados datos para una variable, puede ser una opción eliminar la variable o la columna del conjunto de datos. No hay una regla de oro para esto, pero depende de la situación y se necesita un análisis adecuado de los datos antes de eliminar la variable por completo. Esta debería ser la última opción y es necesario comprobar si el rendimiento del modelo mejora tras la eliminación de la variable.

El objetivo de cualquier técnica de imputación es producir un dataset completo que después pueda ser utilizado para el aprendizaje automático. Hay pocas formas en que podemos hacer imputación para retener todos los datos para el análisis y construir el modelo.

En esta técnica de imputación el objetivo es sustituir los datos que faltan por estimaciones estadísticas de los valores que faltan. La media, la mediana o la moda pueden utilizarse como valor de imputación.

En una sustitución de la media, se utiliza el valor medio de una variable en lugar del valor de los datos que faltan para esa misma variable. Esto tiene la ventaja de no cambiar la media de la muestra para esa variable. El fundamento teórico de la sustitución de la media es que la media es una estimación razonable para una observación seleccionada al azar de una distribución normal. Sin embargo, con valores faltantes que no son estrictamente aleatorios, especialmente en presencia de una gran desigualdad en el número de valores faltantes para las diferentes variables, el método de sustitución de la media puede dar lugar a un sesgo de inconsistencia. La distorsión de la varianza original y la distorsión de la covarianza con las variables restantes del conjunto de datos son dos de los principales inconvenientes de este método.

La mediana puede utilizarse cuando la variable tiene una distribución sesgada.

El fundamento de la Moda es sustituir la población de valores faltantes por el valor más frecuente, ya que es el de más probabilidad de ocurrencia

Si los datos son datos de series temporales, uno de los métodos de imputación más utilizados es el de la última observación llevada hacia adelante (LOCF). Cuando falta un valor, se sustituye por el último valor observado. La ventaja de este método es que es fácil de entender y comunicar. Aunque es sencillo, este método supone firmemente que el valor del resultado permanece inalterado por los datos que faltan, lo que parece poco probable en muchos entornos.

Un enfoque similar como el LOCF que funciona en la dirección opuesta tomando la primera observación después del valor que falta y llevándola hacia atrás ("next observation carried backward", o NOCB).

La interpolación es un método matemático que ajusta una función a los datos y utiliza esta función para extrapolar los datos que faltan. El tipo más simple de interpolación es la interpolación lineal, que hace una media entre los valores anteriores a los datos que faltan y el valor posterior. Por supuesto, podríamos tener un patrón bastante complejo en los datos y la interpolación lineal podría no ser suficiente. Hay varios tipos diferentes de interpolación. Sólo en Pandas tenemos las siguientes opciones como: "lineal", "tiempo", "índice", "valores", "más cercano", "cero", "lineal", "cuadrático", "cúbico", "polinomio", "spline", "polinomio por piezas" y muchas más .

Para una escala de clasificación, usar el punto medio o el valor más comúnmente escogido. Por ejemplo, en una escala de cinco puntos, sustituya un 3, el punto medio, o un 4, el valor más común (en muchos casos). Es similar al valor medio pero más adecuado para valores ordinales.

Este es quizás el método más utilizado para la imputación de datos faltantes para las variables categóricas. Este método consiste en tratar los datos faltantes como si fueran una etiqueta o categoría adicional de la variable. Todas las observaciones faltantes se agrupan en una nueva etiqueta "faltantes". No asume nada sobre la falta de los valores. Es muy adecuado cuando el número de datos que faltan es alto.

La sustitución de los valores perdidos por la categoría más frecuente es el equivalente de la imputación media/mediana/moda. Consiste en sustituir todas las ocurrencias de valores perdidos dentro de una variable por la etiqueta o categoría más frecuente de la variable.

La imputación de valores arbitrarios consiste en sustituir todas las ocurrencias de valores faltantes dentro de una variable con un valor arbitrario. Lo ideal es que el valor arbitrario sea diferente de la mediana/medio/moda, y no dentro de los valores normales de la variable. Los valores arbitrarios utilizados habitualmente son 0, 999, -999 (u otras combinaciones de 9’s o -1 (si la distribución es positiva). A veces los datos ya contienen un valor arbitrario del originador para los valores que faltan. Esto funciona razonablemente bien para las características numéricas que tienen un valor predominantemente positivo, y para los modelos basados en árboles en general. Éste solía ser un método más común en el pasado, cuando las bibliotecas y algoritmos de aprendizaje automático que se utilizaban no eran muy hábiles para trabajar con datos faltantes.

Cuando los datos no faltan completamente al azar, podemos captar la importancia de los faltantes creando una variable adicional que indique si los datos faltan para esa observación (1) o no (0). La variable adicional es una variable binaria: toma sólo los valores 0 y 1, 0 indica que había un valor para esa observación, y 1 indica que faltaba el valor para esa observación. Típicamente, la imputación de la media/mediana se hace junto con la adición de una variable para capturar aquellas observaciones en las que faltaban los datos.

La imputación por muestreo aleatorio es en principio similar a la imputación media/mediana/moda, en el sentido de que tiene por objeto preservar los parámetros estadísticos de la variable original, para la que faltan datos. El muestreo aleatorio consiste en tomar una observación aleatoria del conjunto de observaciones disponibles de la variable y utilizar ese valor extraído al azar para llenar la N/A. En el muestreo aleatorio se toman tantas observaciones aleatorias como valores faltantes haya en la variable. La imputación de la muestra aleatoria supone que los datos faltan completamente al azar (MCAR). Si este es el caso, tiene sentido sustituir los valores perdidos por valores extraídos de la distribución de la variable original.

La Imputación Múltiple (Multiple Imputation) es una técnica estadística para manejar los datos que faltan. El concepto clave de la imputación múltiple es utilizar la distribución de los datos observados para estimar un conjunto de valores que hagan sentido para los datos que faltan. En estos valores estimados se incorporan componentes aleatorios para mostrar su incertidumbre. Se crean múltiples datasets que luego se analizan individualmente pero de forma idéntica para obtener un conjunto de estimaciones de parámetros. Las estimaciones se combinan para obtener un conjunto de parámetros estimados. Como una forma flexible de manejar más de una variable faltante, se aplica un enfoque de Imputación Múltiple por Ecuaciones Encadenadas (MICE). La ventaja de la imputación múltiple es que, además de restablecer la variabilidad natural de los valores que faltan, incorpora la incertidumbre debida a los datos que faltan, lo que da lugar a una inferencia estadística válida. Consulte la sección de referencia para obtener más información sobre el MI y el MICE. A continuación se muestra una representación esquemática de MICE.

Esto debería hacerse junto con algún tipo de esquema de validación cruzada para evitar fugas. Esto puede ser muy efectivo y puede ayudar con el modelo final. Hay muchas opciones para tal modelo predictivo, incluyendo la red neuronal. Aquí estoy enumerando algunas que son muy populares.

En la imputación por regresión, las variables existentes se utilizan para hacer una predicción, y luego el valor predicho se sustituye como si fuera un valor real obtenido. Este enfoque tiene varias ventajas, porque la imputación retiene una gran cantidad de datos sobre la eliminación de la lista o la eliminación por pares y evita alterar significativamente la desviación estándar o la forma de la distribución. Sin embargo, como en una sustitución con la media, mientras que una imputación de regresión sustituye un valor que se predice a partir de otras variables, no se añade ninguna información nueva, mientras que el tamaño de la muestra se ha aumentado y el error estándar se reduce.

El bosque aleatorio es un método de imputación no paramétrico aplicable a varios tipos de variables que funciona bien tanto con datos que faltan al azar como con datos que no faltan al azar. El bosque aleatorio utiliza múltiples árboles de decisión para estimar los valores perdidos y produce estimaciones de error de imputación OOB (out of bag). Una advertencia es que el bosque aleatorio funciona mejor con datasets grandes y el uso del bosque aleatorio datasets pequeños corre el riesgo de generar sobreajuste.

k-NN imputa los valores de los atributos que faltan en base al vecino K más cercano. Los vecinos se determinan en base a la medida de la distancia. Una vez que se determinan los K vecinos, los valores faltantes son imputados tomando la media/mediana o moda de los valores conocidos del atributo

Hay varias estrategias que utilizan el método de máxima probabilidad para manejar los datos faltantes. En ellas, la suposición de que los datos observados son una muestra extraída de una distribución normal multivariante es relativamente fácil de entender. Una vez los parámetros son estimados usando los datos disponibles, los datos faltantes  se estiman sobre la base de los parámetros que acaban de ser estimados.

La maximización de la expectativa (Expectation Maximization) es un tipo de método de máxima probabilidad que puede utilizarse para crear un nuevo dataset, en el que todos los valores que faltan son imputados con valores estimados por los métodos de máxima probabilidad. Este enfoque comienza con el paso de expectativas, durante el cual se estiman los parámetros (por ejemplo, varianzas, covarianzas y medias), tal vez utilizando la eliminación de la lista.

Esas estimaciones se utilizan luego para crear una ecuación de regresión para predecir los datos que faltan. En el paso de maximización se utilizan esas ecuaciones para completar los datos que faltan. El paso de expectativa se repite luego con los nuevos parámetros, donde se determinan las nuevas ecuaciones de regresión para "rellenar" los datos que faltan. Los pasos de expectativa y maximización se repiten hasta que el sistema se estabiliza.

El análisis de sensibilidad se define como el estudio de cómo la incertidumbre en la salida de un modelo puede asignarse a las diferentes fuentes de incertidumbre en sus entradas. Al analizar los datos que faltan, se hacen supuestos adicionales sobre las razones de los datos que faltan, y estos supuestos suelen ser aplicables al análisis primario. Sin embargo, los supuestos no pueden validarse definitivamente para su corrección. Por lo tanto, el Consejo Nacional de Investigación ha propuesto que se realice el análisis de sensibilidad para evaluar la solidez de los resultados frente a las desviaciones de la suposición de datos faltantes al azar

No todos los algoritmos fallan cuando faltan datos. Hay algoritmos que son robustos a los datos faltantes, como k-Vecinos más cercanos que puede ignorar una columna de una medida de distancia cuando falta un valor. También hay algoritmos que pueden utilizar el valor que falta como un valor único y diferente cuando se construye el modelo de predicción, como los árboles de clasificación y  regresión. Un algoritmo como XGBoost toma en consideración cualquier dato que falte. Si su imputación no funciona bien, pruebe un modelo que sea robusto con datos faltantes

La falta de datos reduce la potencia de un modelo. Se espera alguna cantidad de datos faltantes, y el tamaño de la muestra objetivo se incrementa para permitirlo. Sin embargo, esto no puede eliminar el posible sesgo. Se debe prestar más atención a los datos que faltan en el diseño y la realización de los estudios y en el análisis de los datos resultantes.

La aplicación de las técnicas del modelo de aprendizaje automático sólo debe realizarse después de que se hayan realizado los máximos esfuerzos para reducir los datos que faltan en el diseño y las técnicas de prevención.

Se recomienda encarecidamente un análisis estadísticamente válido que tenga mecanismos y supuestos apropiados para los datos que faltan. La mayor parte de la técnica de imputación puede causar sesgos. Es difícil saber si la imputación múltiple o la estimación de máxima probabilidad completa es la mejor, pero ambas son superiores a los enfoques tradicionales. Ambas técnicas son buenas prácticas con muestras grandes. En general, la imputación múltiple es un buen enfoque cuando se analizan conjuntos de datos con datos faltantes.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3668100/
https://leportella.com/english/2019/01/14/interpolation.html
https://www.researchgate.net/publication/220579612_Missing_Data_Imputation_Techniques
http://www.stat.columbia.edu/~gelman/arm/missing.pdf

Gracias por leer, puedes contactarme en @ LinkedIn .