Las 10 Habilidades Más Importantes Para Un Científico De Datos

Rashi Desai
Apr 21, 2020

Contents Outline

Las 10 Habilidades Más Importantes Para Un Científico De Datos

Apr 21, 2020 13 minutes read



Para las vacaciones de invierno, tenía una lista de historias que quería escribir, ¡y esta era la que más me entusiasmaba! Porque yo también trabajé mucho para aprender las habilidades necesarias de Ciencia de Datos. Como alguien del campo de los datos, usted terminará leyendo y sabiendo muchas, muchas cosas.

A mi entender, la ciencia de los datos siempre ha sido la combinación de las herramientas más adecuadas para hacer el trabajo. Se trata de la extracción del conocimiento que hay en los datos para responder a una pregunta en particular. Para mí, en pocas palabras, la ciencia de datos es un poder que permite a las empresas y a las partes interesadas tomar decisiones informadas y resolver problemas con los datos.

Ahora bien, no todos los tecnólogos se apasionan por todas las habilidades, pero le entusiasmarán las habilidades de su área de trabajo. A medida que nos preparamos para las nuevas tendencias tecnológicas y los desafíos más significativos a resolver, es esencial que establezcamos nuestra base.

Sin ningún orden en particular, ¡conozcamos las 10 habilidades para un Científico de Datos en 2020!

1. Probabilidad y Estadística
La Ciencia de Datos trata sobre el uso de procesos, algoritmos o sistemas para extraer conocimiento, percepciones y tomar decisiones informadas a partir de los datos. En este caso, hacer inferencias, estimar o predecir forman una parte importante de la Ciencia de Datos.

La probabilidad con la ayuda de métodos estadísticos ayuda a hacer estimaciones para análisis posteriores. La estadística depende en gran medida de la teoría de la probabilidad. En pocas palabras, ambas están entrelazadas.

¿Qué puede usted hacer con probabilidad y estadística en ciencia de datos?
  1. Explorar y entender más sobre los datos
  2. Identificar las relaciones o dependencias subyacentes que pueden existir entre dos variables
  3. Predecir la tendencia futura o pronosticar una derivada basada en las tendencias de los datos anteriores
  4. Determinar las pautas o el motivo de los datos
  5. Descubrir anomalías en los datos

Especialmente en el caso de las empresas basadas en datos, en las que los interesados dependen de los datos para la adopción de decisiones y el diseño/evaluación de los modelos de datos, la probabilidad y las estadísticas son parte integrante de la ciencia de datos.

2. Cálculo multivariable y álgebra lineal
La mayoría del machine learning y de los modelos de ciencia de datos, invariablemente se construyen con varios predictores o variables desconocidas. El conocimiento del cálculo multivariable es significativo para construir un modelo de aprendizaje automático. Estos son algunos de los temas de matemáticas con los que debes estar familiarizado para trabajar en la ciencia de datos:

  1. Derivadas y gradientes
  2. Función de paso, función sigmoide, función de logit, función ReLU (unidad lineal rectificada)
  3. Función de costo (la más importante)
  4. Trazado de funciones
  5. Valores mínimos y máximos de una función
  6. Funciones escalares, vectoriales, matriciales y tensoriales

3. Programación, paquetes y programas
¡Por supuesto! La ciencia de datos se basa esencialmente en programación. Las habilidades de programación para la Ciencia de Datos reúne todas las habilidades fundamentales necesarias para transformar los datos en bruto en conocimientos accionables. Aunque no hay una regla específica sobre la selección del lenguaje de programación, Python y R son los más favorecidos.

No soy una persona religiosa en cuanto a las preferencias de lenguajes de programación o plataformas. Los científicos de datos eligen un lenguaje de programación que sirva para la necesidad de una declaración de problemas. Python, sin embargo, parece haberse convertido en lo más cercano a una panacea para la ciencia de los datos.

Lea más acerca de las 10 principales bibliotecas python para la ciencia de los datos aquí.
Sin ningún orden en particular, aquí hay una lista de lenguajes de programación y algunos paquetes para la Ciencia de Datos a elegir:

  1. Python
  2. R
  3. SQL
  4. Java
  5. Julia
  6. Scala
  7. MATLAB
  8. TensorFlow (genial para la ciencia de datos en Python)

Todo lo que hay a continuación es sobre código. La Ciencia de Datos, sin familiaridad con la experiencia o el conocimiento de código puede ser un poco difícil. Yo por lo tanto, prefiero refrescar mis habilidades en Python primero, leer la literatura sobre el proyecto en el que estaré trabajando y luego empezar a construir el código.

4. Exploración de datos
A menudo los datos que una empresa adquiere o recibe no están listos para ser modelados. Por lo tanto, es imperativo entender y saber cómo tratar las imperfecciones de los datos.

El Data Wrangling es el proceso en el que se preparan los datos para su posterior análisis; transformando y mapeando los datos en bruto de un formulario a otro para preparar los datos para su comprensión. Para la exploración de datos, básicamente se adquieren datos, se combinan los campos relevantes, y luego se limpian los datos.

¿Qué puedes hacer con la "Exploración de datos en la ciencia de datos"?

  1. Revelar una inteligencia profunda dentro de sus datos mediante la recopilación de datos de múltiples canales
  2. Proporcionar una representación muy precisa de los datos procesables en manos de los empresarios y analistas de datos en un asunto oportuno
  3. Reducir el tiempo de procesamiento, el tiempo de respuesta y el tiempo dedicado a reunir y organizar datos desordenados antes de que puedan ser utilizados
  4. Permitir que los científicos de datos se centren más en el análisis de los datos, en lugar de la parte de la limpieza
  5. Dirigir el proceso de toma de decisiones basado en datos en una dirección apoyada por datos precisos

5. Gestión de bases de datos
Para mí, los científicos de datos son personas diferentes. Tienen que saber matemáticas, estadística, programación, manejo de datos, visualización, y ser un cientifico de datos "full stack".

Como mencioné antes, el 80% del trabajo se dedica a preparar los datos para su procesamiento en un entorno industrial. Con montones y grandes trozos de datos en los que trabajar, es fundamental que un científico de datos sepa cómo gestionar esos datos.

La administración de bases de datos consiste esencialmente en un grupo de programas que pueden editar, indexar y manipular la base de datos. El DBMS acepta una solicitud de datos de una aplicación e instruye al sistema operativo para que proporcione los datos específicos requeridos. En los sistemas grandes, un SGBD ayuda a los usuarios a almacenar y recuperar datos en un momento dado.

¿Qué se puede hacer con la Administración de Bases de Datos para la Ciencia de los Datos?

  1. Definir, recuperar y administrar los datos de una base de datos
  2. Manipular los datos en sí, el formato de los datos, los nombres de los campos, la estructura de los registros y la estructura de los archivos
  3. Define las reglas para escribir, validar y probar los datos
  4. Operar a nivel de registro de la base de datos
  5. Apoyar el entorno multiusuario para acceder y manipular los datos en paralelo
  6. Algunos de los populares DBMS incluyen: Bases de datos MySQL, SQL Server, Oracle, IBM DB2, PostgreSQL y NoSQL (MongoDB, CouchDB, DynamoDB, HBase, Neo4j, Cassandra, Redis)

6. Visualización de datos
¿Qué significa la visualización de datos? Para mí, es una representación gráfica de los hallazgos de los datos en cuestión. Las visualizaciones comunican de forma efectiva y llevan la exploración a la conclusión.

La visualización da el poder de elaborar una historia a partir de los datos y crear una presentación completa. La Visualización de Datos es una de las habilidades más esenciales porque no se trata sólo de representar los resultados finales, sino también de entender y aprender de los datos y su vulnerabilidad.

Siempre es mejor representar las cosas visualmente; el valor real está bien establecido y comprendido. Cuando creo una visualización, estoy seguro de que obtengo información significativa, lo que puede ser sorprendente ya que tiene el poder de influir en el sistema.

Histogramas, gráficos de barras, gráficos circulares, gráficos de dispersión, gráficos lineales, series de tiempo, mapas de relación, mapas de calor, mapas geográficos, gráficos en 3-D, y una larga lista de visualizaciones puedes usar para tus datos. Para una lista más detallada, visite aquí.

¿Qué puede hacer con la visualización de datos para la ciencia de los datos?
  1. Trazar los datos para una poderosa comprensión (¡por supuesto! 😀)
  2. Determinar las relaciones entre las variables desconocidas
  3. Visualizar las áreas que necesitan atención o mejora
  4. Identificar los factores que influyen en el comportamiento del cliente
  5. Comprender qué productos colocar y donde
  6. Mostrar las tendencias de las noticias, conexiones, sitios web, medios sociales
  7. Visualizar el volumen de información
  8. Informes de clientes, rendimiento de los empleados, mapeo de ventas trimestrales
  9. Idear una estrategia de marketing dirigida a los segmentos de usuarios

Algunas de las herramientas de visualización de datos más populares incluyen: Tableau, PowerBI, QlikView, Google Analytics (para la Web), MS Excel, Plotly, Fusion Charts, SAS

7. Machine Learning / Deep Learning
Si trabajas con una empresa que gestiona y opera con grandes cantidades de datos, donde el proceso de toma de decisiones está centrado en los datos, puede darse el caso de que una habilidad exigida sea el aprendizaje automático. El ML es un subconjunto del ecosistema de la Ciencia de Datos, al igual que la Estadística o la Probabilidad que contribuye a la modelización de los datos y a la obtención de resultados.

El Aprendizaje Automático para la Ciencia de Datos incluye algoritmos que son centrales para el ML; K-nearest Neighbors, Random Forest, Naibe Bayes, Modelos de regresión. 

PyTorch, TensorFlow, Keras también encuentran su utilidad en Machine Learning para Data Science

¿Qué puedes hacer con el aprendizaje automático para la ciencia de los datos?
  1. Detección y gestión de fraudes y riesgos
  2. Salud (uno de los campos de la Ciencia de Datos en auge! Genética, Genómica, Análisis de imágenes)
  3. Planificación de rutas de aerolíneas
  4. Filtrado automático de spam
  5. Sistemas de reconocimiento facial y de voz
  6. Respuesta de voz interactiva mejorada (IVR)
  7. Reconocimiento y traducción integral de idiomas y documentos

8. Computación en la nube
La práctica de la ciencia de datos suele incluir el uso de productos y servicios de computación en la nube para ayudar a los profesionales de los datos a acceder a los recursos necesarios para gestionar y procesar los datos. [customerthink.com] Un papel cotidiano de un científico de datos generalmente incluye el análisis y la visualización de los datos que se almacenan en la nube.

Usted puede haber leído que la ciencia de datos y la computación en ls nube van de la mano, típicamente porque la computación en la nube le da una mano a los científicos de datos para usar plataformas como AWS, Azure, Google Cloud que provee acceso a bases de datos, frameworks, lenguajes de programación y herramientas operacionales.

Familiarizado con el hecho de que la ciencia de datos incluye la interacción con grandes volúmenes de datos, dado el tamaño y la disponibilidad de las herramientas y plataformas, la comprensión del concepto de la nube y la computación en nube no es sólo una habilidad pertinente sino crítica para un científico de datos.

¿Qué se puede hacer con la computación en nube para la ciencia de los datos?
  1. Adquisición de datos
  2. Analizar, explorar, transformar, analizar y limpiar los datos...
  3. Minería de datos [Análisis de datos de exploración (EDA), estadísticas de resumen, ...]
  4. Validar y probar los modelos de predicción, los sistemas de recomendación y tales modelos
  5. Ajustar las variables de datos y optimizar el rendimiento del modelo
Algunas plataformas de nube populares para la Ciencia de Datos incluyen AWS, Windows Azure, Google Cloud, o IBM Cloud. También leí hace algún tiempo que la gente ahora está experimentando con la Nube de Alibaba y que suena interesante.

9. Microsoft Excel
Sabemos que MS Excel es probablemente una de las mejores y más populares herramientas para trabajar con datos. Podríamos estar escuchando, "Oye, ¿recibiste el envío del jefe de Excel? Espera, ¿no estamos discutiendo las habilidades para la Ciencia de los Datos? ¿Excel? Siempre me he preguntado si debe haber alguna forma fácil de manejar datos. Con el tiempo, explorando Excel para el manejo de datos, me di cuenta, Excel es:

  • El mejor editor de datos 2D
  • Una plataforma fundamental para el análisis avanzado de datos
  • Obtener una conexión en vivo a una hoja de Excel en Python
  • Puedes hacer lo que quieras, cuando quieras y guardar tantas versiones como prefieras
  • La manipulación de los datos es relativamente fácil
La mayoría de las personas no técnicas de hoy en día suelen utilizar Excel como sustituto de la base de datos. Puede ser un uso erróneo porque carece de control de versiones, precisión, reproductibilidad o mantenibilidad hasta cierto punto. Sin embargo, lo que puede hacer Excel es algo sorprendente también!

¿Qué puede hacer con Excel para la ciencia de los datos?
  1. Nombrar y crear rangos
  2. Archivar, clasificar, fusionar, recortar datos
  3. Crear tablas pivot y gráficos
  4. Visual Basic for Applications (VBA) [Búscalo en Google si no lo sabes ya. Es una superpotencia de MS Excel, y este espacio no hará justicia a su explicación. VBA es el lenguaje de programación de Excel que te permite ejecutar bucles, macros, si...]
  5. Limpiar los datos: eliminar los valores duplicados, cambiar las referencias entre absolutas, mixtas y relativas
  6. La búsqueda de los datos necesarios entre miles de registros

10. DevOps
Siempre he oído y creído que la Ciencia de los Datos es para alguien que sabe de matemáticas, estadística, algoritmos y manejo de datos. Ahora, hace algún tiempo, conocí a alguien con más de 6 años de experiencia en el núcleo de DevOps buscando un cambio de carrera a la Ciencia de Datos.

Si tienes estas 10 habilidades, y te sientes listo para un trabajo en data science, busca aquí diferentes posibilidades.

No sé mucho (en realidad, nada) sobre el DevOps, pero una cosa era segura: La creciente importancia del DevOps para la Ciencia de Datos.

DevOps es un conjunto de métodos que combina el desarrollo de software y las operaciones de TI que tiene como objetivo acortar el ciclo de vida del desarrollo y proporcionar una entrega ininterrumpida con alta calidad de software.

Los equipos de DevOps trabajan estrechamente con los equipos de desarrollo para gestionar el ciclo de vida de las aplicaciones de forma eficaz. La transformación de datos exige una estrecha colaboración de los equipos de ciencias de datos con DevOps. Se espera que el equipo de DevOps proporcione grupos de alta disponibilidad de Apache Hadoop, Apache Kafka, Apache Spark y Apache Airflow para abordar la extracción y transformación de datos.

¿Qué se puede hacer con DevOps para la ciencia de  datos?
  1. Suministrar, configurar, escalar y gestionar los clusters de datos
  2. Gestionar la infraestructura de la información mediante la integración, el despliegue y la supervisión continuos de los datos
  3. Crear scripts para automatizar el aprovisionamiento y la configuración de la base para una variedad de entornos.

¡Gracias por leer! Espero que hayan disfrutado del artículo. Hágame saber qué habilidad desea aprender o explorar en su viaje de Ciencias de los Datos.

Related Posts

Métricas De Evaluación De Modelos En El Aprendizaje Automático

Categories

Data Science Machine Learning Deep learning Flask Deployment Big Data Business Python SQL Programming Libraries Jupyter Numpy News Pandas Matplotlib Visualization Datathons

Join Competition

Credit Card Fraud Detection Challenge

Code the Light Fantastic- Final Level 3

Most Related Articles

Data Science
Machine Learning
Métricas De Evaluación De Modelos En El Aprendizaje Automático

CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline  #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad  proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos  y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y):    intersection_cardinality = len(set(x).intersection(set(y)))    union_cardinality = len(set(x).union(set(y)))    return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python  del Kolmogorov-Smirnov.from scipy.stats import kstest import random   # N = int(input("Enter number of random numbers: ")) N = 10  actual =[] print("Enter outcomes: ")   for i in range(N):     # x = float(input("Outcomes of class "+str(i + 1)+": "))     actual.append(random.random())   print(actual) x = kstest(actual, "norm")    print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!

Join our private community in Discord

Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!

Join our Discord