12 Proyectos Geniales De Data Science Para Principiantes Y Expertos

Admond Lee
Oct 30, 2020

Contents Outline

12 Proyectos Geniales De Data Science Para Principiantes Y Expertos

Oct 30, 2020 14 minutes read

"¿Cuántos proyectos de ciencia de datos ha completado hasta ahora?"

El dominio de la Ciencia de Datos trae consigo una variedad de herramientas, procesos, algoritmos y sistemas de extracción de datos estructurados y no estructurados por igual, para identificar patrones significativos en ella.

La Ciencia de Datos ha estado en auge durante los últimos dos años, empujado por la Inteligencia Artificial y debido a las diversas innovaciones, que la ayudarán a llevarla aún más lejos y al siguiente nivel. A medida que más industrias empiezan a darse cuenta del poder de la Ciencia de Datos, más oportunidades surgen en el mercado.

Si te gusta la Ciencia de Datos y estás ansioso por tener un sólido conocimiento de la tecnología, ahora es un buen momento para perfeccionar tus habilidades. El propósito de escribir este artículo es compartir algunas ideas prácticas para su próximo proyecto, que no sólo aumentará su confianza en la Ciencia de Datos sino que también jugará un papel crítico en la mejora de sus habilidades.

Puedes leer más artículos de Data Science en español aquí 

Los datos realmente impulsan todo lo que hacemos.
- Jeff Weiner

Proyectos interesantes de ciencia de datos


Entender la ciencia de datos puede ser bastante confuso al principio, pero con una práctica constante, pronto se puede empezar a comprender las diversas nociones y terminologías del tema. La mejor manera de ganar más exposición a la Ciencia de Datos, aparte de revisar la literatura, es tomar algunos proyectos útiles que no sólo lo mejorarán, sino que también harán su currículum vitae más impresionante.

En esta sección, compartiremos un puñado de ideas de proyectos divertidos e interesantes con usted, que se extienden a todos los niveles de habilidad, desde principiantes, intermedios y expertos.

Pero antes de sumergirte en esto también puedes ver algunas ideas de proyectos python para desarrolladores de python aquí -


1. Construyendo Chatbots

Lenguaje: Python
Conjunto de datos: Intents archivo JSON
Código fuente: Construye tu primer proyecto de Chatbot en Python

Los chatbots juegan un papel fundamental para las empresas, ya que pueden manejar sin esfuerzo un aluvión de consultas y mensajes de los clientes sin ningún tipo de ralentización. Han reducido por sí mismos la carga de trabajo del servicio de atención al cliente para nosotros, automatizando la mayor parte del proceso. Lo hacen utilizando técnicas respaldadas por la Inteligencia Artificial, el Aprendizaje Automático y la Ciencia de los Datos.

Los chatbots trabajan analizando la información del cliente y respondiendo con una respuesta mapeada apropiada. Para entrenar al chatbot, se pueden usar Redes Neuronales Recurrentes con el conjunto de datos JSON intencionados mientras que la implementación puede ser manejada usando Python. Si quieres que tu chatbot sea de dominio específico o de dominio abierto depende de su propósito. A medida que estos chatbots procesan más interacciones, su inteligencia y precisión también aumentan.

Leat Tambien: Las 5 Principales Razones Para Volverse Cientifico De Datos En 2020


2. Detección de fraude con tarjetas de crédito




Lenguaje: R o Python
Conjunto de datos: Los datos sobre la transacción de las tarjetas de crédito se utilizan aquí como un conjunto de datos.
Código fuente: Detección de fraude de tarjetas de crédito usando Python

Los fraudes con tarjetas de crédito son más comunes de lo que crees, y últimamente, han estado en el punto más alto. Hablando en sentido figurado, estamos en camino de cruzarnos con mil millones de usuarios de tarjetas de crédito para finales de 2022. Pero gracias a las innovaciones en tecnologías como la Inteligencia Artificial, el Aprendizaje Automático y la Ciencia de Datos, las compañías de tarjetas de crédito han sido capaces de identificar e interceptar con éxito estos fraudes con suficiente precisión.

En pocas palabras, la idea detrás de esto es analizar el comportamiento de gasto habitual del cliente, incluyendo el mapeo de la ubicación de esos gastos para identificar las transacciones fraudulentas de las no fraudulentas. Para este proyecto, se puede usar R o Python con el historial de transacciones del cliente como conjunto de datos e ingerirlo en árboles de decisión, redes neuronales artificiales y regresión logística. A medida que alimentas más datos a tu sistema, deberías ser capaz de aumentar su precisión general.

Puedes leer más artículos de Data Science en español aquí 



3. Detección de noticias falsas

Lenguaje: Python
Conjunto de datos/paquetes: news.csv
Código fuente: Detección de noticias falsas

Estamos seguros de que las noticias falsas no necesitan presentación. En el mundo conectado de hoy en día, se ha vuelto ridículamente fácil compartir noticias falsas por Internet. De vez en cuando, se puede ver cómo se difunde información falsa en línea desde fuentes no autorizadas que no sólo causan problemas a las personas a las que se dirigen, sino que también tienen el potencial de causar pánico generalizado e incluso violencia.

Para frenar la propagación de noticias falsas, es crucial identificar la autenticidad de la información, lo que puede hacerse utilizando este proyecto de Ciencia de Datos. Para ello, se puede utilizar Python y construir un modelo con TfidfVectorizer y PassiveAggressiveClassifier para separar las noticias reales de las falsas. Algunas de las librerías de Python adecuadas para este proyecto son pandas,NumPy, y scikit-learn, y para el conjunto de datos, puedes usar News.csv.


4. Predicción de incendios forestales



Photo by Pixabay from Pexels

La construcción de un sistema de predicción de incendios forestales será otro buen uso de las capacidades que ofrece la Ciencia de Datos. Un incendio forestal es esencialmente un incendio incontrolado en un bosque. Cada incidente de un incendio forestal ha causado una inmensa cantidad de daños no sólo a la naturaleza sino también al hábitat animal y a la propiedad humana.

Para controlar e incluso predecir la naturaleza caótica de los incendios forestales, se puede utilizar la agrupación de k-means para identificar los principales focos de incendio y su gravedad. Esto podría ser útil para asignar adecuadamente los recursos. También puede utilizar los datos meteorológicos para encontrar períodos comunes, estaciones de incendios forestales para aumentar la precisión de su modelo.


5. Clasificación del cáncer de mama



Photo by Anna Shvets from Pexels

Lenguaje: Python
Conjunto de datos: IDC (Carcinoma ductal invasivo)
Código fuente: Clasificación del cáncer de mama con aprendizaje profundo

En caso de que quieras añadir un proyecto relacionado con la industria de la salud a tu portafolio, puedes intentar construir un sistema de detección de cáncer de mama utilizando Python. Los casos de cáncer de mama han aumentado últimamente, y la mejor manera de luchar contra el cáncer de mama es identificarlo en una etapa temprana y tomar las medidas preventivas adecuadas.

Para construir tal sistema con Python, puedes usar el conjunto de datos IDC (Invasive Ductal Carcinoma), que contiene imágenes histológicas de células malignas que inducen al cáncer, y puedes entrenar tu modelo en este conjunto de datos. Para este proyecto, encontrará las redes neuronales convolucionales más adecuadas para la tarea, y en cuanto a las bibliotecas de Python, puede usar NumPy, OpenCV, TensorFlow, Keras, scikit-learn, y Matplotlib.

Puedes leer más artículos de Data Science en español aquí


6. Detección de somnolencia del conductor


Lenguaje: Python
Código fuente: Sistema de detección de somnolencia del conductor con OpenCV y Keras

Los accidentes de tráfico cobran muchas vidas cada año, y una de las causas de los accidentes de tráfico son los conductores somnolientos. Siendo una causa potencial de peligro en la carretera, una de las mejores maneras de prevenirlo es implementar un sistema de detección de somnolencia.

Un sistema de detección de la somnolencia de los conductores como éste es otro proyecto que tiene el potencial de salvar muchas vidas al evaluar constantemente los ojos del conductor y alertarlo con alarmas en caso de que el sistema detecte el cierre frecuente de los ojos.

Para este proyecto es imprescindible una cámara web que permita al sistema vigilar periódicamente los ojos del conductor. Para que esto suceda, este proyecto Python requerirá un modelo de aprendizaje profundo y bibliotecas como OpenCV, TensorFlow, Pygame y Keras.

Lea Tambien: Entendiendo La Regresión Logística


7. Sistemas de recomendación (Recomendación de película/espectáculo)



Photo by Pixabay from Pexels

Lenguaje: R
Conjunto de datos: MovieLens
Paquetes: recommenderlab, ggplot2, data.table, reshape2
Código fuente: Proyecto de Sistema de Recomendación de Películas en R

¿Alguna vez te has preguntado cómo las plataformas de medios como YouTube, NetFlix y otras te recomiendan qué ver a continuación? Para hacerlo, usan una herramienta llamada sistema de recomendación. Toma en consideración varias métricas, como la edad, los programas vistos anteriormente, el género más visto, la frecuencia de los programas, y los introduce en un modelo de aprendizaje automático que genera lo que el usuario podría querer ver a continuación.

Basándose en sus preferencias y datos de entrada, puede intentar construir un sistema de recomendación basado en el contenido o un sistema de recomendación de filtrado colaborativo. Para este proyecto, puede elegir R con el conjunto de datos de MovieLens que cubre las clasificaciones de más de 58.000 películas, y en cuanto a los paquetes, puede usar recommenderlab, ggplot2, reshap2 y data.table.


8. Análisis de sentimientos


Lenguaje: R
Conjunto de datos: janeaustenR
Código fuente: Proyecto de Análisis de Sentimientos en R

También conocido como minería de opiniones, el análisis de sentimientos es una herramienta respaldada por la Inteligencia Artificial, que esencialmente permite identificar, reunir y analizar las opiniones de la gente sobre un tema o un producto. Estas opiniones pueden provenir de una variedad de fuentes, incluyendo reseñas en línea, respuestas a encuestas, y pueden involucrar una gama de emociones como la felicidad, la ira, lo positivo, el amor, lo negativo, la emoción y más.

Las empresas modernas basadas en datos son las que más se benefician de una herramienta de análisis de sentimientos, ya que les proporciona una visión crítica sobre la reacción de la gente ante el fracaso del lanzamiento de un nuevo producto o el cambio de estrategia comercial. Para construir un sistema como este, se podría usar R con el conjunto de datos de JaneaustenR junto con el paquete tidytext.



9. Análisis Exploratorio de Datos



Lenguaje: Python
Paquetes: pandas, NumPy, seaborn, y matplotlib
Código fuente - Análisis exploratorio de datos en Python

El análisis de datos comienza con EDA. El Análisis Exploratorio de Datos juega un papel clave en el proceso de análisis de datos ya que este paso le ayuda a dar sentido a sus datos y a menudo implica visualizarlos para una mejor exploración. Para la visualización, se puede elegir entre una serie de opciones, como histogramas, diagramas de dispersión o mapas de calor. EDA también puede exponer resultados inesperados y valores atípicos en sus datos. Una vez que haya identificado los patrones y obtenido las percepciones necesarias de sus datos, estará listo para empezar.

Un proyecto de esta escala se puede hacer fácilmente con Python, y para los paquetes, puedes usar pandas, NumPy, seaborn, y matplotlib.

Una gran fuente para los conjuntos de datos de EDA es la Comunidad Analítica de IBM.

10. Detección de género y predicción de edad

Lenguaje: Python
Conjunto de datos: Adience
Paquetes: OpenCV
Código fuente: OpenCV Detección de Edad con Aprendizaje Profundo

Identificado como un problema de clasificación, este proyecto de detección de género y predicción de edad pondrá a prueba tanto su aprendizaje de máquina como sus habilidades de visión por computador. El objetivo aquí es construir un sistema que tome la imagen de una persona e intente identificar su edad y género.

Para este divertido proyecto, puedes implementar Redes Neuronales Convolucionales y usar Python con el paquete OpenCV. Puedes tomar el conjunto de datos de Adience para este proyecto. Factores como el maquillaje, la iluminación, las expresiones faciales harán esto un desafío e intentarán despistar a tu modelo, así que tenlo en cuenta.


11. Reconocer las emociones en el habla


Lenguaje: Python
Conjunto de datos: RAVDESS
Paquetes: Librosa, Soundfile, NumPy, Sklearn, Pyaudio
Código fuente: Reconocimiento de la emoción del habla con librosa

El habla es una de las formas más fundamentales de expresarse, y esconde en su interior varias emociones, como la calma, la ira, la alegría y la excitación, por nombrar algunas. Analizando las emociones que hay detrás del habla, es posible utilizar esta información para reestructurar nuestras acciones y servicios, e incluso productos, para ofrecer un servicio más personalizado a individuos específicos.

Este proyecto de Reconocimiento de Emociones del Habla trata de identificar y extraer emociones de múltiples archivos de sonido que contienen el habla humana. Para hacer algo así en Python, se pueden utilizar los paquetes Librosa, SoundFile, NumPy, Scikit-learn y PyAaudio. Para el conjunto de datos, puedes usar la Base de Datos Audiovisual Ryerson de Discurso y Canción Emocional (RAVDESS), que tiene más de 7300 archivos para que los uses.


12. Segmentación de clientes



Photo by You X Ventures on Unsplash

Lenguaje: R
Código fuente: Segmentación de clientes mediante el aprendizaje automático

Las empresas modernas se esfuerzan por prestar servicios altamente personalizados a sus clientes, lo que no habría sido posible sin alguna forma de categorización o segmentación de los clientes. Al hacerlo, las organizaciones pueden estructurar fácilmente sus servicios y productos en torno a sus clientes y, al mismo tiempo, dirigirse a ellos para obtener más ingresos.

Para este proyecto, se utilizará el aprendizaje no supervisado para agrupar a los clientes en clusters basados en aspectos individuales como la edad, el género, la región, los intereses, etc. K-means clustering o clustering jerárquico será adecuado aquí, pero también puede experimentar con Fuzzy clustering o métodos de clustering basados en la densidad. Puede utilizar el conjunto de datos Mall_Customers como datos de muestra.

Más ideas de proyectos de ciencias de datos para construir -

  • Visualizaciones del Coronavirus
  • Visualizando el cambio climático
  • El análisis de Uber Pickup
  • Previsión del tráfico en la web mediante series temporales
  • Impacto del cambio climático en el suministro mundial de alimentos
  • Detección de la enfermedad de Parkinson
  • Exploración de datos Pokemon
  • Visualización de la temperatura de la superficie de la Tierra
  • Detección de tumores cerebrales con la ciencia de los datos

Puedes leer más artículos de Data Science en español aquí 

Conclusión

A través de este artículo, intentamos cubrir más de 10 ideas de proyectos de Ciencia de Datos divertidos y prácticos para usted, que le ayudarán a entender el ABC de la tecnología. Siendo uno de los dominios de mayor demanda en la industria, el futuro de la Ciencia de los Datos encierra muchas promesas, pero para aprovechar al máximo las oportunidades que se avecinan, hay que estar preparado para asumir los retos que conlleva. Buena suerte!
Nota: Para eliminar problemas de diferente tipo, quiero alertarles del hecho de que este artículo representa sólo mi opinión personal que quiero compartir, y ustedes tienen todo el derecho a estar en desacuerdo con él.

Si tiene más sugerencias o ideas, nos encantaría escucharlas.

Enlaces de interés:
- Si desea competir y resolver problemas de data science


Related Posts

Métricas De Evaluación De Modelos En El Aprendizaje Automático

Categories

Data Science Machine Learning Deep learning Flask Deployment Big Data Business Python SQL Programming Libraries Jupyter Numpy News Pandas Matplotlib Visualization

Join Competition

Credit Card Fraud Detection Challenge

Real Estate Price Forecast

Most Related Articles

Data Science
Machine Learning
Métricas De Evaluación De Modelos En El Aprendizaje Automático

CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline  #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad  proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos  y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y):    intersection_cardinality = len(set(x).intersection(set(y)))    union_cardinality = len(set(x).union(set(y)))    return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python  del Kolmogorov-Smirnov.from scipy.stats import kstest import random   # N = int(input("Enter number of random numbers: ")) N = 10  actual =[] print("Enter outcomes: ")   for i in range(N):     # x = float(input("Outcomes of class "+str(i + 1)+": "))     actual.append(random.random())   print(actual) x = kstest(actual, "norm")    print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!

Join our private community in Discord

Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!

Join our Discord