Entendiendo El Agrupamiento (Clustering) | Extraer Grupos Naturales Automáticamente De Datasets Complejos
May 12, 202010 minutes read
¿Qué es el agrupamiento (clustering)?
La agrupación es una técnica de aprendizaje no supervisada para extraer agrupaciones naturales o etiquetas de clases predefinidas e información previa. Es una técnica importante para el Análisis Exploratorio de Datos (EDA) para descubrir agrupaciones ocultas de los datos. Por lo general, utilizaría el agrupamiento para obtener insights sobre las distribuciones de los datos y la ingeniería de características para generar una nueva clase para otros algoritmos
Aplicacines del agrupamiento en la ciencia de los datos
Segmentación de vendedores en E-commerce
Cuando era pasante en Lazada (E-commerce), traté con agrupaciones 3D para encontrar agrupaciones naturales de los vendedores. El equipo de ventas de Lazada solicitó un análisis para recompensar a sus vendedores con múltiples promociones e insignias. Sin embargo, para lograrlo, necesitábamos entender quiénes eran los vendedores y cómo se desempeñaban. Para ello, diseñamos y seleccionamos tres dimensiones principales: las opiniones de los clientes, la calidad de la entrega y de los reembolsos, y la oferta de productos (vendedores especializados o generales).
Basándonos en estos criterios principales, creamos una visualización de agrupación en 3D para identificar a nuestros vendedores, clasificamos a estos vendedores y creamos tracks de recompensas e insignias para cada uno. Al final, a través de las pruebas AB, aumentamos el 23% del rendimiento de los vendedores críticos y mejoramos la métrica de la experiencia general del usuario.
Agrupación en 3-D usando Scikit Learn y el rendimiento general de los vendedores críticos en Lazada. Este es un ejemplo y no una representación real para evitar conflictos de divulgación de información
Otras aplicaciones
Si esta experiencia personal mía no es suficiente, todavía hay muchas más aplicaciones de la agrupación que puede encontrar en nuestra vida.
Etiquetado: Imagina que quieres clasificar muchos productos como cámaras, ropa y refrigeradores. ¿Cómo sabes cuáles son las etiquetas adecuadas para darles? ¿Deberían clasificarse las cámaras, los televisores y los ordenadores de mes bajo las mismas etiquetas? ¿Cuántas etiquetas debería crear para separar mejor estos productos?
Segmentación de clientes: Imagine que está trabajando para mejorar las compras de un minorista. ¿Podría clasificar grupos de compradores en función de sus patrones de compra? ¿Cuál sería el etiquetado y la promoción adecuados para aumentar el gasto de cada segmento de clientes?
Selección de género en un sistema de recomendación: Imagine como Netflix nos recomienda que programas para ver. ¿Cuáles son las etiquetas o géneros adecuados que cada recomendación debería tener para analizar los comportamientos de observación del usuario? ¿Es una buena idea clasificar las vistas en el período de tiempo en que se creo el programa?
Todo esto requiere técnicas de agrupación para crear agrupaciones naturales, especialmente cuando se trata de la complejidad de datos multidimensionales.
¿Cómo funciona la agrupación?
Dado un conjunto de objetos, nos gustaría agruparlos; dividirlos en un conjunto de grupos.
Mi separación de los Clusters de los datos de las películas del IMDB
En esta visualización, se puede ver directamente que hay unas pocas agrupaciones naturales de los puntos. Esto es fácil de visualizar porque sólo tenemos 2 dimensiones aquí (eje y y eje x). Por lo tanto, podemos destacar las agrupaciones. Pero asumiendo que tenemos muchas dimensiones. ¿Cómo utilizamos estas características para agruparlas en grupos?
Los objetivos de agrupación:
Entradas: un conjunto de objetos: X. Es una métrica de distancia D(.,.) donde define distancias entre objetos tales que D(x,y) = D(y,x) donde x, y E X.
Salida: Particiones de los objetos tales que Pd(x) = Pd(y) si x e y pertenecen al mismo grupo
Esta noción de similitud definida por la distancia recuerda a a los “k vecinos mas cercanos” (knearest-neighor, KNN). Esto significa que podemos incluír los objetos dentro de determinados grupos sin ninguna medida de grupos buenos o malos. Lo que importa es la función de distancia que usamos para crear las particiones y separar los grupos.
Esto significa que las soluciones tienden a tener una alta variabilidad y dependen del algoritmo. Cada algoritmo de agrupación puede dar resultados diferentes de cuáles son los grupos óptimos. En este artículo, vamos a hablar de “Single Linked Clusters”, “K means clusters” y “Soft Clusters”:
Conjunto de datos no agrupados con “Single linked clusters”(2) y “K Means Clusters” (3)
Single linked clusters (Agrupaciones de un solo enlace)
Este es el algoritmo de agrupación más simple.
Pasos básicos de agrupación de SLC
Dada una entrada de k número de grupos:
Tratamos cada objeto como un grupo, con n grupos
Definimos las funciones de distancia entre grupos como la distancia más cercana posible entre múltiples grupos
Fusionar dos grupos más cercanos
Repita este algoritmo n-k veces para generar k grupos
Este algoritmo me recuerda a "Conecta los puntos", que es un juego en el que se unen los puntos uno por uno para construir una cierta forma y estructura.
Curiosamente, este algoritmo de agrupación posee propiedades interesantes: es determinista (se ejecuta como el MST - algoritmo de árbol de expansión mínima) ya que trata las distancias como longitudes de límite con la notación Big O(n³). Necesitamos evaluar n² pares dentro de n veces (el peor de los casos). Necesitamos repetir k veces (n/2) pero también necesitamos mirar todas las distancias para encontrar el par más cercano O(n) que tiene diferentes etiquetas.
La agrupación de un solo enlace también aplica la heurística para conectar múltiples puntos cercanos entre sí que podrían no recibir los comportamientos esperados.
K-Means Clustering (Agrupamiento K Medios)
K-Means Clustering es un algoritmo simple y directo, ya que cada iteración sólo requiere un puñado de operaciones triviales. También identifica la convergencia a un mínimo local/global, lo que significa que podríamos aumentar el nivel de confianza para confiar en los resultados.
Pasos básicos de agrupación de K-Means
Escoge k centroides al azar
Asocia cada punto con los puntos centrales más cercanos
Recalcula los centros promediando los puntos agrupados
Repite estos pasos hasta que haya convergencia
Funciones de optimización de K-Means
Configuraciones → Centro, P
Puntuaciones → Sumatoria del error al cuadrado del centro P y la x.
Vecindario → los puntos con menor distancia intergrupal de los centroides.
Cambio de paradigma comparado con SLC
Esto requiere unos pocos cambios de paradigma en comparación con el SLC y es un algoritmo de agrupación ampliamente utilizado hoy en el mundo
Tomando una ubicación aleatoria de los centros de los grupos (centroides) en lugar de usar la observación existente como los centros.
Iterar a través de múltiples miembros de observaciones con cada centroide hasta que no se vean más mejoras (convergencia)
Complejidad y limitación
En términos de notación O, k medios es más eficiente que SLC - con tiempo de polinomio para cada iteración O(kn).
Sin embargo, también hay desventajas que debemos considerar. En primer lugar, las k en “K Medios” necesitan ser identificadas antes. Esto significa que tenemos que analizar primero el número óptimo de grupos (k) utilizando el método del codo, etc. antes de ejecutar el algoritmo. Segundo, las semillas/centros iniciales que coloquemos también afectarán en gran medida a nuestros grupos. Tercero, los valores atípicos afectarán enormemente a nuestros centroides fijados y por lo tanto a los miembros de los grupos. Finalmente, “k means” asume grupos esféricos que podrían ser un problema en alguna distribución de datos no esféricos.
Soft Clustering (Agrupación suave)
Anteriormente sólo hablamos de una cierta observación con una sola clase de miembros.
¿Y si esa observación es ambigua? Entonces marcaremos la observación con 2 grupos.
¿Cuál sería la clase correcta para asignar esa observación? Esto no está claro. ¿Y si asignamos esta observación a ambas clases?
Aquí es donde entra el agrupamiento suave. Utiliza la certeza de la probabilidad para identificar los posibles grupos usando la distribución Gaussiana seleccionada. El objetivo es maximizar la probabilidad de que los datos pertenezcan a una cierta clase. Esto se define como Maximización de la Expectativa (EM clustering).
Curiosamente, dado que la EM es una agrupación basada en la probabilidad, esto significa que hay un número infinito de configuraciones. Nunca lo haces peor, pero sigues acercándote y nunca llegas a la mejor configuración final.
Propiedades de los algoritmos de clustering
Entonces, ¿cómo elegimos qué grupo usar? Necesitamos considerar las siguientes propiedades para nuestro algoritmo de agrupación. Cada propiedad variará dependiendo del patrón de datos y la matriz de distancia que utilicemos.
Riqueza: Para la asignación de objetos a los grupos, hay una matriz de distancia D tal que la convergencia de los grupos ya establece límites en el número de grupos que da el mejor ajuste. Si detenemos el algoritmo SLC prematuramente cuando los grupos no han alcanzado k, sacrificaremos la riqueza al limitar el número de grupos.
Invariabilidad de la escala: Dado que aumentamos la escala de las métricas de distancia con una constante arbitraria (como de Celsius a Fahrenheit), los resultados de la pertenencia a los grupos no debería cambiar. Si los grupos están en una cierta unidad aparte, escalar los resultados cambiaría el resultado de los miembros de los grupos. Si detenemos el algoritmo SLC prematuramente cuando los grupos están en una unidad de valor predefinida aparte, sacrificaremos la invariabilidad de la escala.
Consistencia: Al comprimir o expandir los puntos, ningún punto se desviaría a otro grupo. Si los grupos son unidades identificadas en grados con la máxima distancia identificada, entonces podríamos transformar esta formulación de distancia y alterar la pertenencia al grupo. Esto significa que el grupo no debería cambiar cuando hacemos que puntos similares sean más similares o que puntos disímiles sean más disímiles. Si detenemos el algoritmo SLC prematuramente cuando los cúmulos son una unidad de valor predefinida dividida por la distancia intracluster más larga, sacrificaremos la consistencia.
Idealmente, su agrupación debería tener estas tres propiedades. Pero, desafortunadamente esto es imposible como se menciona en el Teorema de la Imposibilidad. Siéntase libre de revisar la prueba dentro de este documento.
“No hay ningún esquema de agrupación que logre las tres: riqueza, invariabilidad de escala y agrupación.”Jon Kleinberg 15
Finalmente...
Mi propio análisis de agrupación usando varias técnicas de agrupación y transformación de características
Espero que esta haya sido una gran lectura y una fuente de inspiración para que desarrolles e innoves.
Por favor, comenten a continuación sugerencias y comentarios. Al igual que usted, todavía estoy aprendiendo a ser un mejor científico de datos e ingeniero. Por favor, ayúdame a mejorar para que pueda ayudarte mas en mis siguientes publicaciones de artículos.
Gracias y Feliz código:)
Sobre el autor
Vincent Tatan es un entusiasta de los datos y la tecnología con experiencias de trabajo relevantes de Google LLC, Visa Inc. y Lazada en implementar arquitecturas de microservicios, inteligencia de negocios y pipelines de proyectos de analítica.
Vincent es un indonesio nativo con un historial de logros en la resolución de problemas con fortalezas en desarrollo full stack, analítica de datos y planeación estratégica.
Ha sido consultor activo de SMU BI & Analytics Club, guiando a aspirantes a científicos e ingenieros de datos de varios orígenes y abriendo su experiencia para que las empresas desarrollen sus productos.
Por último, por favor, contacte con Vincent a través de LinkedIn, Medium o su canal de Youtube
La popularidad de la ciencia de los datos atrae a muchas personas de una amplia gama de profesiones para hacer un cambio de carrera con el objetivo de convertirse en un científico de datos.A pesar de la gran demanda de científicos de datos, es una tarea muy difícil encontrar tu primer trabajo. A menos que tengas una sólida experiencia laboral previa, las entrevistas son el lugar donde puedes mostrar tus habilidades e impresionar a tu potencial empleador.La ciencia de los datos es un campo interdisciplinar que abarca una amplia gama de temas y conceptos. Por ello, el número de preguntas que te pueden hacer en una entrevista es muy elevado.Sin embargo, hay algunas preguntas sobre los fundamentos de la ciencia de los datos y el aprendizaje automático. Éstas son las que no debes perderte. En este artículo, repasaremos 10 preguntas que probablemente se hagan en una entrevista a un científico de datos.Las preguntas están agrupadas en 3 categorías principales que son aprendizaje automático, Python y SQL. Intentaré dar una breve respuesta a cada pregunta. Sin embargo, sugiero leer o estudiar cada una con más detalle después.Aprendizaje automático1. ¿Qué es el overfitting (sobreajuste)? El sobreajuste en el aprendizaje automático se produce cuando el modelo no está bien generalizado. El modelo se centra demasiado en el conjunto de entrenamiento. Capta muchos detalles o incluso ruido en el conjunto de entrenamiento. Por lo tanto, no logra captar la tendencia general o las relaciones en los datos. Si un modelo es demasiado complejo en comparación con los datos, probablemente estará sobreajustado. Un buen indicador de sobreajuste es la gran diferencia entre la precisión de los conjuntos de entrenamiento y de prueba. Los modelos sobreajustados suelen tener una precisión muy alta en el conjunto de entrenamiento, pero la precisión de la prueba suele ser impredecible y mucho más baja que la de entrenamiento. 2. ¿Cómo se puede reducir el overfitting? Podemos reducir el sobreajuste haciendo que el modelo sea más generalizado, lo que significa que debe centrarse más en la tendencia general que en los detalles específicos. Si es posible, recoger más datos es una forma eficaz de reducir el sobreajuste. Le darás más jugo al modelo para que tenga más material del que aprender. Los datos siempre son valiosos, especialmente para los modelos de aprendizaje automático. Otro método para reducir la sobreadaptación es reducir la complejidad del modelo. Si un modelo es demasiado complejo para una tarea determinada, es probable que se produzca un sobreajuste. En estos casos, debemos buscar modelos más sencillos. 3. ¿Qué es la regularización? Hemos mencionado que la principal razón del sobreajuste es que un modelo sea más complejo de lo necesario. La regularización es un método para reducir la complejidad del modelo. Lo hace penalizando los términos más altos del modelo. Con la adición de un término de regularización, el modelo intenta minimizar tanto la pérdida como la complejidad. Los dos tipos principales de regularización son L1 y L2. La regularización L1 resta una pequeña cantidad de los pesos de las características no informativas en cada iteración. Así, hace que estos pesos se conviertan finalmente en cero. Por otro lado, la regularización L2 elimina un pequeño porcentaje de los pesos en cada iteración. Estos pesos se acercarán a cero, pero nunca llegarán a ser 0.4. ¿Cuál es la diferencia entre clasificación y agrupación? Ambas son tareas de aprendizaje automático. La clasificación es una tarea de aprendizaje supervisado, por lo que tenemos observaciones etiquetadas (es decir, puntos de datos). Entrenamos un modelo con datos etiquetados y esperamos que prediga las etiquetas de los nuevos datos. Por ejemplo, la detección de correos electrónicos no deseados es una tarea de clasificación. Proporcionamos un modelo con varios correos electrónicos marcados como spam o no spam. Una vez entrenado el modelo con esos correos, evaluará los nuevos correos de forma adecuada. La agrupación es una tarea de aprendizaje no supervisada, por lo que las observaciones no tienen etiquetas. Se espera que el modelo evalúe las observaciones y las agrupe en clusters. Las observaciones similares se colocan en el mismo clúster. En el caso óptimo, las observaciones del mismo clúster están lo más cerca posible unas de otras y los diferentes clústeres están lo más separados posible. Un ejemplo de tarea de clustering sería agrupar a los clientes en función de su comportamiento de compra. Python Las estructuras de datos incorporadas son de crucial importancia. Por lo tanto, debes estar familiarizado con lo que son y cómo interactuar con ellas. Lista, diccionario, conjunto y tupla son las 4 principales estructuras de datos incorporadas en Python. 5. ¿Cuál es la diferencia entre listas y tuplas? La principal diferencia entre las listas y las tuplas es la mutabilidad. Las listas son mutables, por lo que podemos manipularlas añadiendo o eliminando elementos.mylist = [1,2,3]
mylist.append(4)
mylist.remove(1)
print(mylist)
[2,3,4]En cambio, las tuplas son inmutables. Aunque podemos acceder a cada elemento de una tupla, no podemos modificar su contenido.mytuple = (1,2,3)
mytuple.append(4)
AttributeError: 'tuple' object has no attribute 'append'Un punto importante a mencionar aquí es que aunque las tuplas son inmutables, pueden contener elementos mutables como listas o conjuntos. mytuple = (1,2,["a","b","c"])
mytuple[2]
['a', 'b', 'c']
mytuple[2][0] = ["A"]
print(mytuple)
(1, 2, [['A'], 'b', 'c'])6. ¿Cuál es la diferencia entre listas y sets? Hagamos un ejemplo para demostrar la principal diferencia entre listas y conjuntos.text = "Python is awesome!"
mylist = list(text)
myset = set(text)
print(mylist)
['P', 'y', 't', 'h', 'o', 'n', ' ', 'i', 's', ' ', 'a', 'w', 'e', 's', 'o', 'm', 'e', '!']
print(myset)
{'t', ' ', 'i', 'e', 'm', 'P', '!', 'y', 'o', 'h', 'n', 'a', 's', 'w'} Como vemos en los objetos resultantes, la lista contiene todos los caracteres de la cadena mientras que el conjunto sólo contiene valores únicos. Otra diferencia es que los caracteres de la lista están ordenados según su ubicación en la cadena. Sin embargo, los caracteres del conjunto no están ordenados. A continuación se muestra una tabla que resume las principales características de las listas, las tuplas y los conjuntos.(image by author)7. ¿Qué es un diccionario y cuáles son las características importantes de los diccionarios? Un diccionario en Python es una colección de pares clave-valor. Es similar a una lista en el sentido de que cada elemento de una lista tiene un índice asociado que empieza por 0.mylist = ["a", "b", "c"]
mylist[1]
"b"En un diccionario, las claves son el índice. Así, podemos acceder a un valor utilizando su clave.mydict = {"John": 24, "Jane": 26, "Ashley": 22}
mydict["Jane"]
26Las claves de un diccionario son únicas, lo que tiene sentido porque actúan como una dirección para los valores. SQL SQL es una habilidad extremadamente importante para los científicos de datos. Hay un gran número de empresas que almacenan sus datos en una base de datos relacional. SQL es lo que se necesita para interactuar con las bases de datos relacionales. Es probable que te hagan una pregunta que implique escribir una consulta para realizar una tarea específica. También es posible que te hagan una pregunta sobre conocimientos generales de bases de datos.8. Ejemplo de Consulta #1 Consider we have a sales table that contains daily sales quantities of products.SELECT TOP 10 * FROM SalesTable(image by author)Encuentre las 5 semanas más importantes en términos de cantidades totales de ventas semanales.SELECT TOP 5
CONCAT(YEAR(SalesDate), DATEPART(WEEK, SalesDate)) AS YearWeek,
SUM(SalesQty) AS TotalWeeklySales
FROM
SalesTable
GROUP BY CONCAT(YEAR(SalesDate), DATEPART(WEEK, SalesDate))
ORDER BY TotalWeeklySales DESC
(image by author)Primero extraemos la información del año y la semana de la columna de la fecha y luego la utilizamos en la agregación. La función de suma se utiliza para calcular las cantidades totales de ventas. 9. Ejemplo de consulta #2 En la misma tabla de ventas, encuentre el número de artículos únicos que se venden cada mes.SELECT
MONTH(SalesDate) AS Month,
COUNT(DISTINCT(ItemNumber)) AS ItemCount
FROM
SalesTable
GROUP BY MONTH(SalesDate)
Month ItemCount
1 9 1021
2 8 102110. ¿Qué es la normalización y la desnormalización en una base de datos? Estos términos están relacionados con el diseño del esquema de la base de datos. La normalización y la desnormalización tienen como objetivo optimizar diferentes métricas. El objetivo de la normalización es reducir la redundancia e inconsistencia de los datos aumentando el número de tablas. Por otro lado, la desnormalización tiene como objetivo acelerar la ejecución de la consulta. La desnormalización disminuye el número de tablas, pero al mismo tiempo añade cierta redundancia. ConclusiónConvertirse en un científico de datos es una tarea difícil. Requiere tiempo, esfuerzo y dedicación. Sin tener experiencia laboral previa, el proceso se hace más difícil. Las entrevistas son muy importantes para demostrar tus habilidades. En este artículo, hemos cubierto 10 preguntas que es probable que te encuentres en una entrevista de científico de datos. Gracias por leerlo. Por favor, hágame saber si tiene algún comentario.
CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y): intersection_cardinality = len(set(x).intersection(set(y))) union_cardinality = len(set(x).union(set(y))) return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python del Kolmogorov-Smirnov.from scipy.stats import kstest import random # N = int(input("Enter number of random numbers: ")) N = 10 actual =[] print("Enter outcomes: ") for i in range(N): # x = float(input("Outcomes of class "+str(i + 1)+": ")) actual.append(random.random()) print(actual) x = kstest(actual, "norm") print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!
En este nuevo post queremos hablar de las extensiones más útiles de Python para Visual Studio Code. Visual Studio Code es un entorno de desarrollo integrado creado por Microsoft para Windows, Linux y macOS. Entre sus características se encuentran la depuración, el resaltado de sintaxis, la finalización inteligente de código, los fragmentos, la refactorización de código y Git integrado. Los usuarios pueden cambiar el tema, los atajos de teclado, las preferencias e instalar extensiones que añaden funcionalidad adicional.Precisamente vamos a hablar sobre las extensiones que puedes instalar para VS. Aquí una lista de nuestras preferidasPuedes leer más artículos de Data Science en español aquí 1- PythonLink: https://github.com/Microsoft/vscode-pythonExtensión de Python para Visual Studio CodeUna extensión de Visual Studio Code con un rico soporte para el lenguaje Python (para todas las versiones activamente soportadas del lenguaje: >=3.6), incluyendo características como IntelliSense (Pylance), linting, depuración, navegación de código, formateo de código, refactorización, explorador de variables, explorador de pruebas, ¡y más!NOTA: El soporte en la web -- por ejemplo, github.dev -- es limitado.Extensiones instaladasLa extensión Python instalará automáticamente las extensiones Pylance y Jupyter para ofrecerte la mejor experiencia al trabajar con archivos Python y notebooks Jupyter. Sin embargo, Pylance es una dependencia opcional, lo que significa que la extensión de Python seguirá siendo totalmente funcional si no se instala. También puedes desinstalarla a expensas de algunas características si estás usando un servidor de idiomas diferente.2- Python IndentLink: https://github.com/kbrose/vsc-python-indentSirve para corregir la sangría de Python en Visual Studio Code. Cómo funcionaCada vez que presione la tecla Enter en un contexto de Python, esta extensión analizará su archivo de Python hasta la ubicación de su cursor, y determinará exactamente cuánto debe sangrar la siguiente línea (o dos en el caso de sangrías colgantes) y cuánto deben desangrarse las líneas cercanas.Hay tres casos principales a la hora de determinar la sangría correcta. Revisar la documentación aqui: https://github.com/kbrose/vsc-python-indent3- Python Doctring GeneratorLink: https://github.com/NilsJPWerner/autoDocstringExtensión de Visual Studio Code para generar rápidamente docstrings para funciones python.CaracterísticasGenera rápidamente un fragmento de docstring que puede ser tabulado.Elija entre varios tipos de formatos de docstrings.Infiere los tipos de parámetros a través de pistas de tipo pep484, valores por defecto y nombres var.Soporte para args, kwargs, decoradores, errores y tipos de parámetros.Formatos DocstringGoogle (por defecto)docBlockrNumpySphinxPEP0257 (próximamente)UsoEl cursor debe estar en la línea directamente debajo de la definición para generar un docstring completo auto-pobladoPulsa enter después de abrir el docstring con comillas triples (""" o ''')Atajo de teclado: ctrl+mayús+2 o cmd+mayús+2 para macSe puede cambiar en Preferencias -> Atajos de teclado -> extension.generateDocstringComando: Generar DocstringMenú del botón derecho: Generar DocstringLea también: 4 Funciones de Python Pandas Imprescindibles Para el Análisis de Series Temporales4- Python ExtendedLink: https://github.com/tushortz/vscode-Python-ExtendedPython Extended es un fragmento de vscode que facilita la escritura de códigos en python proporcionando opciones de finalización junto con todos los argumentos.UsoEjecute vscode y en un archivo python, escriba el nombre del método a completar y presione tab o enter en la selección.Cómo instalarAbra vscode. Pulse F1, busque "ext install" seguido del nombre de la extensión, en este caso "ext install Python Extended" sin el ">". O si prefieres ">ext install", pulsa enter, busca "Python Extended".Puedes leer más artículos de Data Science en español aquí 5- Python PreviewLink: https://github.com/dongli0x00/python-previewUna extensión de Visual Studio Code con soporte de vista previa de depuración para el lenguaje Python.RequisitosInstale una versión de Python 3.6 o Python 2.7. Asegúrese de que la ubicación de su intérprete de Python está incluida en su variable de entorno PATH.Es mejor instalar la extensión de Python para el Intellisense de Python6- AREPL for PythonLink: https://github.com/almenon/arepl-vscodeAREPL evalúa automáticamente el código python en tiempo real mientras usted escribe.UsoEn primer lugar, asegúrese de que tiene instalado python 3.7 o superior.Abra un archivo de python y haga clic en el gato en la barra superior a la derecha para abrir AREPL. Puede hacer clic en el gato de nuevo para cerrar.O ejecute AREPL a través del comando de búsqueda: control-mayúsculas-po utilizar los atajos: control-mayúsculas-a (documento actual) / control-mayúsculas-q (nuevo documento)CaracterísticasEvaluación en tiempo real: no es necesario ejecutar - AREPL evalúa su código automáticamente. Puede controlar esto (o incluso desactivarlo) en los ajustes.Visualización de variables: El estado final de sus variables locales se muestra en un formato JSON colapsable.Visualización de errores: En el momento en que cometes un error se muestra un error con la traza de la pila.Ajustes: AREPL ofrece muchos ajustes para adaptarse a su experiencia de usuario. Personaliza el aspecto, el tiempo de rebote, las opciones de python y mucho más.Lea también: 3 Trucos De Python Que Mejorarán Tu Código7- Python PathLink: https://github.com/mgesbert/vscode-python-pathEsta extensión añade un conjunto de herramientas que ayudan a generar sentencias de importación internas en un proyecto python.Características"Copy Python Path" es accesible desde:Linea de comandoMenú contextual del exploradorMenú contextual del editorMenú contextual del título del editorPuedes leer más artículos de Data Science en español aquí 8- Python Test ExplorerLink: https://github.com/kondratyev-nv/vscode-python-test-adapterEsta extensión le permite ejecutar sus pruebas de Python Unittest, Pytest o Testplan con la interfaz de usuario de Test Explorer.Cómo empezarInstale la extensiónConfigure Visual Studio Code para que descubra sus pruebas (consulte la sección Configuración y la documentación del marco de pruebas de su elección:Documentación de UnittestDocumentación de PytestDocumentación de TestplanAbra la barra lateral de la vista de pruebasEjecutar sus pruebas mediante el icono Ejecutar en el Explorador de PruebasCaracterísticasMuestra un Explorador de Pruebas en la vista de pruebas en la barra lateral de VS Code con todas las pruebas y suites detectadas y su estadoPráctico informe de errores durante la detección de pruebasDepuración de Unittest, Pytest y TestplanMuestra el registro de una prueba fallida cuando se selecciona la prueba en el exploradorReejecución de pruebas al guardarlasSoporta espacios de trabajo multi-rootAdmite los marcos de pruebas Unittest, Pytest y Testplan y sus complementos9- Python SnippetsLink: https://github.com/ylcnfrht/vscode-python-snippet-packUn paquete de fragmentos para hacer más productivo el trabajo con python Este paquete de fragmentos contiene todos los métodos de python que se indican a continuacióntodos los fragmentos incorporados de python y contiene al menos un ejemplo para cada métodotodos los fragmentos de cadenas de python contienen al menos un ejemplo para cada métodotodos los fragmentos de listas de python contienen al menos un ejemplo para cada métodotodos los fragmentos de conjuntos de python contienen al menos un ejemplo para cada métodotodos los fragmentos de tuplas en python contienen al menos un ejemplo para cada métodotodos los fragmentos de diccionario de python contienen al menos un ejemplo para cada métodoY contiene muchos otros fragmentos de código (como if/else, for, while, while/else, try/catch, file process yfragmentos de clases y ejemplos de clases para oop (polimorfismo, encapsulación, herencia, etc.)Si no usas un método no te preocupes esta extensión contiene un montón de ejemplos de código para cada método de pythonEsta extensión no es sólo un fragmento de código, sino que también será útil para aprender el lenguaje de programación python.Aprenderás todos los métodos de python con un montón de ejemplos de códigoPor ejemplo, si usted quiere usar el método de reemplazo de cadena, sólo tiene que utilizar .replacePero si usted no sabe cómo utilizar el método de reemplazo a continuación, utilice string.replace =>10- JupyterLink: https://github.com/Microsoft/vscode-jupyterUna extensión de Visual Studio Code que proporciona soporte básico de notebooks para los kernels de lenguaje que son compatibles con Jupyter Notebooks hoy en día. Muchos kernels de lenguaje funcionarán sin ninguna modificación. Para habilitar características avanzadas, pueden ser necesarias modificaciones en las extensiones de lenguaje de VS Code.Soporte de notebooksLa Extensión Jupyter utiliza el soporte de cuaderno incorporado de VS code. Esta interfaz ofrece una serie de ventajas a los usuarios de cuadernos:Soporte inmediato de la amplia gama de funciones básicas de edición de código de VS Code, como la salida en caliente, la búsqueda y el reemplazo, y el plegado de código.Extensiones del editor como VIM, coloración de corchetes, linters y muchas más están disponibles mientras se edita una celda.Profunda integración con el banco de trabajo general y con las funciones basadas en archivos de VS Code, como la vista de esquema (tabla de contenidos), las migas de pan y otras operaciones.Tiempos de carga rápidos para los archivos Jupyter notebook (.ipynb). Cualquier archivo de cuaderno se carga y renderiza lo más rápidamente posible, mientras que las operaciones relacionadas con la ejecución se inicializan entre bastidores.Incluye una herramienta de diferencias para cuadernos, que facilita la comparación y la visualización de las diferencias entre las celdas de código, los resultados y los metadatos.Extensibilidad más allá de lo que proporciona la extensión Jupyter. Las extensiones ahora pueden añadir su propio lenguaje o tiempo de ejecución específico a los cuadernos, como los cuadernos interactivos de .NET y GatherAunque la extensión de Jupyter viene con un amplio conjunto de los renderizadores más utilizados para la salida, el mercado admite renderizadores personalizados instalables para que el trabajo con tus cuadernos sea aún más productivo. Para empezar a escribir los tuyos propios, consulta la documentación de la api de renderizadores de VS Code.Puedes leer más artículos de Data Science en español aquí ConclusiónExisten muchas extensiones que puedes usar con tu Visual Studio Code, y decidir cual usar pasará por hacer pruebas, revisar utilidades, casos de uso y demás con el fin de hacer tu trabajo mas sencillo mientras codeas!Lea también: ¿Por Qué Los Decoradores En Python Son Pura Genialidad?
Daniel Morales
May 12, 2020
Join our private community in Discord
Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!
