El artículo contiene algunos de los conceptos estadísticos avanzados más utilizados junto con su implementación en Python.En mis artículos anteriores Beginners Guide to Statistics in Data Science y The Inferential Statistics Data Scientists Should Know hemos hablado de casi todos los conceptos básicos (descriptivos e inferenciales) de la estadística que se utilizan comúnmente en la comprensión y el trabajo con cualquier estudio de caso de ciencia de datos. En este artículo, vamos a ir un poco más allá y hablar de algunos conceptos avanzados que no son parte del hype/buzz.Puedes leer más artículos de Data Science en español aquí Concepto #1 - Q-Q(quantile-quantile) PlotsAntes de comprender los gráficos QQ, primero hay que entender qué es un cuantil.Un cuantil define una parte concreta de un conjunto de datos, es decir, un cuantil determina cuántos valores de una distribución están por encima o por debajo de un determinado límite. Los cuantiles especiales son el cuartil (cuarto), el quintil (quinto) y los percentiles (centésimo).Un ejemplo:Si dividimos una distribución en cuatro porciones iguales, hablaremos de cuatro cuartiles. El primer cuartil incluye todos los valores que son menores que la cuarta parte de todos los valores. En una representación gráfica, corresponde al 25% del área total de la distribución. Los dos cuartiles inferiores comprenden el 50% de todos los valores de la distribución. El rango intercuartil entre el primer y el tercer cuartil es igual al rango en el que se encuentra el 50% de todos los valores que se distribuyen alrededor de la media. En Estadística, un gráfico Q-Q (cuantil-cuantil) es un gráfico de dispersión creado al trazar dos conjuntos de cuantiles entre sí. Si ambos conjuntos de cuantiles provienen de la misma distribución, deberíamos ver los puntos formando una línea que es aproximadamente recta (y=x).Q-Q plotPor ejemplo, la mediana es un cuantil en el que el 50% de los datos caen por debajo de ese punto y el 50% están por encima. El propósito de los gráficos Q Q es averiguar si dos conjuntos de datos proceden de la misma distribución. En el gráfico Q Q se traza un ángulo de 45 grados; si los dos conjuntos de datos proceden de una distribución común, los puntos caerán sobre esa línea de referencia.Es muy importante saber si la distribución es normal o no para poder aplicar diversas medidas estadísticas a los datos e interpretarlos en una visualización mucho más comprensible para el ser humano, y el gráfico Q-Q entra en escena. La pregunta más fundamental que responde el gráfico Q-Q es si la curva está normalmente distribuida o no.Se distribuye normalmente, pero ¿por qué?Los gráficos Q-Q se utilizan para encontrar el tipo de distribución de una variable aleatoria, ya sea una distribución gaussiana, una distribución uniforme, una distribución exponencial o incluso una distribución de Pareto, etc. Se puede saber el tipo de distribución utilizando la potencia del gráfico Q-Q con sólo mirar el gráfico. En general, hablamos de distribuciones Normales sólo porque tenemos un concepto muy bonito de la regla 68-95-99.7 que se ajusta perfectamente a la distribución normal Así sabemos qué parte de los datos se encuentra en el rango de la primera desviación estándar, la segunda desviación estándar y la tercera desviación estándar de la media. Así que saber si una distribución es Normal nos abre nuevas puertas para experimentar Types of Q-Q plots. Source Skewed Q-Q plotsLos gráficos Q-Q permiten encontrar la asimetría de la distribución. Si el extremo inferior del gráfico Q-Q se desvía de la línea recta, pero el extremo superior no, entonces la distribución es Left skewed(Negatively skewed).Ahora bien, si el extremo superior del gráfico Q-Q se desvía de la línea recta y el inferior no, entonces la distribución es Right skewed(Positively skewed).Tailed Q-Q plotsLos gráficos Q-Q pueden encontrar la curtosis (medida de la cola) de la distribución.La distribución con la cola gorda tendrá ambos extremos de la gráfica Q-Q para desviarse de la línea recta y su centro sigue la línea, donde como una distribución de cola delgada término Q-Q parcela con muy menos o desviación insignificante en los extremos por lo que es un ajuste perfecto para la distribución normal.Q-Q plots en Python(Source)Puedes leer más artículos de Data Science en español aquí Supongamos que tenemos el siguiente conjunto de datos de 100 valores:import numpy as np #create dataset with 100 values that follow a normal distribution np.random.seed(0) data = np.random.normal(0,1, 1000) #view first 10 values data[:10] array([ 1.76405235, 0.40015721, 0.97873798, 2.2408932 , 1.86755799, -0.97727788, 0.95008842, -0.15135721, -0.10321885, 0.4105985 ])Para crear un gráfico Q-Q para este conjunto de datos, podemos utilizar la función qqplot() function de la biblioteca statsmodels:import statsmodels.api as sm import matplotlib.pyplot as plt #create Q-Q plot with 45-degree line added to plot fig = sm.qqplot(data, line='45') plt.show()En un gráfico Q-Q, el eje x muestra los cuantiles teóricos. Esto significa que no muestra los datos reales, sino que representa dónde estarían los datos si se distribuyeran normalmente.El eje Y muestra los datos reales. Esto significa que si los valores de los datos caen a lo largo de una línea aproximadamente recta en un ángulo de 45 grados, entonces los datos están distribuidos normalmente.Podemos ver en nuestro gráfico Q-Q de arriba que los valores de los datos tienden a seguir de cerca el ángulo de 45 grados, lo que significa que los datos están probablemente distribuidos normalmente. Esto no debería ser sorprendente, ya que generamos los 100 valores de datos utilizando el numpy.random.normal() function.Considere en cambio si generamos un conjunto de datos de 100 valores distribuidos uniformemente y creamos un gráfico Q-Q para ese conjunto de datos:#create dataset of 100 uniformally distributed values data = np.random.uniform(0,1, 1000) #generate Q-Q plot for the dataset fig = sm.qqplot(data, line='45') plt.show()Los valores de los datos no siguen claramente la línea roja de 45 grados, lo que indica que no siguen una distribución normal.Concepto #2- Chebyshev's InequalityEn probabilidad, la desigualdad de Chebyshev, también conocida como desigualdad "Bienayme-Chebyshev", garantiza que, para una amplia clase de distribuciones de probabilidad, sólo una fracción definida de valores se encontrará dentro de una distancia específica de la media de una distribución.Source: https://www.thoughtco.com/chebyshevs-inequality-3126547 La desigualdad de Chebyshev es similar a la regla empírica (68-95-99,7); sin embargo, esta última regla sólo se aplica a las distribuciones normales. La desigualdad de Chebyshev es más amplia; puede aplicarse a cualquier distribución siempre que ésta incluya una varianza y una media definidas.Así, la desigualdad de Chebyshev dice que al menos (1-1/k^2) de los datos de una muestra deben caer dentro de K desviaciones estándar de la media (o, de forma equivalente, no más de 1/k^2 de los valores de la distribución pueden estar a más de k desviaciones estándar de la media).Donde K --> número real positivoSi los datos no se distribuyen normalmente, entonces diferentes cantidades de datos podrían estar en una desviación estándar. La desigualdad de Chebyshev proporciona una manera de saber qué fracción de datos cae dentro de K desviaciones estándar de la media para cualquier distribución de datos.Lea También: 22 Preguntas Sobre Estadística Para Preparar En Una Entrevista De TrabajoCredits: https://calcworkshop.com/joint-probability-distribution/chebyshev-inequality/ La desigualdad de Chebyshev es de gran valor porque puede aplicarse a cualquier distribución de probabilidad en la que se proporcionen la media y la varianza.Consideremos un ejemplo: supongamos que se presentan 1.000 concursantes a una entrevista de trabajo, pero sólo hay 70 puestos disponibles. Para seleccionar a los 70 mejores concursantes del total, el propietario realiza unas pruebas para juzgar su potencial. La puntuación media de la prueba es de 60, con una desviación estándar de 6. Si un aspirante obtiene una puntuación de 84, ¿puede presumir que va a conseguir el puesto?Los resultados muestran que unas 63 personas obtuvieron una puntuación superior a 60, por lo que, con 70 puestos disponibles, un concursante que obtenga una puntuación de 84 puede estar seguro de haber conseguido el puesto.Chebyshev's Inequality en Python(Source) Crear una población de 1.000.000 de valores, utilizo una distribución gamma (también funciona con otras distribuciones) con forma = 2 y escala = 2.import numpy as np import random import matplotlib.pyplot as plt #create a population with a gamma distribution shape, scale = 2., 2. #mean=4, std=2*sqrt(2) mu = shape*scale #mean and standard deviation sigma = scale*np.sqrt(shape) s = np.random.gamma(shape, scale, 1000000)Ahora muestree 10.000 valores de la población.#sample 10000 values rs = random.choices(s, k=10000)Cuente la muestra que tiene una distancia del valor esperado mayor que la desviación estándar k y utilice el recuento para calcular las probabilidades. Quiero representar una tendencia de las probabilidades cuando k aumenta, así que utilizo un rango de k de 0,1 a 3.#set k ks = [0.1,0.5,1.0,1.5,2.0,2.5,3.0] #probability list probs = [] #for each k for k in ks: #start count c = 0 for i in rs: # count if far from mean in k standard deviation if abs(i - mu) > k * sigma : c += 1 probs.append(c/10000)Traza los resultados:plot = plt.figure(figsize=(20,10)) #plot each probability plt.xlabel('K') plt.ylabel('probability') plt.plot(ks,probs, marker='o') plot.show() #print each probability print("Probability of a sample far from mean more than k standard deviation:") for i, prob in enumerate(probs): print("k:" + str(ks[i]) + ", probability: " \ + str(prob)[0:5] + \ " | in theory, probability should less than: " \ + str(1/ks[i]**2)[0:5])A partir del gráfico y el resultado anteriores, podemos ver que a medida que aumenta k, la probabilidad es decreciente, y la probabilidad de cada k sigue la desigualdad. Además, sólo el caso de que k sea mayor que 1 es útil. Si k es menor que 1, el lado derecho de la desigualdad es mayor que 1, lo que no es útil porque la probabilidad no puede ser mayor que 1.Concepto #3- Log-Normal DistributionEn teoría de la probabilidad, una distribución logarítmica normal, también conocida como distribución de Galton, es una distribución de probabilidad continua de una variable aleatoria cuyo logaritmo se distribuye normalmente.Así, si la variable aleatoria X se distribuye de forma log-normal, entonces Y = ln(X) tiene una distribución normal. De forma equivalente, si Y tiene una distribución normal, entonces la función exponencial de Y, es decir, X = exp(Y), tiene una distribución log-normal. Puedes leer más artículos de Data Science en español aquí Las distribuciones sesgadas con baja media y alta varianza y todos los valores positivos encajan en este tipo de distribución. Una variable aleatoria con distribución log-normal sólo toma valores reales positivos. La fórmula general de la función de densidad de probabilidad de la distribución lognormal esLos parámetros de localización y escala equivalen a la media y la desviación estándar del logaritmo de la variable aleatoria.La forma de la distribución Lognormal está definida por 3 parámetros:σ es el parámetro de forma, (y es la desviación estándar del logaritmo de la distribución)θ o μ es el parámetro de localización (y es la media de la distribución)m es el parámetro de escala (y es también la mediana de la distribución)Los parámetros de localización y escala son equivalentes a la media y la desviación estándar del logaritmo de la variable aleatoria, como se ha explicado anteriormente.Si x = θ, entonces f(x) = 0. El caso en el que θ = 0 y m = 1 se denomina distribución lognormal estándar. El caso en el que θ es igual a cero se denomina distribución lognormal de 2 parámetros.El siguiente gráfico ilustra el efecto del parámetro de localización(μ) y escala(σ) en la función de densidad de probabilidad de la distribución lognormal: Source: https://www.sciencedirect.com/topics/mathematics/lognormal-distribution Log-Normal Distribution en Python(Source)Consideremos un ejemplo para generar números aleatorios a partir de una distribución log-normal con μ=1 y σ=0,5 utilizando la función scipy.stats.lognorm.import numpy as np import matplotlib.pyplot as plt from scipy.stats import lognorm np.random.seed(42) data = lognorm.rvs(s=0.5, loc=1, scale=1000, size=1000) plt.figure(figsize=(10,6)) ax = plt.subplot(111) plt.title('Generate wrandom numbers from a Log-normal distribution') ax.hist(data, bins=np.logspace(0,5,200), density=True) ax.set_xscale("log") shape,loc,scale = lognorm.fit(data) x = np.logspace(0, 5, 200) pdf = lognorm.pdf(x, shape, loc, scale) ax.plot(x, pdf, 'y') plt.show()Concepto #4- Power Law distributionEn estadística, una ley de potencia es una relación funcional entre dos cantidades, en la que un cambio relativo en una cantidad da lugar a un cambio relativo proporcional en la otra cantidad, independientemente del tamaño inicial de esas cantidades: una cantidad varía como una potencia de otra.Por ejemplo, considerando el área de un cuadrado en función de la longitud de su lado, si se duplica la longitud, el área se multiplica por un factor de cuatro.Una distribución de ley de potencia tiene la forma Y = k Xα, donde:X e Y son variables de interés,α es el exponente de la ley,k es una constante.Source: https://en.wikipedia.org/wiki/Power_law La distribución de la ley de potencia es sólo una de las muchas distribuciones de probabilidad, pero se considera una herramienta valiosa para evaluar los problemas de incertidumbre que la distribución normal no puede manejar cuando se producen con cierta probabilidad.Se ha comprobado que muchos procesos siguen leyes de potencia en rangos de valores considerables. Desde la distribución en los ingresos, el tamaño de los meteoroides, las magnitudes de los terremotos, la densidad espectral de las matrices de pesos en las redes neuronales profundas, el uso de las palabras, el número de vecinos en varias redes, etc. (Nota: La ley de potencia aquí es una distribución continua. Los dos últimos ejemplos son discretos, pero a gran escala pueden modelarse como si fueran continuos).Puedes leer más artículos de Data Science en español aquí Lea también: Medidas Estadísticas De Tendencia CentralPower-law distribution en Python(Source) Trazamos el Pareto distribution que es una forma de distribución de probabilidad de ley de potencia. La distribución de Pareto se conoce a veces como Principio de Pareto o regla "80-20", ya que la regla establece que el 80% de la riqueza de la sociedad está en manos del 20% de su población. La distribución de Pareto no es una ley de la naturaleza, sino una observación. Es útil en muchos problemas del mundo real. Se trata de una distribución sesgada de cola pesada.import numpy as np import matplotlib.pyplot as plt from scipy.stats import pareto x_m = 1 #scale alpha = [1, 2, 3] #list of values of shape parameters plt.figure(figsize=(10,6)) samples = np.linspace(start=0, stop=5, num=1000) for a in alpha: output = np.array([pareto.pdf(x=samples, b=a, loc=0, scale=x_m)]) plt.plot(samples, output.T, label='alpha {0}' .format(a)) plt.xlabel('samples', fontsize=15) plt.ylabel('PDF', fontsize=15) plt.title('Probability Density function', fontsize=15) plt.legend(loc='best') plt.show()Concepto #5- Box cox transformationLa transformación de Box-Cox transforma nuestros datos para que se parezcan a una distribución normal.Las transformaciones de Box-Cox de un parámetro se definen como En muchas técnicas estadísticas, suponemos que los errores se distribuyen normalmente. Esta suposición nos permite construir intervalos de confianza y realizar pruebas de hipótesis. Al transformar la variable objetivo, podemos (con suerte) normalizar nuestros errores (si no son ya normales).Además, la transformación de nuestras variables puede mejorar el poder predictivo de nuestros modelos porque las transformaciones pueden eliminar el ruido blanco.Distribución original (izquierda) y distribución casi normal después de aplicar la transformación Box cox. Source En el núcleo de la transformación Box-Cox hay un exponente, lambda (λ), que varía de -5 a 5. Se consideran todos los valores de λ y se selecciona el valor óptimo para sus datos; el "valor óptimo" es el que da como resultado la mejor aproximación a una curva de distribución normal.Las transformaciones Box-Cox de un parámetro se definen como:y las transformaciones Box-Cox de dos parámetros como:Además, la transformación de Box-Cox de un parámetro es válida para y > 0, es decir, sólo para valores positivos, y la transformación de Box-Cox de dos parámetros para y > -λ, es decir, para valores negativos. El parámetro λ se estima mediante el profile likelihood function y utilizando pruebas de bondad de ajuste.Si hablamos de algunos inconvenientes de la transformación Box-cox, entonces si lo que se quiere es la interpretación, entonces no se recomienda Box-cox. Porque si λ es algún número distinto de cero, entonces la variable objetivo transformada puede ser más difícil de interpretar que si simplemente aplicamos una transformación logarítmica.Puedes leer más artículos de Data Science en español aquí Un segundo escollo es que la transformación Box-Cox suele dar la mediana de la distribución de la previsión cuando revertimos los datos transformados a su escala original. En ocasiones, queremos la media y no la mediana.Box-Cox transformation en Python (Source)El paquete stats de SciPy proporciona una función llamada boxcox para realizar la transformación de potencia box-cox que toma los datos originales no normales como entrada y devuelve los datos ajustados junto con el valor lambda que se utilizó para ajustar la distribución no normal a la distribución normal.#load necessary packages import numpy as np from scipy.stats import boxcox import seaborn as sns #make this example reproducible np.random.seed(0) #generate dataset data = np.random.exponential(size=1000) fig, ax = plt.subplots(1, 2) #plot the distribution of data values sns.distplot(data, hist=False, kde=True, kde_kws = {'shade': True, 'linewidth': 2}, label = "Non-Normal", color ="red", ax = ax[0]) #perform Box-Cox transformation on original data transformed_data, best_lambda = boxcox(data) sns.distplot(transformed_data, hist = False, kde = True, kde_kws = {'shade': True, 'linewidth': 2}, label = "Normal", color ="red", ax = ax[1]) #adding legends to the subplots plt.legend(loc = "upper right") #rescaling the subplots fig.set_figheight(5) fig.set_figwidth(10) #display optimal lambda value print(f"Lambda value used for Transformation: {best_lambda}") Concepto #6- Poisson distributionEn la teoría de la probabilidad y la estadística, la distribución de Poisson es una distribución de probabilidad discreta que expresa la probabilidad de que se produzca un número determinado de sucesos en un intervalo fijo de tiempo o espacio si estos sucesos se producen con una tasa media constante conocida y con independencia del tiempo transcurrido desde el último suceso.En términos muy sencillos, una distribución de Poisson puede utilizarse para estimar la probabilidad de que algo ocurra "X" número de veces. Algunos ejemplos de procesos de Poisson son los clientes que llaman a un centro de ayuda, la desintegración radiactiva de los átomos, los visitantes de una página web, los fotones que llegan a un telescopio espacial y los movimientos en el precio de las acciones. Los procesos de Poisson suelen estar asociados al tiempo, pero no tienen por qué estarlo. La fórmula de la distribución de Poisson es:Donde:e es el numero de Euler (e = 2.71828...)k es el numero de ocurrenciask! es el factorial de k kλ es igual al valor esperado de kcuando éste es también igual a su varianzaLambda(λ) puede considerarse como el número esperado de eventos en el intervalo. A medida que cambiamos el parámetro de la tasa, λ, cambiamos la probabilidad de ver diferentes números de eventos en un intervalo. El siguiente gráfico es la función de masa de probabilidad de la distribución de Poisson que muestra la probabilidad de que se produzca un número de sucesos en un intervalo con diferentes parámetros de tasa. Función de masa de probabilidad para la distribución de Poisson con parámetros de tasa variables. Source La distribución de Poisson también se utiliza habitualmente para modelar datos de recuento financiero en los que el recuento es pequeño y a menudo es cero. Por ejemplo, en finanzas, puede utilizarse para modelar el número de operaciones que un inversor típico realizará en un día determinado, que puede ser 0 (a menudo), o 1, o 2, etc.Otro ejemplo: este modelo puede utilizarse para predecir el número de "shocks" del mercado que se producirán en un periodo de tiempo determinado, por ejemplo, durante una década.Poisson distribution en Pythonfrom numpy import random import matplotlib.pyplot as plt import seaborn as sns lam_list = [1, 4, 9] #list of Lambda values plt.figure(figsize=(10,6)) samples = np.linspace(start=0, stop=5, num=1000) for lam in lam_list: sns.distplot(random.poisson(lam=lam, size=10), hist=False, label='lambda {0}'.format(lam)) plt.xlabel('Poisson Distribution', fontsize=15) plt.ylabel('Frequency', fontsize=15) plt.legend(loc='best') plt.show()A medida que λ se hace más grande, el gráfico se parece más a una distribución normal.Espero que hayas disfrutado de la lectura de este artículo, Si tienes alguna pregunta o sugerencia, por favor deja un comentario.Lea también: Falsos Positivos Vs. Falsos Negativos Siéntase libre de conectarse conmigo en LinkedIn para cualquier consulta.¡¡¡Gracias por leer!!!Puedes leer más artículos de Data Science en español aquí Referenciashttps://calcworkshop.com/joint-probability-distribution/chebyshev-inequality/ https://corporatefinanceinstitute.com/resources/knowledge/data-analysis/chebyshevs-inequality/ https://www.itl.nist.gov/div898/handbook/eda/section3/eda3669.htm https://www.statology.org/q-q-plot-python/ https://gist.github.com/chaipi-chaya/9eb72978dbbfd7fa4057b493cf6a32e7 https://stackoverflow.com/a/41968334/7175247
Feb 23, 2021
Una inmersión en los beneficios de cada herramientaTabla de ContenidoIntroducciónPandasSQLResumenIntroducciónAmbas herramientas son importantes no sólo para los científicos de datos, sino también para los que ocupan puestos similares como los de análisis de datos e inteligencia empresarial. Dicho esto, ¿cuándo deberían los científicos de datos utilizar específicamente pandas en lugar de SQL y viceversa? En algunas situaciones, puede salirse con la suya utilizando sólo SQL, y otras veces, pandas es mucho más fácil de usar, especialmente para los científicos de datos que se centran en la investigación en un entorno de Jupyter Notebook. A continuación, voy a discutir cuando se debe utilizar SQL y cuando se debe utilizar pandas. Ten en cuenta que ambas herramientas tienen casos de uso específicos, pero hay muchas veces en las que su funcionalidad se solapa, y eso es lo que compararé a continuación también.PandasPhoto by Kalen Kemp on Unsplash [2].Pandas [3] es una herramienta de análisis de datos de código abierto en el lenguaje de programación Python. El beneficio de pandas comienza cuando ya se tiene el conjunto de datos principal, generalmente a partir de una consulta SQL. Esta diferencia principal puede significar que las dos herramientas están separadas, sin embargo, también puedes realizar varias de las mismas funciones en cada herramienta respectiva, por ejemplo, puedes crear nuevas características a partir de columnas existentes en pandas, quizás más fácil y rápido que en SQL.Es importante señalar que no estoy comparando lo que Pandas hace que SQL no puede hacer y viceversa. Estaré escogiendo la herramienta que puede hacer la función de manera más eficiente o preferible para el trabajo de ciencia de datos - en mi opinión, desde la experiencia personal.Aquí hay momentos en los que el uso de pandas es más beneficioso que SQL - mientras que también tiene la misma funcionalidad que SQL:crear campos calculados a partir de características existentesCuando se incorpora una consulta SQL más compleja, a menudo se incorporan también subconsultas para dividir valores de diferentes columnas. En pandas se pueden dividir las características de forma mucho más sencilla como la siguiente:df["new_column"] = df["first_column"]/df["second_column"]El código anterior muestra cómo se pueden dividir dos columnas separadas, y asignar esos valores a una nueva columna - en este caso, se está realizando la creación de características en todo el conjunto de datos o marco de datos. Puede utilizar esta función tanto en la exploración de características como en la ingeniería de características en el proceso de la ciencia de datos.grouping byTambién en referencia a las subconsultas, agrupar por en SQL puede llegar a ser bastante complejo y requerir líneas y líneas de código que pueden ser visualmente abrumadoras. En pandas, se puede agrupar simplemente por una línea de código. No me refiero a la agrupación por al final de una simple consulta select from table, sino a una donde hay múltiples subconsultas involucradas.df.groupby(by="first_column").mean()El resultado sería devolver la media de la primera columna para cada columna del marco de datos. Hay muchas otras formas de utilizar esta función de agrupación, que se describen muy bien en la documentación de pandas enlazada a continuación.checking data typesEn SQL, a menudo tendrá que fundir los tipos, pero a veces puede ser un poco más claro ver la forma en que pandas presenta los tipos de datos en un formato vertical, en lugar de desplazarse a través de una salida horizontal en SQL. Algunos ejemplos de tipos de datos devueltos son int64, float64, datetime64[ns], y object.df.dtypesAunque todas estas son funciones bastante simples de pandas y SQL, en SQL son particularmente complicadas, y a veces son mucho más fáciles de implementar en un dataframe de pandas. Ahora, veamos qué es lo que hace mejor SQL.SQLPhoto by Caspar Camille Rubin on Unsplash [4].SQL es probablemente el lenguaje más utilizado por la mayor cantidad de puestos diferentes. Por ejemplo, un ingeniero de datos puede utilizar SQL, un desarrollador de Tableau o un gestor de productos. Dicho esto, los científicos de datos tienden a utilizar SQL con frecuencia. Es importante tener en cuenta que hay varias versiones diferentes de SQL, por lo general todos tienen una función similar, sólo ligeramente formateado de manera diferente.Aquí hay momentos en los que el uso de SQL es más beneficioso que el de pandas - mientras que también tiene la misma funcionalidad que pandasWHERE clauseEsta cláusula en SQL se utiliza con frecuencia y también se puede realizar en pandas. Sin embargo, en pandas es algo más difícil, o menos intuitivo. Por ejemplo, hay que escribir código redundante, mientras que en SQL basta con el WHERESELECT ID FROM TABLE WHERE ID > 100En pandas, sería algo así como:df[df["ID"] > 100]["ID"]Sí, ambos son simples, uno es sólo un poco más intuitivo.JOINSPandas tiene unas cuantas formas de unir, que pueden ser un poco abrumadoras, mientras que en SQL se pueden realizar uniones simples como las siguientes: INNER, LEFT, RIGHTSELECT one.column_A, two.column_B FROM FIRST_TABLE one INNER JOIN SECOND_TABLE two on two.ID = one.IDEn este código, la unión es ligeramente más fácil de leer, que en pandas, donde hay que fusionar marcos de datos, y especialmente cuando se fusionan más de dos marcos de datos, puede ser bastante complejo en pandas. SQL puede realizar múltiples uniones ya sea INNER, etc., todo en la misma consulta.Todos estos ejemplos, ya sea SQL o pandas, se pueden utilizar al menos en la parte de análisis exploratorio de datos del proceso de ciencia de datos, así como en la ingeniería de características, y la consulta de los resultados del modelo una vez que se almacenan en una base de datos.ResumenEsta comparación entre pandas y SQL es más bien una preferencia personal. Dicho esto, es posible que opines lo contrario a mi opinión. Sin embargo, espero que siga arrojando luz sobre las diferencias entre pandas y SQL, así como lo que se puede realizar igual en ambas herramientas, utilizando técnicas de codificación ligeramente diferentes y un lenguaje totalmente distinto.En resumen, hemos comparado las ventajas de usar pandas sobre SQL y viceversa para algunas de sus funciones compartidas:* creating calculated fields from existing features * grouping by * checking data types * WHERE clause * JOINSEspero que mi artículo le resulte interesante y útil. No dude en comentar más abajo si está de acuerdo con estas comparaciones: ¿por qué o por qué no? ¿Crees que una herramienta, en particular, es mejor que la otra? ¿Qué otras herramientas de ciencia de datos se te ocurren que tengan una comparación similar? ¿Qué otras funciones de pandas y SQL podríamos comparar?
Feb 23, 2021
Llevo más de 10 años codificando en Python. Hubo un tiempo en el que pensé que lo sabía todo, lo que era una clara señal de que me estaba volviendo complaciente.Entonces decidí investigar un poco sobre las mejoras de Python. Esas versiones 3.6, 3.7, 3.8 de Python no están ahí por nada, ¿verdad?Después de revisar las notas de la versión, encontré estos trucos que me gustaría compartir con ustedes.Al leer este artículo, aprenderás:Cómo formatear enteros grandes de forma más claraUna mejor manera de trabajar con las rutas de los archivosLa forma correcta de formatear cadenas1. Formateo de big integersUsing Underscores in Numeric Literals. Image by Roman OracA partir de la versión 3.6 de Python se pueden utilizar guiones bajos para facilitar la lectura de los números. Ver PEP 515 para más detalles.Veamos un ejemplo:a = 1000000000 # Is variable a billion or 100 millions? # Let's use underscores to make it easier to read a = 1_000_000_000 # You can group numbers as you like b = 1_0_9_0También funciona con direcciones hexadecimales y bits de agrupación.# grouping hexadecimal addresses by words addr = 0xCAFE_F00D # grouping bits into nibbles in a binary literal flags = 0b_0011_1111_0100_1110Lea también: ¿Por Qué Los Decoradores En Python Son Pura Genialidad?2. PathlibPhoto by Alice Donovan Rouse on UnsplashTrabajar con rutas puede ser un reto, especialmente si tu código necesita ejecutarse en múltiples sistemas operativos.Por suerte para nosotros, la biblioteca estándar de Python tiene pathllib.Veamos un ejemplo:from pathlib import Path path = Path("some_folder") print(path) # output: some_folder # We can add more subfolders in a readable way path = path / "sub_folder" / "sub_sub_folder" print(path) # output: some_folder/sub_folder/sub_sub_folder # make path absolute print(path.resolve()) # output: /Users/r.orac/some_folder/sub_folter/sub_sub_folderA pesar de utilizar el signo / como separador para concatenar rutas, pathlib lo hace agnóstico al sistema operativo, lo que significa que también funcionará en el sistema operativo Windows.Lea también: Usando Python y Pandas Datareader Para Analizar Datos Financieros3. Simplificar el formato de las cadenasFormato de cadenas f en Python. Imagen de Roman OracEstoy acostumbrado a utilizar el formato de cadena de la vieja escuela en Python:person = 'Roman' exercise = 0 print("%d-times %s exercised during corona epidemic" % (exercise, person)) # output # 0-times Roman exercised during corona epidemicHasta hace poco, no sabía que había una forma mejor (más moderna) de formatear cadenas en Python.En Python 3.6, PEP 498 introduce la Interpolación Literal de Cadenas, que simplifica el formato de las cadenas.Podemos reescribir el ejemplo anterior a:person = 'roman' exercise = 0 print(f"{exercise}-times {person} exercised during corona epidemic") # output # 0-times Roman exercised during corona epidemicUna cadena prefijada con f se conoce como fstring.Las cadenas f admiten incluso operaciones matemáticas:print(f"{exercise+1}-times {person} exercised during corona epidemic") # Output # '1-times roman exercised during corona epidemic'Pero no hice el ejercicio durante la epidemia de la corona por lo que añadir +1 en la fstring sería simplemente una mentira 😂¿Qué pasa con el formato de los valores flotantes?f = 0.333333 print(f"this is f={f:.2f} rounded to 2 decimals") # Output this is f=0.33 rounded to 2 decimalsLea también: ¿Cómo Usar Correctamente Los Datetimes En Python?ConclusiónEstos trucos de Python harán que tu código sea más conciso y que la codificación sea más agradable.Muchos desarrolladores de Python no conocen estos trucos - tú ya no eres uno de ellos.Antes de irteSígueme en Twitter, donde tuiteo regularmente sobre Ciencia de Datos y Aprendizaje Automático.Lea también: Entendiendo El Módulo Collections de Python
Feb 23, 2021
En este nuevo post queremos hablar de las extensiones más útiles de Python para Visual Studio Code. Visual Studio Code es un entorno de desarrollo integrado creado por Microsoft para Windows, Linux y macOS. Entre sus características se encuentran la depuración, el resaltado de sintaxis, la finalización inteligente de código, los fragmentos, la refactorización de código y Git integrado. Los usuarios pueden cambiar el tema, los atajos de teclado, las preferencias e instalar extensiones que añaden funcionalidad adicional.Precisamente vamos a hablar sobre las extensiones que puedes instalar para VS. Aquí una lista de nuestras preferidasPuedes leer más artículos de Data Science en español aquí 1- PythonLink: https://github.com/Microsoft/vscode-pythonExtensión de Python para Visual Studio CodeUna extensión de Visual Studio Code con un rico soporte para el lenguaje Python (para todas las versiones activamente soportadas del lenguaje: >=3.6), incluyendo características como IntelliSense (Pylance), linting, depuración, navegación de código, formateo de código, refactorización, explorador de variables, explorador de pruebas, ¡y más!NOTA: El soporte en la web -- por ejemplo, github.dev -- es limitado.Extensiones instaladasLa extensión Python instalará automáticamente las extensiones Pylance y Jupyter para ofrecerte la mejor experiencia al trabajar con archivos Python y notebooks Jupyter. Sin embargo, Pylance es una dependencia opcional, lo que significa que la extensión de Python seguirá siendo totalmente funcional si no se instala. También puedes desinstalarla a expensas de algunas características si estás usando un servidor de idiomas diferente.2- Python IndentLink: https://github.com/kbrose/vsc-python-indentSirve para corregir la sangría de Python en Visual Studio Code. Cómo funcionaCada vez que presione la tecla Enter en un contexto de Python, esta extensión analizará su archivo de Python hasta la ubicación de su cursor, y determinará exactamente cuánto debe sangrar la siguiente línea (o dos en el caso de sangrías colgantes) y cuánto deben desangrarse las líneas cercanas.Hay tres casos principales a la hora de determinar la sangría correcta. Revisar la documentación aqui: https://github.com/kbrose/vsc-python-indent3- Python Doctring GeneratorLink: https://github.com/NilsJPWerner/autoDocstringExtensión de Visual Studio Code para generar rápidamente docstrings para funciones python.CaracterísticasGenera rápidamente un fragmento de docstring que puede ser tabulado.Elija entre varios tipos de formatos de docstrings.Infiere los tipos de parámetros a través de pistas de tipo pep484, valores por defecto y nombres var.Soporte para args, kwargs, decoradores, errores y tipos de parámetros.Formatos DocstringGoogle (por defecto)docBlockrNumpySphinxPEP0257 (próximamente)UsoEl cursor debe estar en la línea directamente debajo de la definición para generar un docstring completo auto-pobladoPulsa enter después de abrir el docstring con comillas triples (""" o ''')Atajo de teclado: ctrl+mayús+2 o cmd+mayús+2 para macSe puede cambiar en Preferencias -> Atajos de teclado -> extension.generateDocstringComando: Generar DocstringMenú del botón derecho: Generar DocstringLea también: 4 Funciones de Python Pandas Imprescindibles Para el Análisis de Series Temporales4- Python ExtendedLink: https://github.com/tushortz/vscode-Python-ExtendedPython Extended es un fragmento de vscode que facilita la escritura de códigos en python proporcionando opciones de finalización junto con todos los argumentos.UsoEjecute vscode y en un archivo python, escriba el nombre del método a completar y presione tab o enter en la selección.Cómo instalarAbra vscode. Pulse F1, busque "ext install" seguido del nombre de la extensión, en este caso "ext install Python Extended" sin el ">". O si prefieres ">ext install", pulsa enter, busca "Python Extended".Puedes leer más artículos de Data Science en español aquí 5- Python PreviewLink: https://github.com/dongli0x00/python-previewUna extensión de Visual Studio Code con soporte de vista previa de depuración para el lenguaje Python.RequisitosInstale una versión de Python 3.6 o Python 2.7. Asegúrese de que la ubicación de su intérprete de Python está incluida en su variable de entorno PATH.Es mejor instalar la extensión de Python para el Intellisense de Python6- AREPL for PythonLink: https://github.com/almenon/arepl-vscodeAREPL evalúa automáticamente el código python en tiempo real mientras usted escribe.UsoEn primer lugar, asegúrese de que tiene instalado python 3.7 o superior.Abra un archivo de python y haga clic en el gato en la barra superior a la derecha para abrir AREPL. Puede hacer clic en el gato de nuevo para cerrar.O ejecute AREPL a través del comando de búsqueda: control-mayúsculas-po utilizar los atajos: control-mayúsculas-a (documento actual) / control-mayúsculas-q (nuevo documento)CaracterísticasEvaluación en tiempo real: no es necesario ejecutar - AREPL evalúa su código automáticamente. Puede controlar esto (o incluso desactivarlo) en los ajustes.Visualización de variables: El estado final de sus variables locales se muestra en un formato JSON colapsable.Visualización de errores: En el momento en que cometes un error se muestra un error con la traza de la pila.Ajustes: AREPL ofrece muchos ajustes para adaptarse a su experiencia de usuario. Personaliza el aspecto, el tiempo de rebote, las opciones de python y mucho más.Lea también: 3 Trucos De Python Que Mejorarán Tu Código7- Python PathLink: https://github.com/mgesbert/vscode-python-pathEsta extensión añade un conjunto de herramientas que ayudan a generar sentencias de importación internas en un proyecto python.Características"Copy Python Path" es accesible desde:Linea de comandoMenú contextual del exploradorMenú contextual del editorMenú contextual del título del editorPuedes leer más artículos de Data Science en español aquí 8- Python Test ExplorerLink: https://github.com/kondratyev-nv/vscode-python-test-adapterEsta extensión le permite ejecutar sus pruebas de Python Unittest, Pytest o Testplan con la interfaz de usuario de Test Explorer.Cómo empezarInstale la extensiónConfigure Visual Studio Code para que descubra sus pruebas (consulte la sección Configuración y la documentación del marco de pruebas de su elección:Documentación de UnittestDocumentación de PytestDocumentación de TestplanAbra la barra lateral de la vista de pruebasEjecutar sus pruebas mediante el icono Ejecutar en el Explorador de PruebasCaracterísticasMuestra un Explorador de Pruebas en la vista de pruebas en la barra lateral de VS Code con todas las pruebas y suites detectadas y su estadoPráctico informe de errores durante la detección de pruebasDepuración de Unittest, Pytest y TestplanMuestra el registro de una prueba fallida cuando se selecciona la prueba en el exploradorReejecución de pruebas al guardarlasSoporta espacios de trabajo multi-rootAdmite los marcos de pruebas Unittest, Pytest y Testplan y sus complementos9- Python SnippetsLink: https://github.com/ylcnfrht/vscode-python-snippet-packUn paquete de fragmentos para hacer más productivo el trabajo con python Este paquete de fragmentos contiene todos los métodos de python que se indican a continuacióntodos los fragmentos incorporados de python y contiene al menos un ejemplo para cada métodotodos los fragmentos de cadenas de python contienen al menos un ejemplo para cada métodotodos los fragmentos de listas de python contienen al menos un ejemplo para cada métodotodos los fragmentos de conjuntos de python contienen al menos un ejemplo para cada métodotodos los fragmentos de tuplas en python contienen al menos un ejemplo para cada métodotodos los fragmentos de diccionario de python contienen al menos un ejemplo para cada métodoY contiene muchos otros fragmentos de código (como if/else, for, while, while/else, try/catch, file process yfragmentos de clases y ejemplos de clases para oop (polimorfismo, encapsulación, herencia, etc.)Si no usas un método no te preocupes esta extensión contiene un montón de ejemplos de código para cada método de pythonEsta extensión no es sólo un fragmento de código, sino que también será útil para aprender el lenguaje de programación python.Aprenderás todos los métodos de python con un montón de ejemplos de códigoPor ejemplo, si usted quiere usar el método de reemplazo de cadena, sólo tiene que utilizar .replacePero si usted no sabe cómo utilizar el método de reemplazo a continuación, utilice string.replace =>10- JupyterLink: https://github.com/Microsoft/vscode-jupyterUna extensión de Visual Studio Code que proporciona soporte básico de notebooks para los kernels de lenguaje que son compatibles con Jupyter Notebooks hoy en día. Muchos kernels de lenguaje funcionarán sin ninguna modificación. Para habilitar características avanzadas, pueden ser necesarias modificaciones en las extensiones de lenguaje de VS Code.Soporte de notebooksLa Extensión Jupyter utiliza el soporte de cuaderno incorporado de VS code. Esta interfaz ofrece una serie de ventajas a los usuarios de cuadernos:Soporte inmediato de la amplia gama de funciones básicas de edición de código de VS Code, como la salida en caliente, la búsqueda y el reemplazo, y el plegado de código.Extensiones del editor como VIM, coloración de corchetes, linters y muchas más están disponibles mientras se edita una celda.Profunda integración con el banco de trabajo general y con las funciones basadas en archivos de VS Code, como la vista de esquema (tabla de contenidos), las migas de pan y otras operaciones.Tiempos de carga rápidos para los archivos Jupyter notebook (.ipynb). Cualquier archivo de cuaderno se carga y renderiza lo más rápidamente posible, mientras que las operaciones relacionadas con la ejecución se inicializan entre bastidores.Incluye una herramienta de diferencias para cuadernos, que facilita la comparación y la visualización de las diferencias entre las celdas de código, los resultados y los metadatos.Extensibilidad más allá de lo que proporciona la extensión Jupyter. Las extensiones ahora pueden añadir su propio lenguaje o tiempo de ejecución específico a los cuadernos, como los cuadernos interactivos de .NET y GatherAunque la extensión de Jupyter viene con un amplio conjunto de los renderizadores más utilizados para la salida, el mercado admite renderizadores personalizados instalables para que el trabajo con tus cuadernos sea aún más productivo. Para empezar a escribir los tuyos propios, consulta la documentación de la api de renderizadores de VS Code.Puedes leer más artículos de Data Science en español aquí ConclusiónExisten muchas extensiones que puedes usar con tu Visual Studio Code, y decidir cual usar pasará por hacer pruebas, revisar utilidades, casos de uso y demás con el fin de hacer tu trabajo mas sencillo mientras codeas!Lea también: ¿Por Qué Los Decoradores En Python Son Pura Genialidad?
Feb 23, 2021
Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!
