{"id":2027,"date":"2020-04-22T08:30:33","date_gmt":"2020-04-22T13:30:33","guid":{"rendered":"https:\/\/naps.com.mx\/blog\/?p=2027"},"modified":"2020-04-22T10:04:34","modified_gmt":"2020-04-22T15:04:34","slug":"python-distribucion-de-variables","status":"publish","type":"post","link":"https:\/\/naps.com.mx\/blog\/python-distribucion-de-variables\/","title":{"rendered":"Fases del an\u00e1lisis de datos usando Python: Distribuci\u00f3n de Variables"},"content":{"rendered":"

Veremos la siguiente fase del an\u00e1lisis de datos usando Python: Distribuci\u00f3n de Variables. Usaremos histogramas, gr\u00e1fico de probabilidad y test de normalidad.<\/p>\n

<\/p>\n

Las primeras fases las puedes encontrar en el siguiente enlace:\u00a0https:\/\/naps.com.mx\/blog\/fases-del-analisis-de-datos-usando-python\/<\/a><\/p>\n

Fase 4. Distribuci\u00f3n de variables<\/h2>\n

Librer\u00edas a utilizar<\/p>\n

import pandas as pd\r\nimport numpy as np\r\nimport matplotlib.pyplot as plt\r\nimport seaborn as sns<\/pre>\n
Cargar el archivo generado en el paso anterior<\/a>:<\/p>\n
vehiculos = pd.read_pickle(\"vehiculospaso3.pkl\")<\/pre>\n
Debemos ver c\u00f3mo interpreta Pandas los datos, es decir, qu\u00e9 tipo de dato le asigna a cada uno.<\/p>\n
print(vehiculos.dtypes)<\/pre>\n
Lo que nos arroja:<\/p>\n
\"python<\/a><\/p>\n
Observamos que hay variables num\u00e9ricas y variables categ\u00f3ricas (que creamos en el paso anterior).<\/p>\n
Lo que vamos a hacer es analizar la distribuci\u00f3n de las variables<\/p>\n
Distribuci\u00f3n de variables num\u00e9ricas<\/h2>\n
Histogramas<\/h3>\n
Podemos crear un histograma para ver la distribuci\u00f3n de una variable. Por ejemplo, tenemos una columna llamada co2, donde se registra el nivel de contaminaci\u00f3n que emite cada veh\u00edculo. \u00bfC\u00f3mo es la distribuci\u00f3n de \u00e9sta variable? Creamos un histograma para esa columna.<\/p>\n
vehiculos['co2'].plot.hist();<\/pre>\n
Recuerda a\u00f1adir plt.show() si ejecutas tus programas desde l\u00ednea de comandos.<\/p>\n
El histograma se muestra de \u00e9sta forma:<\/p>\n
\"python<\/a><\/p>\n
Podemos hacer lo mismo con el resto de variables num\u00e9ricas. Observamos que al parecer siguen una distribuci\u00f3n normal. Recordar\u00e1s la t\u00edpica forma de \u00abcampana\u00bb que tiene una distribuci\u00f3n normal. Es importante saber si \u00a0nuestras variables siguen una distribuci\u00f3n normal dado que muchos algoritmos asumen \u00e9ste tipo de distribuci\u00f3n.<\/p>\n
Gr\u00e1fico de probabilidad<\/h3>\n
Otra forma de comprobar esto es usando un gr\u00e1fico de probabilidad.<\/p>\n
Vamos a crear la siguiente funci\u00f3n que utiliza la librer\u00eda scipy:<\/p>\n
from scipy import stats\r\ndef normalidad_variable_numerica(col):\r\n    stats.probplot(vehiculos[col], plot=plt)\r\n    plt.xlabel('Diagrama de Probabilidad(normal) de la variable {}'.format(col))\r\n    plt.show()<\/pre>\n
Vamos a probar con la misma columna de hace un momento: co2. Cuanto m\u00e1s se parezca nuestra gr\u00e1fica a una l\u00ednea de 45 grados, m\u00e1s normal ser\u00e1.<\/p>\n
\"python<\/a><\/p>\n
En el caso de la variable co2, se ajusta bastante a una distribuci\u00f3n normal.<\/p>\n
Test de normalidad<\/h3>\n
Otra forma de asegurarse de que se sigue una distribuci\u00f3n normal es realizando un test de normalidad.<\/p>\n
columnas_numericas = vehiculos.select_dtypes(['int', 'float']).columns\r\nfor num_col in columnas_numericas:\r\n    _, pval = stats.normaltest(vehiculos[num_col])\r\n    if(pval < 0.05):\r\n        print(\"Columna {} no sigue una distribuci\u00f3n normal\".format(num_col))<\/pre>\n
En un test de normalidad, aceptamos o rechazamos que una variable sigue una distribuci\u00f3n normal, para, en el caso de un nivel de confianza de 95%, el pval sea menor o mayor a 0.05. El c\u00f3digo anterior est\u00e1 dise\u00f1ado para probar todas las columnas num\u00e9ricas que encuentre.<\/p>\n
Como podr\u00e1s observar, estrictamente hablando, ninguna de nuestras variables sigue una distribuci\u00f3n normal.<\/p>\n
Distribuci\u00f3n de variables categ\u00f3ricas<\/h2>\n
Te dejo una funci\u00f3n que nos permite observar la distribuci\u00f3n de una variable categ\u00f3rica. Recuerda que en el paso anterior creamos variables categ\u00f3ricas para simplificar el an\u00e1lisis de datos. Probemos con clase_tipo, una variable donde clasificamos los tipos de veh\u00edculos disponibles.<\/p>\n
def distribucion_variable_categorica(col):\r\n    vehiculos[col].value_counts(ascending=True,normalize=True).tail(20).plot.barh()\r\n    plt.show()\r\ndistribucion_variable_categorica('clase_tipo')<\/pre>\n
El gr\u00e1fico que observamos es:<\/p>\n
\"python<\/a><\/p>\n
En \u00e9ste caso, observamos que la clase mayoritaria de veh\u00edculos es la de coches peque\u00f1os, con un 35% del total.<\/p>\n
 <\/p>\n","protected":false},"excerpt":{"rendered":"
Veremos la siguiente fase del an\u00e1lisis de datos usando Python: Distribuci\u00f3n de Variables. Usaremos histogramas, gr\u00e1fico de probabilidad y test de normalidad.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"amp_status":"","footnotes":""},"categories":[52],"tags":[266,281,283,230,282],"class_list":["post-2027","post","type-post","status-publish","format-standard","hentry","category-estadistica","tag-analisis-de-datos","tag-distribucion-normal","tag-grafico-de-probabilidad","tag-python","tag-test-de-normalidad"],"_links":{"self":[{"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/posts\/2027","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/comments?post=2027"}],"version-history":[{"count":6,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/posts\/2027\/revisions"}],"predecessor-version":[{"id":2049,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/posts\/2027\/revisions\/2049"}],"wp:attachment":[{"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/media?parent=2027"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/categories?post=2027"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/naps.com.mx\/blog\/wp-json\/wp\/v2\/tags?post=2027"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}