def get_caeb(pdf_filename):
"""
Construye un diccionario de los códigos y nombres en
la Clasificación de Actividades Económicas de Bolivia.
"""
pdf = pdfplumber.open(pdf_filename)
caeb = {}
for i, page in enumerate(pdf.pages[28:62]):
rows = page.extract_text().split('\n')
rows = rows[[i + 1 for i, row in enumerate(rows) if 'DESCRIPCIÓN' in row][0]:-1]
for row in rows:
categoria = re.findall('^[A-Z]\s\s\s\s+', row)
if len(categoria) > 0:
cat = categoria[0].strip()
caeb[cat] = []
actividad = re.findall('[0-9]+', row)
if len(actividad) > 0:
caeb[cat].append(actividad[0])
actividades = [{actividad:key for actividad in caeb[key]} for key in caeb.keys()]
actividades = dict(ChainMap(*actividades))
caeb = {**actividades, **{key:key for key in caeb.keys()}}
return caeb
def get_cob(pdf_filename):
"""
Construye un diccionario de los códigos y nombres en
la Clasificación de Ocupaciones de Bolivia 2009.
"""
pdf = pdfplumber.open(pdf_filename)
cob = {}
before_nombre = ''
for i, page in enumerate(pdf.pages[29:43]):
p = unicodedata.normalize(u'NFKD', page.extract_text()).encode('ascii', 'ignore').decode('utf8')
rows = re.split('\n(?=[\s0-9])', p)
rows = rows[[i + 1 for i, row in enumerate(rows) if 'DESCRIPCION' in row][0]:-1]
for row in rows:
codigo = re.findall('[0-9]+', row)[0]
nombre = re.findall('[A-Za-z][A-Za-z\s\/\;\,\.\:\(\)\[\]\{\}\-\_]+', row)[0].lower()
if '\n' in nombre:
nombre_split = nombre.split('\n')
nombre = ' '.join([before_nombre, nombre_split[0]])
before_nombre = ' '.join(nombre_split[1:])
else:
nombre = ' '.join([before_nombre, nombre])
before_nombre = ''
cob[codigo] = nombre.strip()
return cob
def flatten_cob(cob, level=2):
"""
Aplana entradas en el diccionario de ocupaciones a
un nivel específico para facilitar operaciones agregadas
"""
cob2 = {}
categories = [c for c in cob.keys() if len(c) == level]
i = -1
for c in cob.keys():
nivel = len(c)
if nivel == level:
i += 1
cob2[c] = cob[categories[i]]
elif nivel > level and c[:level] == categories[i]:
cob2[c] = cob[categories[i]]
elif nivel < level:
cob2[c] = cob[categories[i + 1]]
return cob2
def diccionarios(ocupaciones_nivel):
"""
Retorna los diccionarios necesarios para intepretar
valores en la encuesta.
"""
actividades = {
'A': 'agricultura, ganadería, caza , pesca y silvicultura',
'B': 'explotación de minas y canteras',
'C': 'industria manufacturera',
'D': 'suministro de electricidad, gas, vapor y aire acondicionado',
'E': 'suministro de agua; evacuación de aguas residuales, gestión de desechos y descontaminación',
'F': 'construcción',
'G': 'venta por mayor y por menor; reparación de vehículos automotores y motocicletas',
'H': 'transporte y almacenamiento',
'I': 'actividades de alojamiento y servicio de comidas',
'J': 'información y comunicaciones',
'K': 'intermediación financiera y seguros',
'L': 'actividades inmobiliarias',
'M': 'servicios profesionales y técnicos',
'N': 'actividades de servicios administrativos y de apoyo',
'O': 'administración pública, defensa y planes de seguridad social de afiliación obligatoria',
'P': 'servicios de educación',
'Q': 'servicios de salud y de asistencia social',
'R': 'actividades artísticas, de entretenimiento y recreativas',
'S': 'otras actividades de servicios',
'T': 'actividades de hogares privados como empleadores',
'U': 'servicios de organizaciones y órganos extraterritoriales'
}
niveles_educativos = {
10: 'ninguno y no sabe leer y escribir',
11: 'ninguno pero sabe leer y escribir',
12: 'programa de alfabetización',
13: 'educación inicial o pre-escolar (pre kinder/kinder)',
21: 'sistema escolar antiguo - básico (1 a 5 años)',
22: 'sistema escolar antiguo - intermedio (1 a 3 años)',
23: 'sistema escolar antiguo - medio (1 a 4 años)',
31: 'sistema escolar anterior - primaria (1 a 8 años)',
32: 'sistema escolar anterior - secundaria (1 a 4 años)',
41: 'sistema escolar actual - primaria (1 a 6 años)',
42: 'sistema escolar actual - secundaria (1 a 6 años)',
51: 'educación de adultos (sistema antiguo) - educación básica de adultos (eba)',
52: 'educación de adultos (sistema antiguo) - centro de educación media de adultos (cema)',
61: 'educación alternativa y especial - educación juvenil alternativa (eja)',
62: 'educación alternativa y especial - educación primaria para adultos (epa)',
63: 'educación alternativa y especial - educación secundaria para adultos (esa)',
64: 'educación alternativa y especial - programa nacional de post alfabetización',
65: 'educación alternativa y especial - educación especial',
71: 'educación superior - normal (escuela sup. de formación de maestros)',
72: 'educación superior - universidad pública (licenciatura)',
73: 'educación superior - universidad privada (licenciatura)',
74: 'educación superior - postgrado diplomado',
75: 'educación superior - postgrado maestría',
76: 'educación superior - postgrado doctorado',
77: 'educación superior - técnico de universidad',
78: 'técnico de instituto (duración mayor o igual a 1 año)',
79: 'institutos de formación militar y policial',
80: 'educación técnica de adultos (eta)',
81: 'otros cursos (duración menor a 1 año)'
}
deptos = {
1: 'Chuquisaca',
2: 'La Paz',
3: 'Cochabamba',
4: 'Oruro',
5: 'Potosí',
6: 'Tarija',
7: 'Santa Cruz',
8: 'Beni',
9: 'Pando'
}
caeb = get_caeb('data/CAEB_2011.pdf')
municipios = pd.read_csv('data/municipios.csv', index_col='cod_ine').municipio
cob = get_cob('data/COB_2009.pdf')
ocupaciones = flatten_cob(cob, ocupaciones_nivel)
return caeb, actividades, niveles_educativos, deptos, municipios, ocupaciones, cob
def format_data(dfi, caeb, actividades, niveles_educativos, deptos, municipios, ocupaciones):
"""
Formatea datos de la encuesta con los diccionarios y
las funciones disponibles.
"""
def dateformat_nacimiento(x):
if x[0] != ' ':
try:
return dt.datetime.strptime('{}-{}-{}'.format(x[0], x[1], x[2]), '%Y-%m-%d')
except Exception as e:
return None
else:
return None
def parse_año(dfi):
dfi['año'] = dfi['año'].astype(int)
return dfi
def parse_trimestre(dfi):
dfi['trimestre'] = dfi['trimestre'].astype(int)
return dfi
def parse_dep(dfi):
dfi['dep'] = dfi.dep.map(deptos)
return dfi
def parse_area(dfi):
dfi['area'] = dfi['area'].map({1: 'urbana', 2: 'rural'})
return dfi
def parse_sexo(dfi):
dfi['sexo'] = dfi['sexo'].map({1: 'hombre', 2: 'mujer'})
return dfi
def parse_nacimiento(dfi):
i = dfi.columns.tolist().index('nacimiento_año')
dfi.insert(i, 'nacimiento', dfi[['nacimiento_año', 'nacimiento_mes', 'nacimiento_dia']].apply(lambda x: dateformat_nacimiento(x), axis=1))
dfi.drop(columns=['nacimiento_año', 'nacimiento_mes', 'nacimiento_dia'], inplace=True)
return dfi
def parse_educacion(dfi):
dfi['educacion'] = dfi.educacion.apply(lambda x: int(x) if x != ' ' else None).map(niveles_educativos)
return dfi
def parse_años_estudio(dfi):
dfi['años_estudio'] = pd.to_numeric(dfi.años_estudio, errors='coerce')
return dfi
def parse_nivel_educativo(dfi):
dfi['nivel_educativo'] = pd.to_numeric(dfi.nivel_educativo, errors='coerce').map({0: 'ninguno', 1.0: 'primaria incompleta', 2.0: 'primaria completa', 3.0:'secundaria incompleta', 4.0:'secundaria completa', 5.0:'superior', 7.0:'otro'})
return dfi
def parse_trabaja_semana(dfi):
dfi['trabaja_semana'] = dfi.trabaja_semana.map({'1': 'si', '2': 'no'})
return dfi
def parse_trabaja(dfi):
dfi['trabaja'] = dfi.trabaja.map({'1': 'si', '2': 'no'})
return dfi
def parse_municipio(dfi):
dfi['municipio'] = pd.to_numeric(dfi.municipio, errors='coerce')
return dfi
def parse_actividad(dfi):
dfi['actividad'] = dfi['actividad'].map(caeb).map(actividades)
return dfi
def parse_ocupacion(dfi):
dfi['ocupacion'] = dfi['ocupacion'].map(ocupaciones)
return dfi
def parse_horas_semana(dfi):
dfi['horas_semana'] = pd.to_numeric(dfi.horas_semana, errors='coerce')
return dfi
def parse_tiempo(dfi):
dfi['tiempo_unidad'] = pd.to_numeric(dfi.tiempo_unidad, errors='coerce').map({2: 1/53, 4: 1/12, 8: 1})
dfi['tiempo'] = pd.to_numeric(dfi.tiempo, errors='coerce') * dfi.tiempo_unidad
dfi.drop(columns=['tiempo_unidad'], inplace=True)
return dfi
def parse_nit(dfi):
dfi['nit'] = dfi.nit.map({'1': 'regimen general', '2': 'regimen simplificado', '3': 'no tiene'})
return dfi
def parse_tamaño_empresa(dfi):
dfi['tamaño_empresa'] = pd.to_numeric(dfi.tamaño_empresa, errors='coerce')
return dfi
def parse_salario(dfi):
dfi['salario'] = pd.to_numeric(dfi.salario, errors='coerce')
dfi['salario_frecuencia'] = pd.to_numeric(dfi.salario_frecuencia, errors='coerce').map({1.0: 1.0, 2.0: 1/7, 3.0: 1/15, 4.0: 1/30, 5.0: 1/60, 6.0:1/90, 7.0:1/180, 8.0:1/365})
dfi['salario'] = dfi.salario * dfi.salario_frecuencia
dfi.drop(columns=['salario_frecuencia'], inplace=True)
return dfi
def parse_ingreso(dfi):
dfi['ingreso'] = pd.to_numeric(dfi.ingreso, errors='coerce')
dfi['ingreso_frecuencia'] = pd.to_numeric(dfi.ingreso_frecuencia, errors='coerce').map({1.0: 1.0, 2.0: 1/7, 3.0: 1/15, 4.0: 1/30, 5.0: 1/60, 6.0:1/90, 7.0:1/180, 8.0:1/365})
dfi['ingreso'] = dfi.ingreso * dfi.ingreso_frecuencia
dfi.drop(columns=['ingreso_frecuencia'], inplace=True)
return dfi
def parse_trabaja_semana_2(dfi):
dfi['trabaja_semana_2'] = dfi['trabaja_semana_2'].map({'1': 'si', '2': 'no'})
return dfi
def parse_trabaja_2(dfi):
dfi['trabaja_2'] = dfi['trabaja_2'].map({'1': 'si', '2': 'no'})
return dfi
def parse_ocupacion_2(dfi):
dfi['ocupacion_2'] = dfi['ocupacion_2'].map(ocupaciones)
return dfi
def parse_actividad_2(dfi):
dfi['actividad_2'] = dfi['actividad_2'].map(caeb).map(actividades)
return dfi
parsers = {
'año': parse_año,
'trimestre': parse_trimestre,
'dep': parse_dep,
'area': parse_area,
'sexo': parse_sexo,
'nacimiento_año': parse_nacimiento,
'educacion': parse_educacion,
'años_estudio': parse_años_estudio,
'nivel_educativo': parse_nivel_educativo,
'trabaja_semana': parse_trabaja_semana,
'trabaja': parse_trabaja,
'municipio': parse_municipio,
'actividad': parse_actividad,
'ocupacion': parse_ocupacion,
'horas_semana': parse_horas_semana,
'tiempo': parse_tiempo,
'nit': parse_nit,
'tamaño_empresa': parse_tamaño_empresa,
'salario': parse_salario,
'ingreso': parse_ingreso,
'trabaja_semana_2': parse_trabaja_semana_2,
'trabaja_2': parse_trabaja_2,
'ocupacion_2': parse_ocupacion_2,
'actividad_2': parse_actividad_2
}
for col in parsers.keys():
if col in dfi.columns:
dfi = parsers[col](dfi)
return dfi
def load_data(column_filter):
"""
Carga una serie de columnas de la encuesta, cambia sus nombres
a nombres más fáciles de interpretar y devuelve una tabla
con el orden de columnas provisto.
"""
column_names = {
'id_per_panel': 'id_panel',
'panel': 'panel',
'gestion': 'año',
'trimestre': 'trimestre',
'depto': 'dep',
'area': 'area',
's1_02': 'sexo',
's1_03ba': 'nacimiento_dia',
's1_03bb': 'nacimiento_mes',
's1_03bc': 'nacimiento_año',
's1_07a': 'educacion',
'aestudio': 'años_estudio',
'niv_ed': 'nivel_educativo',
's2_01': 'trabaja_semana',
's2_14': 'trabaja',
's2_39deptocod': 'municipio',
's2_16acod': 'actividad',
's2_15acod': 'ocupacion',
'phrs': 'horas_semana',
's2_19a_t': 'tiempo',
's2_19a_p': 'tiempo_unidad',
's2_23': 'nit',
's2_26': 'tamaño_empresa',
's2_33_v': 'salario',
's2_33_f': 'salario_frecuencia',
's2_38_v': 'ingreso',
's2_38_f': 'ingreso_frecuencia',
's2_42': 'trabaja_semana_2',
's2_43': 'trabaja_2',
's2_44acod': 'ocupacion_2',
's2_45acod': 'actividad_2'
}
dfi = pd.read_csv('data/encuesta_trabajo/ECE_4T15_1T21.csv', encoding='ISO-8859-1', delimiter=';', usecols=column_filter)[column_filter]
dfi.columns = [column_names[col] for col in column_filter]
return dfi
