def get_caeb(pdf_filename):
pdf = pdfplumber.open(pdf_filename)
caeb = {}
for i, page in enumerate(pdf.pages[28:62]):
rows = page.extract_text().split('\n')
rows = rows[[i + 1 for i, row in enumerate(rows) if 'DESCRIPCIÓN' in row][0]:-1]
for row in rows:
categoria = re.findall('^[A-Z]\s\s\s\s+', row)
if len(categoria) > 0:
cat = categoria[0].strip()
caeb[cat] = []
actividad = re.findall('[0-9]+', row)
if len(actividad) > 0:
caeb[cat].append(actividad[0])
actividades = [{actividad:key for actividad in caeb[key]} for key in caeb.keys()]
actividades = dict(ChainMap(*actividades))
caeb = {**actividades, **{key:key for key in caeb.keys()}}
return caeb
def diccionarios():
actividades = {
'A': 'agricultura, ganadería, caza , pesca y silvicultura',
'B': 'explotación de minas y canteras',
'C': 'industria manufacturera',
'D': 'suministro de electricidad, gas, vapor y aire acondicionado',
'E': 'suministro de agua; evacuación de aguas residuales, gestión de desechos y descontaminación',
'F': 'construcción',
'G': 'venta por mayor y por menor; reparación de vehículos automotores y motocicletas',
'H': 'transporte y almacenamiento',
'I': 'actividades de alojamiento y servicio de comidas',
'J': 'información y comunicaciones',
'K': 'intermediación financiera y seguros',
'L': 'actividades inmobiliarias',
'M': 'servicios profesionales y técnicos',
'N': 'actividades de servicios administrativos y de apoyo',
'O': 'administración pública, defensa y planes de seguridad social de afiliación obligatoria',
'P': 'servicios de educación',
'Q': 'servicios de salud y de asistencia social',
'R': 'actividades artísticas, de entretenimiento y recreativas',
'S': 'otras actividades de servicios',
'T': 'actividades de hogares privados como empleadores',
'U': 'servicios de organizaciones y órganos extraterritoriales'
}
niveles_educativos = {
10: 'ninguno y no sabe leer y escribir',
11: 'ninguno pero sabe leer y escribir',
12: 'programa de alfabetización',
13: 'educación inicial o pre-escolar (pre kinder/kinder)',
21: 'sistema escolar antiguo - básico (1 a 5 años)',
22: 'sistema escolar antiguo - intermedio (1 a 3 años)',
23: 'sistema escolar antiguo - medio (1 a 4 años)',
31: 'sistema escolar anterior - primaria (1 a 8 años)',
32: 'sistema escolar anterior - secundaria (1 a 4 años)',
41: 'sistema escolar actual - primaria (1 a 6 años)',
42: 'sistema escolar actual - secundaria (1 a 6 años)',
51: 'educación de adultos (sistema antiguo) - educación básica de adultos (eba)',
52: 'educación de adultos (sistema antiguo) - centro de educación media de adultos (cema)',
61: 'educación alternativa y especial - educación juvenil alternativa (eja)',
62: 'educación alternativa y especial - educación primaria para adultos (epa)',
63: 'educación alternativa y especial - educación secundaria para adultos (esa)',
64: 'educación alternativa y especial - programa nacional de post alfabetización',
65: 'educación alternativa y especial - educación especial',
71: 'educación superior - normal (escuela sup. de formación de maestros)',
72: 'educación superior - universidad pública (licenciatura)',
73: 'educación superior - universidad privada (licenciatura)',
74: 'educación superior - postgrado diplomado',
75: 'educación superior - postgrado maestría',
76: 'educación superior - postgrado doctorado',
77: 'educación superior - técnico de universidad',
78: 'técnico de instituto (duración mayor o igual a 1 año)',
79: 'institutos de formación militar y policial',
80: 'educación técnica de adultos (eta)',
81: 'otros cursos (duración menor a 1 año)'
}
deptos = {
1: 'Chuquisaca',
2: 'La Paz',
3: 'Cochabamba',
4: 'Oruro',
5: 'Potosí',
6: 'Tarija',
7: 'Santa Cruz',
8: 'Beni',
9: 'Pando'
}
caeb = get_caeb('data/CAEB_2011.pdf')
municipios = pd.read_csv('data/municipios.csv', index_col='cod_ine').municipio
return caeb, actividades, niveles_educativos, deptos, municipios
def get_data():
column_filter = ['s3_66', 'gestion', 'trimestre', 'depto', 'area', 's1_02', 's1_03ba', 's1_03bb', 's1_03bc', 's1_07a', 's3_66deptocod', 's3_66ciucomcod', 's3_67a', 's3_67adia', 's3_67ames', 's2_16acod', 's3_69cod']
dfi = pd.read_csv('data/encuesta_trabajo/ECE_4T15_1T21.csv', encoding='ISO-8859-1', delimiter=';', usecols=column_filter);
dfi = dfi[dfi['s3_66'] == '2'][[col for col in column_filter if col != 's3_66']]
dfi.columns = ['año', 'trimestre', 'dep_local', 'area', 'sexo', 'nacimiento_dia', 'nacimiento_mes', 'nacimiento_año', 'educacion', 'municipio_distante', 'ciudad_distante', 'tiempo_distante', 'dias_distante', 'meses_distante', 'actividad_local', 'actividad_distante']
dfi['actividad_local'] = dfi['actividad_local'].map(caeb).map(actividades)
dfi['actividad_distante'] = dfi['actividad_distante'].map(caeb).map(actividades)
dfi.insert(5, 'nacimiento', dfi[['nacimiento_año', 'nacimiento_mes', 'nacimiento_dia']].apply(lambda x: dt.datetime.strptime('{}-{}-{}'.format(x[0], x[1], x[2]), '%Y-%m-%d') if x[0] != ' ' else None, axis=1))
dfi.drop(columns=['nacimiento_año', 'nacimiento_mes', 'nacimiento_dia'], inplace=True)
dfi['sexo'] = dfi['sexo'].map({1: 'hombre', 2: 'mujer'})
dfi['area'] = dfi['area'].map({1: 'urbana', 2: 'rural'})
dfi.insert(3, 'dep_distante', dfi.municipio_distante.apply(lambda x: int(str(x)[0]) if x != ' ' else None))
dfi['dep_distante'] = dfi.dep_distante.map(deptos)
dfi['dep_local'] = dfi.dep_local.map(deptos)
dfi['educacion'] = dfi.educacion.apply(lambda x: int(x) if x != ' ' else None).map(niveles_educativos)
dfi['tiempo_distante'] = dfi.tiempo_distante.astype(int).map({1: 'no se queda a dormir', 2: 'se queda a dormir días', 3: 'se queda meses'})
dfi['municipio_distante'] = dfi.municipio_distante.apply(lambda x: int(x) if x != ' ' else 0)
dfi.insert(8, 'municipio_distante_nombre', dfi['municipio_distante'].map(municipios.to_dict()))
return dfi
def get_mapa():
mapa = gpd.read_file('data/fondos municipal.geojson')
lagos = mapa[mapa.MUNICIPIO == ''].set_index('id').geometry
mapa = mapa[mapa.MUNICIPIO != '']
mapa['c_ut'] = mapa.c_ut.astype(int)
mapa = mapa.set_index('c_ut').geometry
return mapa, lagos
