Scripts y herramientas de ayuda

Consideraciones iniciales

Estos scripts y herramientas de apoyo fueron diseñados para operar en Linux, así que ya sabes lo que eso implica, te toca más línea de comandos. 

Como todo el software que proporcionamos, va sin garantía de funcionamiento (no soy una empresa dedicada a software ni cobro por las herramientas), así que puedes encontrar fallos o algún que otro problema (pero tranquilo, eso no significa que se te vaya a romper el pc). Todos ellos fueron generados gracias a la información que aporta la comunidad, yo solo hice las adaptaciones que necesitaba para mis fines. En cualquier caso, hemos aplicado una licencia MIT, para reforzar esta idea.

Los scripts que he preparado aquí están pensados principalmente para ayudarte a preparar los datos en el formato con el que trabajan los programas principales, así como poder automatizar algunos procesos de representación de resultados finales. En el interiro de cada carpeta encontrarás el script, instrucciones, y un ejemplo con datos para que puedas probarlo. Los nombres me los invento yo, pero se los puedes cambiar si no te gustan, al igual que la programación que contienen, si tienes los conocimientos o bien te sientes lo suficientemente confiado (es cuestión de práctica y echarle horas).

Para leer los script y los programas tienes que ir a la función MAIN, que está en la parte inferior. Es la que indica el orden en el que van pasando las cosas (son todos de programación estructurada, nada de objetos). Existen muchos comentarios en español que explican que va pasando a lo largo del código, por lo que puede ser una oportunidad para ir aprendiendo sin miedo.

Otro aspecto a considerar, como he comentado, es que yo no soy programador, así que una de las cosas que echaras en falta si tu, lector, lo eres, son las mil y una líneas que se añaden a cualquier programa para evitar que el usuario meta la pata. En este caso, el usuario tendrá que ser cuidadoso y asegurarse que los archivos de configuración están correctos (es bueno guardar siempre una copia del original).

Recuerda que si el archivo de configuración está en el mismo directorio que el script, no es necesario escribir toda la ruta cuando ejecutas el script (./nombre_scritp.xx config.file), pero si lo tienes en otra carpeta, entonces si. Es la misma situación que hemos descrito en cómo ejecutar los programas de análisis espacial.

Importante: si no usas los scripts para obtener los archivos con el formato de trabajo especificado sino que exportas directamente desde el SIG, debes recordar que todos aquellos *.csv deben ir separados por espacios, para que sean leídos por los programas principales de análisis espacial que están escritos en lenguaje C. Si llevan incorporados nombres, a estos deben añadirse un guión bajo para sustituir los espacios (LA TOLA, debe quedar como LA_TOLA), para evitar errores de lectura. Este tipo de operaciones pueden hacerse fácilmente en MS Office Excel o Libre Office Calc. También, es fundamental que hagas una revisión visual siempre del archivo exportado, a veces, columnas que deberían ser tratadas como números las convierte a texto. Lo mejor para ello es abrir el archivo exportado en un block de notas sencillo que no le agregue formato.

Prepara formato de entrada para archivos .*csv de UAEs

Script denominado prepara-UAE.py escrito en Python 3.X utilizando como librerías principales Pandas para manejo de datos y Configparse para lectura de archivos de configuración.

Este srcript tiene un propósito parecido al anterior, pero en este caso aplicado a los archivos *.csv que acompañan a las UAEs raster (*.grd). Este es más fácil trabajarlo directamente desde el SIG, generando los siguientes campos: ID, CODE, PERIM, AREA, XCOOR e YCOOR. Si ya los tienes, solo debes ordenarlos y eliminar el resto de atributos antes de exportar a *.csv. De otra forma, exportas el archivo original y luego adaptas un archivo de configuración para que el script genere el archivo con el formato necesario. En este caso hemos aportado un ejemplo sencillo derivado de los barrios de Quito para probar la herramienta.

Este script genera dos tipos de formato de archivo de salida: 1) el comentado anteriormente de uso más extendido para las modalidades de análisis espacial RASTER-RASTER y RASTER-VECTOR;  2) otro donde se añade una última columna con el nombre NAME, pensado para operar con capas administrativas en análisis espacial VECTOR-RASTER. El objetivo aquí consiste en transferir en bloque todas las zonas administrativas o de interés en las que un punto está situado. A continuación, indicamos cada uno de los parámetros disponibles en el archivo de configuración:

• tipform: Define el formato de salida, 1 sin nombre, 2 con nombre al final.

• symbol: Indica el elemento que hemos usado para separar los datos del *.csv que lee: 1 equivale a " ", 2 a tab " " y 3 a ";".

• creacod: Si no existe le decimos que cree uno con valor 0, para ello debemos de poner un 1.

• creanam: Si existe o no nombre de entidad (1, se adiciona una palabra para completar la estructura) en formato 2.

• outdir: directorio de salida del dato generado sin /home/usuario

• infile: ruta y nombre del archivo a procesar sin /home/usuario

• outfile: nombre del archivo de salida

• nide: número de la columna del atributo ID

• ncod: número de la columna del atributo código (si existe)

• nper: número de la columna del atributo para el valor del perímetro

• nare: número de la columna del atributo para el valor del área

• nxco:  número de la columna del atributo para la coordenada x

• nyco:  número de la columna del atributo para la coordenada y

• name: número de la columna del atributo donde se sitúa el nombre de la entidad vectorial

Descarga aquí el script y un archivo de configuración de ejemplo

Genera archivo *.grd para datos raster

Script denominado cambia_raster.sh escrito en lenguaje BASH que depende de la librería GDAL (debe estar instalada en el sistema) dedicada al manejo de datos espaciales tipo raster o vectoriales.

Para el caso del Qgis, he observado que el proceso de rasterización da menos problemas utilizando el formato *.geotif, que es el definido por defecto en el sistema. Así que la manera de operar es realizar el proceso de rasterización (vector-raster para UAE o datos poligonoales que van a trabajar como raster) dentro del SIG (aunque también tengo otro script para eso) y luego pasar a formato Binary Golden Software (*.grd) mediante el uso de este script. El diseño del mismo contempla varios supuestos dependiendo de la proyección de origen del dato. 

Para operar con él hay que abrirlo en un editor simple y modificar las primeras líneas, donde encontrarás tres secciones específicas que hacen referencia al tipo de raster esperado (decimal o entero), el tipo de proyección origen destino y el nombre del archivo de entrada y la ruta escogida de salida. En este caso está preparado para operar en el DMQ. El resultado final debería ser el archivo que realmente procesemos con las aplicaciones de análisis espacial.

Se ha incluido un ejemplo a partir de una cuenca hidrográfica de Quito, para pasar de formato *.geotif a *.grd.

Descarga aquí el script y un archivo de configuración de ejemplo

Unifica archivos .*csv de salida con shapefiles

Script denominado unifica_csvtoshp.py escrito en Python 3.X utilizando como librerías principales Pandas y Geopandas para manejo de datos y Configparse para lectura de archivos de configuración.

Como hemos explicado, bien para los archivos de UAEs, bien para los vectoriales, los archivos de salida en formato *.csv pueden unirse físicamente a la capa shapefile de la que son originarios mediante un campo común (el ID), de tal forma que entidades vectoriales y nuevos atributos queden fijados en un único archivo. Esta operación también puede realizarse fácilmente en el SIG, pero cuando son muchos y hay que hacerla frecuentemente, lo ideal es tener un archivo de configuración y un script que puede realizar varias uniones consecutivas, actualizando en cascada todas las capas de interés que queramos.

En este caso, los parámetros del archivo de configuración son sencillos:

• id1name:  Nombre del campo/atributo de la capa shapefile que servirá de unión 

• id2name:  Nombre del campo/atributo de la capa *.csv que servirá de unión 

• namzone: Nombre sin espacios que será utilizado para almacenar los datos a modo de sub-directorio

• symbol: Valor numérico que representa como están separadas las columnas del archivo *.csv

• outdir: Directorio de salida del dato generado sin /home/usuario

• inshp: Ruta y nombre del archivo shapefile sin /home/usuario que servirá para la unión. A menudo almaceno una versión especial en la que he retirado algunos atributos para que quede más limpio el resultado final.

• incsv: Ruta y nombre del archivo *.csv sin /home/usuario, equivalente al anterior y que aportará los nuevo atributos.

Descarga aquí el script y un archivo de configuración de ejemplo

Pinta mapas en formato *.jpg a partir de shapefiles

La representación gráfica de la información obtenida es otro mundo. En nuestro caso hemos desarrollado algunas aproximaciones específicas para obtener algunos materiales (evitando tener que pintar mapas en el SIG constantemente). Una de estas estrategias pasa por generar mapas de coropletas en formato *.png para cada uno de los indicadores disponibles y capa evaluada. Luego, por ejemplo, pueden unificarse en un solo archivo tal como mostramos en el ejemplo de visualización de Quito.

Este tipo de script son ya bastante más personales y a gusto de cada uno, la idea es que puedas adaptarlo a tus necesidades si lo crees conveniente, al igual que nosotros hicimos. Además del script con los archivos de ejemplo y su correspondiente configuración, encontrarás un archivo adicional (campos_pinta.csv) que define que atributos deben ser convertidos a mapa. Este archivo se adapta para cada grupo de datos que dispongan de los mismos tipos de atributos. La forma de confeccionarlo es bastante simple con los siguientes campos de información:

• Pintamap: Si el atributo debe ser procesado o no, pore ejemplo, podemos poner todos pero solo seleccionar aquellos que son más importantes.

• Campo: Nombre del atributo que debe ser pintado, debe coincidir exactamente con el que tiene el shapefile, caso contrario dará un error indicando que no lo encuentra.

• Descrip: Describe el tipo de atributo y el texto será utilizado como subtítulo en el mapa.

• Leyenda: Define el tipo de dato que se está utilizando y se utiliza para caracterizar la barra de color que aparece a la derecha.

• Paleta: La gama de color que será utilizada para pintar los datos. Al final del scripts encontrarás posibles combinaciones a modo de anotación

• numorden: Orden en el que aparece el atributo o indicador, se utiliza en el nombre del archivo de salida.

A parte del anterior, nuestro archivo de entrada princpal es el shapefile que contiene las formas vectoriales y los atributos derivados del análisis espacial. Los parámetros del archivo de configuración se explican a continuación:

• labnam: Nombre del la etiqueta que se mostrará del archivo con la división administrativa superior.

• varsupe: Si utilizamos o no capa superior, 0 etiquetamos con el mismo valor de la capa de entrada, 1 etiquetamos con la capa superior y >1 pintamos los límites de la capa superior pero etiquemaos con los datos > 0.

• varfons: Tamaño de fuente para las etiquetas de capa superior

• vardire: Nombre del subdirectorio donde se almacenarán los datos de salida

• vartitu: Título de cabecera del mapa.

• varorig: Texto para indicar la fuente de origen de los datos, en la esquina inferior izquierda del mapa

• varlinc: Color de línea de la capa principal a colorear.

• varling: Grosor de línea de la capa principal a colorear.

• varkmok: Añade la etiqueta de kilómetros o metros a la leyenda para las capas longitudinales en función de como hayan sido calculadas (para UAEs grandes se suelen usar km). Únicamente vale para los datos generados en modo sistema.

• varleye: Tipo de leyenda y sistema para colorear que será utilizado: 1 normalizado; 2 por cuantiles; y 3 por categorías.

• varlimi: Si aplicamos límites espaciales al mapa (valor 1), en función de la capa principal a colorear. Esta versión, en nuestro caso, genera un mapa para todo el área de estudio, independientemente del nivel de desagregación espacial utilizado. 

• varesol: Resolución del archivo *.png final.

• varalto: Tamaño de imagen a lo alto

• varanch: Tamaño de imagen a lo ancho

• outdir: directorio de salida del dato generado sin /home/usuario

• inpint: Archivo que indica los atributos que deben ser mapeados sin /home/usuario

• inshpe: Ruta y nombre del archivo shapefile sin /home/usuario que contiene los datos que queremos representar.

• insupe: Ruta y nombre del archivo shapefile sin /home/usuario que opera como capa administrativa superior (p.e. si mapeamos barrio, podemos poner a nivel de etiquetas las parroquias que son menos y más fáciles de pintar a nivel de división, en vez de escribir todos los barrios). Esto dependerá del tamaño de mapa/imagen que generemos. Si es pequeño, usaremos una unidad superior con menos etiquetas, si es grande podemos utilizar el mismo.

Descarga aquí el script y un archivo de configuración de ejemplo