Taller de introducción a MapProxy y configuración básica¶

Qué es MapProxy¶

MapProxy es un servidor de teselas que lee datos de servidores WMS, TMS, configuraciones de Mapserver o Mapnik, Google Maps, Bing Maps, etc. Podría decirse que MapProxy es un acelerador de mapas en Internet, aunque no solo ofrece servicios de proxy, también es un Servidor WMS, permite realizar Sembrado (Seeding) de capas, permite gestionar seguridad de acceso a capas, reproyectarlas, etc.

Esquema de una red con MapProxy configurado

Un poco más sobre MapProxy¶

• La web del proyecto es http://mapproxy.org
• Es un producto de Omniscale (desarrolladores también de ImpOSM)
• Oliver Tonnhofer es su desarrollador principal
• Está escrito en Python
• Es FOSS desde 2010 (licencia Apache)
• Tiene una lista de correo para soporte y dudas (en inglés)

Pero ¿para qué sirve?¶

Algunos casos de uso:

• Ofrecer acceso a servicios de mapas en zonas con acceso restringido a Internet
• Ofrecer a Internet ciertos servicios internos de una organización sin abrir todo el servidor de mapas corporativo
• Generar servicios de teselas (TMS/WMTS) a partir de un servidor WMS
• Acelerar el acceso a servicios de mapas cacheando la información
• Mezclar cartografía de diferentes servicios de mapas
• Descargar cartografía a equipos que se van a desplazar a zonas sin acceso a Internet (caso del equipo HOT de OSM)
• Servir cartografía diseñada con TileMill
• Ofrecer servicios en diferentes sistemas de coordenadas a partir de un servicio TMS que solo nos llega en el sistema Mercator.

¿Cómo funciona?¶

Se trata de un software de servidor que se configura a través de ficheros escritos en YAML y scripts Python. Una vez configurado correctamente se despliega el servicio mediante alguno de los procedimientos para aplicaciones Python que siguen el estándar WSGI.

services:
  demo:
  kml:
  tms:
  wmts:
  wms:
    srs: ['EPSG:3857', 'EPSG:900913', 'EPSG:4258', 'EPSG:4326', 'EPSG:25831']
    image_formats: ['image/jpeg', 'image/png']
    md:
      # metadata used in capabilities documents
      title: Taller MapProxy
      abstract: Ejercicio de aceleración de WMS y OSM con MapProxy
      online_resource: http://localhost:8080/service
      contact:
        person: Pedro-Juan Ferrer, Iván Sánchez y Jorge Sanz
        position: Facilitadores
        organization: Geoinquietos Valencia
        email: pferrer@osgeo.org , jsanz@osgeo.org y ivan@sanchezortega.es
      access_constraints:
        Este servicio tiene únicamente objetivos educativos.
      fees: 'None'

Descarga de dependencias del sistema¶

Vamos a instalar un par de paquetes iniciales, para ello abre un emulador de terminal y ejecuta::

$ sudo apt-get update
$ sudo apt-get install tree python-virtualenv

A continuación puedes instalar el resto de dependencias de MapProxy:

$ sudo apt-get install python-imaging \
  python-yaml libproj0 libgeos-dev python-lxml libgdal-dev \
  python-shapely build-essential python-dev libjpeg-dev \
  zlib1g-dev libfreetype6-dev

Esto descargará unas 200MB en binarios en un sistema nuevo, tardará un buen rato... A partir de aquí todo se ejecuta como un usuario normal. En el caso de OSGeo Live muchos de estos paquetes ya están instalados y por tanto solo instalará los necesarios.

Cómo instalar MapProxy¶

Primero vamos a descargar los materiales del taller. Usando la misma terminal de la sección anterior, si no te has cambiado estarás en la carpeta raíz del usuario. En el caso de OSGeo Live esta carpeta es /home/user. Encontrándonos en esta carpeta ejecutar:

$ mkdir mapproxy-workshop
$ wget -O mapproxy-workshop/mapproxy-workshop.pdf "http://bit.ly/mapproxy-workshop-cfp2014"

Con esto tendremos una nueva carpeta mapproxy-workshop con el documento pdf del taller. En OSGeo Live podemos abrir el archivo pdf usando el software disponible en Applications ‣ Office ‣ Document Viewer.

Moverse a la carpeta creada y crear el entorno virtual con:

$ cd mapproxy-workshop
$ virtualenv venv

Activar el entorno virtual con:

$ source venv/bin/activate

Instalar la librería de tratamiento de imágenes Pillow con:

(venv)$ pip install Pillow

Y ya por fin podemos instalar MapProxy:

(venv)$ pip install MapProxy

Al finalizar podremos comprobar que MapProxy está instalado usando la instrucción mapproxy-util:

(venv)$ mapproxy-util --version
MapProxy 1.6.0

Crear un proyecto de demostración¶

Para comprobar que MapProxy está funcionando correctamente vamos a crear un proyecto de ejemplo y lo arrancaremos con el servidor de pruebas que MapProxy incorpora. Para ello, nos colocaremos en la carpeta raíz del taller y crearemos la carpeta confs. Nos movemos a esa carpeta y ejecutamos la herramienta que MapProxy incorpora para diferentes tareas mapproxy-util:

(venv)$ mkdir confs
(venv)$ cd confs
(venv)$ mapproxy-util create -t base-config test

Y veremos aparecer en pantalla la confirmación de que ha escrito los archivos:

writing test/mapproxy.yaml
writing test/seed.yaml
writing test/full_example.yaml
writing test/full_seed_example.yaml

Esta instrucción ha creado la carpeta test y dentro de ella cuatro ficheros de configuración dos de los cuales veremos en la siguiente parte del taller. El fichero mapproxy.yaml configura el servidor de teselas y seed.yaml las tareas de pregeneración y/o limpieza de teselas. Los otros dos son ejemplos que muestran configuraciones de casi todos los parámetros que admite MapProxy; no están pensados para ejecutarse (de hecho tienen configuraciones incompatibles) están pensados para demostrar opciones de configuración.

Para ejecutar el servidor de pruebas se utilizará de nuevo mapproxy-util esta vez con la tarea de arrancar el servidor de pruebas.:

(venv)$ cd test
(venv)$ mapproxy-util serve-develop mapproxy.yaml

Y veremos aparecer en pantalla líneas similares a las siguientes:

[2014-02-25 22:20:01,823] mapproxy.config - INFO - reading: /home/user/mapproxy-workshop/test/mapproxy.yaml
[info]  * Running on http://127.0.0.1:8080/
[info]  * Restarting with reloader: stat() polling
[2014-02-25 22:20:01,997] mapproxy.config - INFO - reading: /home/user/mapproxy-workshop/test/mapproxy.yaml

Si nos dirigimos con nuestro navegador a la dirección web http://localhost:8080 podremos ver un mensaje de bienvenida y si hacemos clic en el enlace demo MapProxy nos mostrará su interfaz de demostración de servicios. En esta página podemos ver diferentes enlaces a ficheros de capacidades y a visores. Podemos probar con el servicio TMS y ver la capa osm en el sistema de coordenadas EPSG:3857 en formato png.

Interfaz de demostración de MapProxy

Esta interfaz además de permitir navegar por la cartografía, ofrece información adicional sobre la cache como las coordenadas de sus límites, los niveles de resolución así como el código mínimo necesario para cargar dicha capa usando la biblioteca de webmapping OpenLayers.

Si se observa cuidadosamente la salida de mapproxy-util, se pueden ver tanto las peticiones que mapproxy hace al source...:

[2014-02-25 22:20:13,844] mapproxy.source.request - INFO - GET http://osm.omniscale.net/proxy/service?layers=osm&width=512&version=1.1.1&bbox=-20037508.3428,-20037508.3428,20037508.3428,20037508.3428&service=WMS&format=image%2Fpng&styles=&srs=EPSG%3A3857&request=GetMap&height=512 200 30.1 326

...como las peticiones que MapProxy responde al cliente:

[info] 127.0.0.1 - - [25/Feb/2014 22:20:13] "GET /tms/1.0.0/osm/webmercator/0/1/1.png HTTP/1.1" 200 -

Inspeccionar una cache¶

Finalmente, podemos comprobar cómo el servidor ha guardado algunas teselas al visitar la demostración en la carpeta confs/test/cache_data que podemos ver desde la consola si navegamos hasta esa carpeta y ejecutamos el comando tree:

Presentando la estructura de carpetas de la cache

Como vemos MapProxy ha creado una carpeta para la cache de la capa osm y una estructura de carpetas donde se almacenan las imágenes.

¿Qué tamaño tienen las imágenes? ¿En qué formato están? Si tenemos imagemagick instalado en nuestro ordenador, podemos ver información sobre las imágenes del caché rápidamente ejecutando find:

find . -name *.png -exec identify {} \;

Podemos averiguar el tamaño en disco ocupado por un directorio y todos sus subdirectorios ejecutando el comando du:

du -hs

Igualmente podemos averiguar el número de ficheros contenidos usando la combinación de dos comandos find y wc:

find . -type f | wc -l

Despliegue¶

No es objetivo de este taller describir el proceso de despliegue de MapProxy en un servidor de producción. MapProxy es una aplicación escrita en Python que sigue el estándar WSGI de publicación de aplicaciones web. Este estándar permite publicar aplicaciones de diferentes formas que dependerán en parte de nuestro entorno. En la documentación de despliegue de MapProxy se detallan las más importantes entre las que se podrían destacar:

• Mediante Apache + mod_WSGI: en esta alternativa se activa el módulo WSGI de Apache y se prepara una sección en la configuración que apunte a la ubicación de nuestro server script. Esta variante funciona tanto en Windows como en servidores GNU/Linux.
• Mediante Gunicorn: en este caso se configura un servicio que arranca un servidor gunicorn que se podrá a continuación exponer directamente u ofrecer a través de un proxy inverso con otro servidor web Apache, Nginx o cualquier otro. Esta variante solo se puede configurar en máquinas GNU/Linux.

En ambos casos se utiliza un script de arranque de la aplicación WSGI que se puede generar con la herramienta mapproxy-util.

Introducción¶

Las diferentes funcionalidades de MapProxy se configuran a través de archivos YAML, un estandar de serialización de datos que se emplea en diversos lenguajes de programación.

MapProxy se configura a través de los archivos mapproxy.yaml y seed.yaml, definiendo para cada archivo una serie de secciones y de directivas en las secciones. Estos nombres de fichero son solo una propuesta, desde luego se pueden elegir otros que se adecuen a nuestro proyecto.

En la presente sección hablaremos solo del archivo principal de configuración mapproxy.yaml. Dejaremos el archivo seed.yaml para la sección El archivo de configuración seed.yaml.

Es muy importante respetar la indentación en los archivos, y esta debe realizarse con espacios y NUNCA con tabuladores.

Para seguir el taller crearemos un proyecto llamado valencia01 y editaremos el contenido de su archivo mapproxy.yaml:

$ cd /home/user/mapproxy-workshop/confs/
$ mapproxy-util create -t base-config valencia01
$ cd valencia01
$ leafpad mapproxy.yaml &

mapproxy.yaml¶

El archivo está compuesto de las siguientes secciones

services:

Definición de los servicios que se van a ofrecer.

layers:

Definición de las capas que se servirán. Cada capa puede estar constituida por varias sources y caches

caches:

En esta sección se configuran las cachés internas de los servicios.

sources:

Definición de los orígenes de datos de los servicios.

grids:

En esta sección se definen las rejillas sobre las que se alinean las imágenes que genera MapProxy.

globals:

En esta sección generalmente se definen parámetros que son comunes a todas las secciones.

El orden en el que aparecen las secciones no es importante.

El archivo puede subdividirse en varios archivos utilizando la directiva base (documentación).

Relación entre los componentes¶

Para tener una idea global de cómo interrelacionan los distintos componentes de MapProxy podemos consultar el mapa conceptual de la figura Mapa conceptual de interrelacion entre los componentes de MapProxy.

Mapa conceptual de interrelacion entre los componentes de MapProxy

services¶

MapProxy puede generar los siguientes tipos de servicio:

• Web Map Service (OGC WMS) y WMS-C [wms]
• Tiled Map Services (TMS) [tms]
• Keyhole Markup Language (OGC KML) [kml]
• Web Map Tile Services (WMTS) [wmts]
• MapProxy Demo Service [demo]

Para cada uno se emplea su propia clave, que aparece listada entre corchetes, y en algunos casos se pueden configurar opciones adicionales.

Para el presente taller utilizaremos el servicio wms que se configura indicando los sistemas de referencia en los que se va a servir (srs), los formatos de imagen (image_formats) y metadatos adicionales (md):

Remplaza el contenido de la sección services por el contenido que hay a continuación:

services:
  wms:
    srs: ['EPSG:3857', 'EPSG:900913', 'EPSG:4258', 'EPSG:4326', 'EPSG:25830']
    image_formats: ['image/jpeg', 'image/png']
    md:
      # metadata used in capabilities documents
      title: Taller MapProxy
      abstract: Ejercicio de aceleración de WMS y OSM con MapProxy
      online_resource: http://localhost:8080/service
      contact:
        person: Pedro-Juan Ferrer, Iván Sánchez y Jorge Sanz
        position: Facilitadores
        organization: Geoinquietos Valencia
        email: pferrer@osgeo.org , jsanz@osgeo.org y ivan@sanchezortega.es
      access_constraints:
        Este servicio tiene únicamente objetivos educativos.
      fees: 'None'

Puede encontrarse una descripción más completa de las claves y opciones de los servicios en la página de documentación de services de MapProxy

layers¶

Las capas definen la información que MapProxy proporciona y están formadas por una lista (una lista de YAML) de pares clave - valor.

La información mínima que se requiere es el nombre (name) como identificador único, el título (title) como pequeña descripción y el origen u orígenes de datos (del propio archivo de MapProxy) que la conforman (source):

Remplaza el contenido de la sección layers por el contenido que hay a continuación:

layers:
  - name: orto-icv
    title: Ortofoto 1:5000 del ICV de la zona de Valencia
    sources: [icv_cache]

Puede encontrarse más información sobre las capas así como otros parámetros configurables de las mismas en la sección de layers de la página de configuración de la documentación de MapProxy

caches¶

En caches se configura la manera en la que se almacena una copia de la información en disco, para no tenerla que volver a pedir al servidor. La información que hay que proporcionar en este caso es el origen de datos (sources) y el grid o grids (grids) sobre los que queremos guardar los cachés. En caso de haber varios grids se creará una caché separada por cada capa y cada grid

Remplaza el contenido de la sección caches por el contenido que hay a continuación:

caches:
  icv_cache:
    grids: [utm_valencia]
    sources: [icv_wms]

Puede encontrarse más información sobre las caches así como otros parámetros configurables de los mismos en la sección de caches de la página de configuración de la documentación de MapProxy

sources¶

En esta sección se definen los diferentes orígenes de datos de los servicios que ofrece el archivo de MapProxy, se define el nombre del origen de datos y se configuran parámetros del mismo como el tipo (type) del que admite wms, tiles, mapserver, mapnik y debug. Cada tipo tiene sus propias configuraciones.

Remplaza el contenido de la sección sources por el contenido que hay a continuación:

sources:
  icv_wms:
    type: wms
    supported_formats: ['image/jpeg']
    req:
      url: http://terramapas.icv.gva.es/odcv05_etrs89h30_2010
      layers: odcv05_etrs89h30_2010
    supported_srs: ['EPSG:4326', 'EPSG:25830']
    coverage:
      bbox: [-0.45, 39.26, -0.26, 39.56]
      bbox_srs: 'EPSG:4326'

Puede encontrarse una descripción más completa de las claves de cada tipo en la página de sources de la documentación de MapProxy

grids¶

La sección de grids define las rejillas que emplea MapProxy a nivel interno para almacenar las imágenes generadas. Hay varias opciones de configuración, muchas pueden emplearse simultáneamente aunque tengan efectos contradictorios y produzcan resultados ambiguos.

En general lo mínimo a definir debería ser el nombre, el sistema de referencia (srs), el bounding box (bbox) y las resoluciones (min_res y max_res) aunque en los grids que están basados en otros grids la lista de parámetros puede ser menor.

Remplaza el contenido de la sección grids por el contenido que hay a continuación:

grids:
  utm_valencia:
    srs: 'EPSG:25830'
    bbox: [-0.45, 39.26, -0.26, 39.56]
    bbox_srs: 'EPSG:4326'
    min_res: 2000
    max_res: .5

Se puede consultar más información sobre las claves en la sección de grids de la página de configuración de la documentación de MapProxy

globals¶

En esta sección se colocan directivas y claves que son comunes a todas las otras secciones o son internas de MapProxy.

globals:
  cache:
    base_dir: 'cache_data'
    lock_dir: 'cache_data/locks'

  image:
      resampling_method: bilinear
      jpeg_quality: 90

Una vez más hay amplia información sobre las claves y directivas en la sección de globals de la página de configuración de la documentación de MapProxy

Introducción¶

MapProxy genera teselas bajo demanda y las puede almacenar en una cache, pero para acelerar el proceso, sobretodo de capas que no se prevea que vayan a cambiar demasiado, se puede sembrar la caché para tener imágenes pregeneradas.

El proceso de sembrado o seeding se puede lanzar a través de una herramienta de consola llamada mapproxy-seed y configurarse fácilmente a través de un script en YAML llamado seed.yaml

Para seguir el taller seguiremos empleando el proyecto llamado valencia01 creado en la sección El archivo de configuración mapproxy.yaml. Editaremos el contenido del archivo seed.yaml:

$ cd /home/user/mapproxy-workshop/valencia01
$ leafpad seed.yaml &

seed.yaml¶

El archivo consta de las siguientes secciones

seeds

En esta sección se configuran las opciones de sembrado de las capas.

cleanups

En esta sección se configuran las purgas del sembrado para liberar espacio en disco eliminando imágenes viejas.

coverages

En esta sección se definen zonas que después se pueden emplear tanto en el sembrado como en las purgas.

seeds¶

En la sección se define qué debe ser sembrado haciendo referencia tanto a las caches (caches), como a las rejillas (grids) y por supuesto a los niveles de zoom (levels) pudiendo emplearse además claves de zonas (coverages).

Remplaza el contenido de la sección seeds por el contenido que hay a continuación:

seeds:
  valencia_icv:
    caches: [icv_cache]
    grids: [utm_valencia]
    levels:
      from: 1
      to: 7
    coverages: [valencia]

Puede encontrarse más información sobre estas y otras claves de la sección en la correspondiente sección sobre seeds de la página de seeding de la documentación de MapProxy

cleanups¶

La sección permite configurar las purgas de las cachés para evitar que se acumulen imágenes viejas en disco.

Se debe dar un nombre a cada configuración de purga y definir a que cachés van a atacar (caches), en qué rejillas (grids), a qué niveles (levels) o en que coberturas (coverages) y por supuesto la resolución temporal de la purgas (remove_before).

Remplaza el contenido de la sección cleanups por el contenido que hay a continuación:

cleanups:
  valencia_icv:
    caches: [icv_cache]
    grids: [GLOBAL_MERCATOR, GLOBAL_GEODETIC, utm_valencia]
    levels:
      from: 8
    coverages: [valencia]
    remove_before:
      weeks: 1
      days: 2
      hours: 3
      minutes: 4

Puede encontrarse más información sobre estas y otras claves de la sección en la correspondiente sección sobre cleanups de la página de seeding de la documentación de MapProxy

coverages¶

Por último, el archivo permite la definición de zonas en las que aplicar la tanto el sembrado como las purgas.

Estas zonas pueden definirse tanto como un bounding box o como una región definida con WKT en un archivo de texto o a través de un polígono que pueda leerse empleando OGR.

Añade el contenido hay a continuación a la sección coverages:

coverages:
  valencia:
    bbox: [-0.45, 39.26, -0.26, 39.56]
    bbox_srs: "EPSG:4326"

Se pueden encontrar algunos ejemplos de configuración en la correspondiente sección sobre coverages de la página de seeding de la documentación de MapProxy