martes, 26 de marzo de 2024

FME DESKTOP: EXTRAER, TRANSFORMAR Y CARGAR

  •  Volvemos tras una temporada en blanco provocada por cambios profesionales y personales con una herramienta del desarrollador canadiense Safe Software. Conocida por casi todas las personas que se dedican a la manipulación de datos GIS y de aprendizaje complejo: se trata de la aplicación FME. A priori la base de su funcionamiento es actuar como una herramienta ETL (por sus siglas en Inglés) (Extract, Transform and Load).

  • Este tipo de software ha cobrado mucho protagonismo a consecuencia del auge del Big Data donde la integración de datos es primordial o "combinar flujos de información enorme de numerosos repositorios en algo útil". Como plataforma para estos menesteres a parte de FME DesktopSafe Sofware proporciona servicios similares a nivel organización (FME Server) y alojamiento en la nube (FME Cloud)
  • Los usuarios pueden obtener/importar (mas de 350 formatos distintos) información de diversas fuentes de información simultáneamente (geoespaciales, BBDD, hojas de calculo, CAD, BIM, imagenes raster etc), manipular sus datos (depurándolos a medida realizando diversas operaciones con ellos) para despues cambiar su formato/esquema/contenido (mediante los llamados transformadores; dispone de cientos de ellos) y cargarla en otro espacio compatible de destino para la explotación de los mismos. Para resumir sus capacidades podemos apuntar que permite:
    1. Filtrar los datos por atributos.
    2. Crear clases a partir de determinados atributos.
    3. Separar datos según criterios preestablecidos.
    4. Generar entidades a partir de coordenadas.
    5. Transformación entre varios formatos (CAD, ráster, BIM, CSV, etc.).
    6. Cambiar el contenido de los datos, como su estructura (por ejemplo, sus atributos).
    7. Integración de datos de diversas fuentes.
    8. Fusionar tablas de datos entre ellas o con sus respectivas geometrías.
    9. Actualización de bases de datos espaciales.
    10. Creación de flujos de trabajo y automatizaciones.
    11. Fijar tareas que se repetirán periódicamente.
    12. Trabajo con metadatos.
    13. Validación de los datos.
    14. Reproyectar geodatos entre sistemas de coordenadas.
  •  Todos estos procesos son automatizables y se llevan a cabo sin necesidad de escribir una sola línea de código  aunque son permiten la integración con lenguajes como Python o SQL. Se permite la computación en paralelo de datos (dividir las tareas en otras mas pequeñas para buscar soluciones mas sencillas) mediante una interface gráfica (imagen inferior):
  • La herramienta FME Desktop dispone de varios modulos cada uno con su funcionalidad: 
  1. FME Data Inspector: Utilidad que permite ver con rapidez datos en cualquiera de los formatos admitidos por FME. Utilizado para obtener vista previa antes de la traducción o para verificarlos después de la misma.
  2. FME Quick Translator: Para ejecutar traducciones simples que no implican ninguna personalización y obtener resultados rápidos.
  3. FME Workbench:  Herramienta principal del paquete (en la que nos centraremos principalmente en este post) que permite la creación de espacios de trabajo y traducciones/escritura de datos complejas (con posibilidad de re_estructurar la info) a partir de varias fuentes de entrada y con posibilidad de salidas multiples.
  • El uso del software tiene un comportamiento escalable; es decir se pueden acometer desde las tareas mas simples que podemos realizar con cualquier software de escritorio GIS hasta verdaderos entramados/confluencias de datos y analísis para llegar al producto final deseado.
  • Así podemos crear un espacio de trabajo inicial (workspace) sencillo; como muestra, en el que se nos reclama los formatos de entrada y salida (Readers & Writers). En este caso se trata de un fichero de lineas en formato  *.kmz (Google Earth) en EPSG:4326 que transformamos a un lienzo de Autocad *.dwg con EPSG:25830 una operación muy común realizada constantemente (ver imagen inferior).
  • La conversión de datos es rápida y se pueden personalizar los campos y atributos que se transmiten de la lectura a la escritura. Posee una ventana de logs donde se notifican posibles errores/warnings y todos los "flujos internos" del proceso. El interface del programa recuerda a otros software de parametrización de procesos como en el diseño 3d (Grasshopper, Dynamo, Modelbuilder de Arcgis etc). De este modo podemos reutilizar los procesos ya programados para emplearlos en otros algoritmos con fuentes de origen diferentes.  En la captura inferior el espacio de trabajo generado con el numero de entidades procesadas y la edición del fichero visualizado en Autocad Civil 3D.
  • Pero lo más interesante es que se pueden interponer en el flujo de la conversión de datos una serie de transformadores que manipulen/evaluen y cambien las magnitudes tratadas. Para ello vamos a ver un sencillísimo ejemplo (recordemos que esto es una toma de contacto; luego cada cual tendrá que investigar y aplicar el recurso a lo que necesite). En la imagen inferior podeis visualizar el caso en cuestión donde se proponen un Lector (1) y un Escritor (5) y tres Transformadores de los mas comunes (2-3 y 4).
  • El fichero de inicio se trata de un archivo Esri *. shapefile con los cables submarinos mas importantes del mundo junto con su información asociada (al cual se asigna/declara un Reader). El fichero de destino será un archivo de G.E. *.kml en el que se habrán realizado ciertas operaciones mediante los transformadores interpuestos antes de ser escrito/exportado por  medio de un Writer
  • Primero seleccionamos los campos/atributos que nos interesa tratar en el fichero de inicio (User Attributes) dejando el nombre, ancho de banda, km de longitud y año de puesta en marcha.
  • Posteriormente interponemos el primer transformador que será un "Tester": nos permitirá establecer discriminación de los datos respecto a un valor determinado, la existencia o no de una característica, una operacion booleana, matemática o condicional. En este caso establecemos una prueba de que pasarán el Test todos los elementos que tengan mas de 5000 kms de largo y un ancho de banda de + de 3000 Gygabites:
  • Podemos ver que existen en total 281 elementos lineales (en este caso). Que pasen el criterio son exactamente 35 entidades y que no cumplen son el resto 246 entidades. A partir podemos seguir trabajando con el flujo de ambos o alguno (que nos interese) de los datos arrojados por el Tester. En este caso tomaremos los elementos que cumplen el criterio y los trataremos con un Attribute_Renamer para renombar los atributos al castellano por ejemplo..
  • Los transformadores disponen de un buscador que se activa cuando clickamos sobre el Canvas de FME y escribimos cualquier cosa. Con solo poner un palabra o el inicio de la misma (nombre del transformador) nos dirige hacia los mismos (tambien existe una lista de todos los Transformadores; bien clasificados alfabéticamente, o por categorías). El buscador te orienta sobre la utilidad de cada recurso; que es lo que hace o lo que podemos obtener con su uso. Hay una cantidad brutal de estos elementos pero al final se suelen emplear siempre los mismos; la verdad (yo manejo entre 35-40 para mis menesteres)
  • Incluimos un KmlpropertySetter para establecer como se mostrarán las entidades en Google Earth antes de ser exportadas por el Writer final. Que campos mostrará el arbol de navegación, cuales magnitudes  y como  serán mostradas en el Popup cuando pinchemos sobre las entidades y con qué prioridad. El tipo de geometria a mostrar, si las entidades están ancladas al suelo son otros aspectos tambien contemplados:
  • Por último solo queda correr todo el proceso (Run>cinta de opciones) para obtener los resultados deseados. Hay que visualizar el arbol de logs/warnings para ver que no hay ningun error posible. Imaginad que podemos realizar exportaciones a distintos formatos a la vez con distintas operaciones de discriminación y guardar el algoritmo programado para otra ocasión similar; como ya habiamos comentado antes. En la imagen adjunta el resultado final visualizado en Google Earth/FME:
  • Esto ha sido un uso sencillo del dia a dia (recordemos que GE importa directamente ficheros *.shp pero no pueden manipularse los datos recibidos). El potencial real de FME se centra en tratar BBDD enormes de programas/formatos GIS que necesitan de tratamiento profundo/depuración antes de efectuar la conversión final. Aprovecho para dejaros un Webinar de Youtube donde se puede ver de una forma mas dinámica las funcionalidades de este interesante y complejo software (difícil de tragar pero de gran proyección si somos capaces de buscarle la utilidad en nuestro flujo de trabajo).
  • En fin otro recurso mas en este caso de GIS para que lo investigueis si os cuadra. Muy contento de volver a publicar entradas en mi Blog (son ya casi 9 años y 63 publicaciones). A veces el estado de ánimo, la motivación o las circunstancias personales no acompañan o no son las mejores --> pero supongo que el que es inquieto y cansino como yo;  ya se sabe, la burra siempre vuelve al trigo.
  • Hasta la proxima.
  • By Rah.

domingo, 23 de octubre de 2022

APP´S GRATUITAS PARA FOTOGRAMETRIA CON DRONES

  • En los últimos años se ha generalizado el uso de drones profesionales para efectuar  levantamientos aéreos de terrenos y construcciones de todo tipo. El avance de los sistemas lidar y scanner aerotransportados también ha supuesto un espaldarazo en el mundo de la topografía. Como enamorado de nuestra profesión no he podido resistirme y me he formado como piloto acreditado por AESA adquiriendo las licencias/permisos oportunos (A1/A3 y A2 veremos si en un futuro acredito STS) junto con un dron profesional de segunda mano (Dji Mavic Pro) acompañado de su correspondiente seguro de responsabilidad civil (Coverdrone).
  • Hasta ahí todo fenómeno; en cuanto a conocimiento de normativas, prohibiciones y otros requisitos que tenemos asimilados y siempre vamos a respetar (vaya esto por delante). Aparte pues del funcionamiento rutinario del dron, el siguiente punto es saber que aplicaciones pueden ser utilizadas para efectuar la programación de nuestros vuelos/levantamientos topográficos u otros trabajos relacionados con nuestra especialidad. La mayoría de este tipo de software (no hay demasiado) desgraciadamente suele ser de pago/por suscripción (en lo referente a planes de vuelo/mapeos) y por este motivo plantearemos algunos aplicativos gratuitos/contrastados que podremos emplear. 
  • Lo primero antes de nada es saber si el día elegido podré volar en la zona de que se trate --> por tanto debemos determinar/conocer restricciones aéreas y meteorología de la localización/zona del vuelo. Casi todo el mundo utiliza las siguientes dos aplicaciones (es recomendable instalarlas en nuestro dispositivo móvil o consultarlas antes de planificar la misión):
  • 1.-Enaire Drones: Nos informará de las restricciones de vuelo con Drones en la ubicación que nos interese dependiendo del tipo de trabajo que vayamos a realizar (recreativo/profesional, fotográfico si/no..).Puede ser por existencia de zonas de Espacios Aéreos Controlados/Zonas de Seguridad Aeroportuarias ( o CTR ; Aeropuertos, Aeródromos y pistas de aterrizaje - ver imagen inferior Helipuerto - zona Talavera de la Reina) o bien por Parques Nacionales, zonas de conservación de fauna, Reservas de la Biosfera y demás espacios naturales protegidos (LER).
  • La existencia de estos espacios donde a priori no se permite el vuelo con Drones no significa que sea imposible aunque habría que realizar una serie de procesos/solicitud de permisos/entrega de documentación  y coordinación con los organismos implicados.
  • 2. UAV Forecast:  Aplicación que aglutina información de las condiciones meteorológicas clave/que afectan a los vuelos con V.A.N.T. en una zona determinada. Dependiendo de las características de nuestro dispositivo de vuelo podremos establecer "unos márgenes de operación segura" en lo que respecta a temperatura, precipitaciones, velocidad del viento y otros.
  • Una vez citadas las dos utilidades anteriores pegamos un vistazo a otras 3  app´s de planificación de vuelos fotogramétricos/levantamientos puras; únicamente la primera aplicación y mas utilizada tiene todas las opciones existentes en abierto la otras tienen ciertos procesos de vuelo gratuitos y otros por desgracia son de pago:
  • 3. PIX4D Capture: Junto a su utilidad DJI + Control (ojo) de conexión previa con el dron (una no puede funcionar sin la otra) son sin duda la mejor alternativa (doy fe- B.B.B.) para planificar nuestras misiones de vuelo. Compatibilidad con la mayoría de drones DJI ("minis"; no por ahora), PARROT y YUNEEC. Podremos usar las alternativas de la imagen inferior, para crear Mapas/Modelos 2d, 3d  (En Settings> configuraremos otras opciones como tipo dron, unidades, mapa base, salvar capturas etc).
  • Abajo dejo la última planificación realizada para medir una finca de aproximadamente 2 has y realizar pruebas con mi Mavic Pro. Altura de vuelo 75 m, GSD 2.46 cm x pixel, 119 capturas, 5 min 30 seg de vuelo con recubrimientos entre capturas del 70 % long/transv. Esta tarea se puede hacer en gabinete/casa y llevarla preparada a campo.
  • Antes de comenzar el vuelo debe arrancarse la aplicación CTRL + DJI (Android - no tengo dispositivos Apple) en este caso para poner en contacto a priori la tripleta dron + mando + dispositivo móvil. Cuando todos los indicadores del software están en verde podemos arrancar la aplicación de mapeo y comenzar la misión. Os aseguro que es super fácil. Os comparto un video de YouTube con todo el proceso/operativa desde 0 para que os sirva de guía.
  • 4. 3DSURVEY PILOT: Es una verdadera sorpresa en cuanto a versatilidad. No necesita de ningún programa controlador para conectarse con el dron (ultima versión). Posee varios métodos de planificación gratuitos (los mas utilizados comúnmente para levantamientos de terrenos y trabajos topográficos) y algunos en los que es necesario subscripción.
  • Una vez efectuada la programación del vuelo (se recomienda que esté el dron conectado para detectar la cámara/modelo asociado) la aplicación realizará un autocheck de varios parámetros antes de realizar el despegue. Si todos los indicativos están en verde podrá iniciarse la misión (al parecer es compatible con todos los drones DJI excepto los mini´s).
  • A parte de las opciones de vuelo comunes con PIX4D Capture tenemos la posibilidad de importar un eje de una obra lineal/camino (con formato KML) y realizar un vuelo a lo largo de esa directriz bien por motivos cualitativos (progreso de la obra por meses por ejemplo) e incluso cuantitativos calculando del levantamiento de ese corredor (lo cual es muy interesante). En la captura inferior podéis apreciar las capturas de prueba efectuadas en una "mini traza":

  • 5. DRONE HARMONY:  Otra aplicación similar a las anteriores que conecta directamente con el dron. En el catálogo de planes de vuelo presenta dos tipos: uno Mapping & Inspection (varios utilidades en abierto -> MAP 2D,3D, Orbit, Hélice y Manual/waypoints ) y otro TERRAIN (considera la topografía del terreno - todo con licencia requerida). Permite conexiones con todos los drones DJI incluido los Mini (mod 1, 2 y Se por ahora). 
  • El interface de la app es peculiar porque presenta vistas de los trabajos programados en 2d y 3d para tener un mayor control sobre la planificación a ejecutar (primero se define el area de muestreo y después el grid  de vuelo;como tal).
  • Si bien la mayoría de estas APP´s tienes la posibilidad de realizar orbitas (alrededor de un punto singular) ésta es la primera que me encuentro que permite planes en Hélice. Esto es muy útil para realizar inspecciones de torres de comunicaciones, puentes y otras estructuras similares (incluso edificaciones). Para realizar una práctica he planteado el levantamiento de la zona de la Atalaya de Segurilla (fortificación árabe cerca de Talavera) para que veáis un ejemplo de como se configuraría el trabajo (cuando haga el vuelo y lo pase por gabinete os amplío este post con los datos) ver anigif inferior:
  • Pueden importarse las zonas/ejes a inspeccionar (como archivo *.kmz) y una cosa curiosa es que guarda el registro de vuelo de las misiones (como datos masivos de trayectoria, tiempo, velocidad, ubicación -- una nube de puntos del trayecto en *.csv).
  • Aunque los repositorios expuestos son gratuitos tienen la pega de no disponer de la posibilidad de la importación de las alturas del terreno (DEM) de la zona de vuelo para que la misión lo calque (o no está activo/posible o es de pago). Es decir cuando se establece la altura de vuelo del levantamiento ésta se mantiene respecto al punto de despegue inicial (siempre es la misma). Esto en terreno muy ondulados/accidentados afectará al GSD (sería  variable) de cada punto de captura lo cual no es recomendable para trabajos precisos. 
  • Si es cierto que combinando las posibilidades de todas las aplicaciones expuestas más el software de vuelo del fabricante (en mi caso DJI GO 4) podemos salir airosos de cualquier "encargo".
  • El tema es que hay mas software de este tipo pero os aseguro que en casi todas hay que pasar por caja (he probado muchas y estas tres prácticamente son las únicas gratuitas, operativas y testadas por mi --> hay algunas que son tediosas o no funcionan bien): subscripciones por meses/otras un solo pago (DJI Ground Station, Dronelink, Dronedeploy, Map_Pilot, Rainbow for Dji, Precision Flight, Skycatch), algunas infumables aunque sean opensource (Mission Planner)
  • Por este motivo he pensado realizar una entrada del BLOG utilizando una versión de 14 días de prueba de UcGS (no sé las opciones  que permitirá); ya que parece dentro de las "profesionales" la más versátil.
  • Nada más que comentar; ya os voy contando (que sigo por aquí), espero que algo de lo expuesto os sea útil.
  • By Rah.

viernes, 17 de junio de 2022

TOOLBOX WEB A.T.N.L: EXPORTACION DE GML´S CATASTRALES

  • Como bien sabréis en los últimos años se han creado nuevas leyes con respecto a la actualización de los datos catastrales de los bienes inmuebles y su relación con los datos registrales (en continuo cambio). La cartografía catastral en España está de aquella manera (difiere de la realidad en situación absoluta y escala de forma variable según las zonas del país); sobre todo porque proviene de años inmemoriales y de vuelos fotogramétricos cuyos datos en pocas ocasiones se han chequeado en campo; es decir, lustros de patadas para adelante. A todo esto se une el cambio de Sistema de Referencia Geodésico Nacional (a partir de 2007- ETRS89) materializado por REGENTE (observaciones GNSS), sus densificaciones y la utilización de los aparatos GPS topográficos de forma generalizada por los profesionales del ramo.

  • Lo ideal sería que todo el mundo tuviera su solar/parcela perfectamente levantada y regularizada en catastro/registro pero esto no es así. Los propietarios solo se ponen en contacto con los técnicos cualificados cuando existe algún problema o litigio (de muchos tipos). Debe existir algún tipo de formato de intercambio de datos geométricos georreferenciados de las parcelas que puedan ser tratados por los sistemas digitales y SIG´s de la administración; para ello se ha elegido el GML INSPIRE de parcela catastral (v4. actualmente).
  • Como los archivos digitales anteriores son los standard aceptados por parte del catastro español hemos de disponer de herramientas que nos permitan crearlos, importarlos, modificarlos y exportarlos cómodamente. Existen muchas aplicaciones que te pueden solventar el problema (ya sea software GIS Arcgis/Qgis/Gvsig, topográfico MDT APLITOP  etc) pero en ocasiones  te puedes encontrar con que no tienen compatibilidad total, CATASTRO "no los traga en sus validaciones" u otros problemas similares.
  • Una buena alternativa para estos menesteres es la herramienta desarrollada por el Colegio Oficial de Ingeniería Geomática y Topográfica denominada Archivo Topográfico Nacional de Lindes.
  • En combinación con la web del catastro nos permitirá realizar todas las consultas y operaciones mas habituales con cualquier finca urbana/rústica a la hora de medir, georeferenciar, dividir/segregar, concentrar, validar u obtener las "de moda" representaciones gráficas alternativas
  • Supongamos hemos realizado un levantamiento GPS RTK de una finca de la cual hemos obtenido unos puntos del contorno y construido un archivo dxf. Queremos saber con rapidez como está con respecto al catastro, sus vértices con coordenadas y superficie --> en el Menú principal>Subir ficheros --elegir el formato y sistema coordenadas/huso e importar.
  • Inmediatamente podremos observar la finca medida sobre el terreno junto con las coordenadas de sus vértices (polilínea cerrada dxf) y área final (accionando sobre atributos de la capa LWPOLYLINE). Al mismo tiempo activando en Menu>Catastro y Registro la capa DGC podremos chequearla junto con su representación de la web oficial del catastro y evaluar rápidamente las desviaciones. Importante destacar que se adjuntan capas de catastro de las CCAA de Navarra y Pais Vasco cuya información no es fácilmente conseguible/accesible os lo aseguro --> bien por ATNL en este aspecto.
  • En la imagen superior la cartografia de referencia/fondo es la capa PNOA máxima actualidad pero podemos elegir en Menu> Capa base otros registros mas antiguos para investigar su estados anteriores por afecciones de expropiación. invasiones de aledaños u otros cambios similares (incluido los vuelos americanos de los años 50). 
  • Un recurso super útil que incorpora la herramienta es que haciendo doble click sobre  cualquier punto de mapa podemos o bien cargar la parcela afectada de la web del catastro o bien acceder directamente a su ficha correspondiente/consulta descriptiva y grafica.
  • Si quisiéramos general un archivo GML de la parcela medida (reclamado por Registro u otro organismo) sería tan sencillo como seleccionar en Menu> Herramientas> Exportar > Gml Parcela catastral. La compatibilidad con los últimos standares oficiales está garantizada en todo momento, ya que es un servicio/aplicación en constante actualización por parte del COIT Topografía.
  • Se trata ni mas ni menos que de un archivo de texto (ver imagen inferior) con estructura xml donde se especifican los datos geométricos georreferenciados de un inmueble (rústico en este caso) que puede haber sido medido por un técnico o simplemente se puede tratar del obtenido a través de lo inventariado en catastro en ese momento. Por tanto si un notario o registrador reclama este formato o un informe de validación gráfica alternativa de la finca (IVGA) el punto de partida para obtenerlo es disponer de estos archivos GML (Geography Marked Languaje).
  • Antes de seguir adelante habría que remarcar que también disponemos de otras  herramientas de dibujo, medición e incluso unión/división de parcelas para poder luego obtener los GML´s individualizados y proseguir con los trámites burocráticos que nos reclaman (para escriturar/registrar segregaciones, divisiones, unificaciones etc). Comentar que la herramienta de división de parcelas no funciona correctamente (enviaré mail a soporte, a ver si me hacen caso y lo corrigen).
  • Suponiendo que quisiéramos obtener el famoso Informe de Validación Gráfica Alternativa tendríamos que dirigirnos a CATASTRO VIRTUAL para poder obtenerlo. Dicho informe puede calificarse como positivo (coincidencia con parcela catastral o muy aproximado a la misma) o negativo como será el caso al tratarse de una medición real (distinto a finca inventariada en catastro e influencia a fincas aledañas). De todos es conocido que lo actualmente declarado en las bases de datos de este organismo está en muchos casos obsoleto y adolece de la precisión adecuada (proviene de vuelos del año de la pera sin mucho rigor y ni un día de trabajo de campo o verificación).IVG
  • Introduciendo el GML de la parcela procedente de la app ATNL a partir de nuestras mediciones topográficas apreciamos que existen un total de 5 fincas aledañas afectadas por la nueva y exacta representación obtenida con GPS RTK. Lógicamente y al sobrepasar los límites de desviación respecto al original establecidos por catastro --> La validación es negativa,
  • Cuando intentamos descargar dicho informe se nos proporciona un registro de la operación realizada (validación en cuestión) o Código Seguro de Verificación (con formato "BDQQ5RR80MNM0H3V"). Dicho registro podremos utilizarlo para rescatar el informe en cualquier momento y hacer mención del mismo en nuestras memorias/trabajos para trámites en Registro/Catastro
  • Suponiendo que se produzcan estas diferencias con las fincas aledañas el catastro iniciará un proceso resolutorio notificando a los propietarios colindantes para que aleguen sus pesquisas/midan etc.. La cuestión/meollo del tema es que sean los particulares quien se gasten la pasta para actualizar el Catastro que está hecho una basura. Por eso la mayoría de la gente a no ser que sea un litigio de invasiones de lindes o pérdidas de superficie suele validar la finca ya existente en catastro (normalmente en rústica) --> para que la validación sea positiva y todos contentos. También comentar que hay mucha gente que se crea la enfermedad y la vacuna "para trincar cash" (a buen entendedor pocas palabras bastan).
  • Lo honrado sería que una vez que un particular levanta la mano, mide su parcela y hay desviaciones fuera la gente de catastro quien fuera a campo y midiese certificando/arreglando el tinglado con los colindantes... pero no.. es mejor chupar y litigiar para que todo el mundo se lleve su dinerito (catastro, registro, topógrafos u otros "pseudo técnicos competentes").. si amigos; que vida esta... Ni que decir os digo cuando son solares con construcciones en su interior (no te digo na ¡¡).
  • Os animo a enredar con ambas web´s expuestas y hacer vuestros pinitos en los trámites que permiten; es bastante interesante y  al menos algunas nociones al respecto debemos de tener. Hasta la próxima.
  • By Rah.


miércoles, 1 de diciembre de 2021

MOBILE MAPPING: INVENTARIO MASIVO DE INFRAESTRUCTURAS.

  • Con la aparición de la tecnología Mobile Mapping, consistente en el fotografiado y escaneo integral de la trayectoria de un vehículo dotado de sensores de posicionamiento y captura, se descubre la forma de traer la realidad observada en campo al gabinete, en forma de nubes de puntos métricas e imágenes esféricas. Esto nos permite realizar cualquier inventario georreferenciado y caracterizado en 3D. En esta entrada intentaremos exponer la metodología desarrollada para la realización y mantenimiento de inventarios de redes de servicio/infraestructura/mobiliario utilizando estas técnicas junto con sus aspectos principales: recopilación de redes, definición del modelo de datos, levantamiento, digitalización de elementos visibles a partir de los datos 3D y trabajo de campo pie de calle para armonización de datos/control de calidad.

  • La gestión de las redes de servicio e infraestructura y el mobiliario urbano es una necesidad que tienen las administraciones locales y las empresas de servicio para la optimización de los recursos. La gestión de las mismas se realiza mediante sistemas informáticos de manejo de activos, soportados por diferentes tecnologías, necesitando en todos los casos un  posicionamiento/inventario y caracterización de los elementos a gestionar. Este el camino hacia la ciudad inteligente: conseguir ver claramente "que es lo que tengo, donde está, en que estado y como tengo que mantenerlo para que sea mas eficiente" (Norma UNE-178303).
  • Cada Entidad Local realizará su propia clasificación de activos de acuerdo a su Sistema de Gestión de Activos de la Ciudad. A continuación, se enumeran diferentes activos ya que independientemente del tamaño y configuración de las ciudades hay muchos elementos, instalaciones, infraestructuras y construcciones que son comunes:
  • 1. Inmuebles
    • Terrenos (fincas naturaleza urbana y fincas de naturaleza rustica)
    • Construcciones y edificaciones
    2. Vía pública
    • Pavimentos (calzada, aceras, encintados…)
    • Señalización (horizontal, vertical, placas de calles, paneles…)
    • Mobiliario (Bancos, papeleras, bolardos, vallas, paradas de bus, parquímetros, columpios)
    • Parques (árboles, arbustos, césped, flores, fuentes…)
    • Publicidad (postes informativos, vallas..)
    3. Infraestructura pública
    • Alumbrado (Centro de mando, luminaria, columna, canalización, cableado, arqueta, contador)
    • Distribución agua (grupo de presión, tubería, llave, arqueta, puntos de suministro, contador)
    • Saneamiento (Bombeo, pozos, conducción, registros, sumideros, imbornales)
    • Instalación semafórica (Semáforo, radar, paneles, columnas, canalización, centro de mando)
    • Residuos (diversos tipos de contenedores)
    • Riego (Aspersor, goteo, difusor, tubería, electroválvulas…)
    • Tecnológicas (Cámaras CCTV, WIFI, Sensores…)
    4. Mobiliarios
    • Vehículos, maquinaria, útiles y herramientas.
    • Mobiliario de edificios, electrodomésticos, equipos de oficina, equipos informáticos.
    • Equipamiento específico (deportivo, cultural, sanitario, policial…).
    5. Otros.
    • Valores mobiliarios, créditos y derechos.
    • Semovientes.
    • Derechos reales.
    • Bienes y derechos revertibles.
  • Una vez puesto lo anterior de manifiesto (que datos debemos intentar recoger con nuestros sistemas de inventario) pasamos a puntualizar los fundamentos del MOBILE MAPPING:
  • Dicha tecnología como hemos dicho se consigue mediante fotografía/escaneo de un trayecto recogido por un conjunto integrado de sensores, como pueden ser cámaras fotográficas, escáneres láser, Radar, Lidar, etc. normalmente montado en un coche o todo terreno, aunque también puede ir sobre una persona con una mochila, barco, ferrocarril, etc.
  • Los sistemas que conforman un equipo Mobile Mapping son/pueden ser los siguientes:
  1. Sistema de posicionamiento global (GNSS), proporciona la posición de la trayectoria del vehículo. Los datos pueden ser tomados en tiempo real (RTK) o realizar postprocesos.
  2. Sistema de Navegación Inercial (INS), mide las velocidades angulares y las aceleraciones, para poder mejorar la posición del sistema GNSS.
  3. Escáner láser, mide la posición de millones de puntos de la trayectoria del vehículo. Pueden existir diferentes configuraciones en cuanto a los láser: diferente número de escáneres, diferente orientación de los mismos. Esto depende del tipo de escáner que se utilice y de qué manera tome los datos.
  4.  Cámara fotográfica, que obtiene imágenes de la trayectoria del vehículo, por distancia recorrida (cada 5 metros, por ejemplo) o por tiempo. Existen cámaras de diferentes resoluciones, desde 2 Mgp hasta 5 Mgp por objetivo. También pueden ser cámaras métricas o cámaras panorámicas de 360º.
  5. Opcionalmente se pueden utilizar odómetros para medir la distancia recorrida por el vehículo, para asegurar el disparo de la cámara por distancias y contribuye la distancia medida, a mejorar el posicionamiento de la trayectoria del vehículo.
  • Los diferentes sensores integrados, tienen medidos los offsets al centro geométrico del equipo, al cual va referida la posición de la trayectoria. Así mismo, para calcular la posición de las imágenes y nubes de puntos respecto a la trayectoria calculada, es necesario medir la marca de tiempo o “time stamp” con precisión para que tanto las imágenes y las nubes de puntos estén perfectamente georreferenciadas. Así mismo este aspecto es fundamental, para dotar de color a la nube de puntos, a partir de los pixeles de las imágenes.
  • Los principales fabricantes de equipos Mobile Mapping son: 3DLaserMapping, Riegl, Optech, Trimble, Vexcel, LIdarUSA, Topcon, Leica, Mandli, EarthMine, Horus, Cyclomedia, Siteco, Zoler+Frohlich, NcTech.
  • En función de la densidad de puntos y la precisión en el posicionamiento de la trayectoria que permitirá posicionar las imágenes y nubes de puntos, los sistemas Mobile Mapping se dividen en:
  • a).-Mobile Mapping Surveying o topográfico, para precisiones superiores a 5 cm en el posicionamiento de los datos y una densidad de nube de puntos de más de 100 ptos por m2. Pertenece a esta categoría el equipo Leica Pegasus2, con más de 500 ptos por m2 y una precisión mejor que 5 cm en absoluto y mejor que 2 cm en relativo.
  • b).-Mobile Mapping GIS o de inventario, para precisiones superiores a 20 cm en el posicionamiento de los datos y una densidad de puntos entre 30 y 100 ptos por m2. Pertenece a esta categoría el equipo Topcon IPS-2, con más de 100 ptos por m2 y una precisión absoluta entre 5 y 10 cm y relativa de algún centímetro.
  • En los procesos citados diferenciaremos la captura y el procesamiento de los datos Mobile Mapping, la extracción de datos, que puede ser manual o automática (mediante algoritmos de reconocimiento de imágenes)y por último la explotación de los datos, mediante Sistemas de Información Geográfica.
  • El líder mundial en software para la explotación de datos Mobile Mapping es Orbit GeoSpatial Technologies, que permite cargar datos de cualquier fabricante y dispone de un portfolio de herramientas para la producción de datos destinados a empresas suministradora de estos servicios, así como para la explotación y realización de inventarios y publicación de panoramas y nubes de puntos en entornos web.
  • Para testear los datos recogidos por esta tecnología he solicitado una demo de los servicios de un proveedor de este tipo de datos como es CYCLOMEDIA --> os recomiendo testear su web para enredar y ampliar conocimientos. En España tan solo tiene recorridos en algunas grandes ciudades para dar a conocer sus bondades. En este caso podemos ver los datos recogidos por uno de estos dispositivos M.M. en la ciudad de Zaragoza.
  • Cuando hacemos zoom podemos ver que en el casco antiguo de la ciudad junto al Ebro se han recogido toda la bateria de datos. Como se trata de una demo es posible la descarga parcial masiva  y otras funciones de medición/reconocimiento. Apreciamos (abajo) vista de planta, cámara 3D y nube de puntos Lidar.
  • En el gif inferior se han realizado mediciones sobre las capturas en verdadera magnitud tanto de distancia, altura y elevación. También se pueden consultar otras magnitudes como superficie, ubicación etc. Quedan evaluadas y registradas dichas mensuras junto con las precisiones obtenidas (desviaciones standard) --> recordemos que en este caso se trata de un levantamiento para GIS/inventario.
  • Aunque el potencial de los levantamientos Mobile Mapping reside sobre todo en procesar los datos de manera semiautomática mediante software de reconocimiento o I.A. para efectuar inventarios u obtención de cartografía  de manera masiva --> también podemos explotar los datos lidar que recogen los dispositivos instalados. Se ha realizado una consulta para descarga de nube de puntos de la zona urbana reflejada en la captura inferior.
  • A las 24 horas de la solicitud se recibe un correo con un enlace a descarga de fichero *.laz. en este caso en particular la zona englobaba 2 teselas de nubes de puntos de dimensiones 50 x 50 m ( aprox 40 mb - 8 millones de puntos cada fichero - georreferenciadas en EPSG: 25830). Podemos visualizar ambos ficheros con el software 3DRESHAPER o con Photoscan de Agisoft.
  • Aunque la densidad de puntos por m2 no es la adecuada y tampoco disponemos de mucha mas información incluso podemos intentar modelar la nube (a titulo de curiosidad) obteniendo algo orientativo:
  • Esta ha sido una primera aproximación a la tecnología citada. El kit de la cuestión y lo interesante sería el proceso de explotación/cálculo de los datos recogidos --> que podemos hacer con todo esto y a quien le es útil. Entiendo que tal herramienta deberá estar incluida siempre dentro de un producto "llave en mano" GIS/Cartografía /Inventario para organizaciones locales/estatales --> mas allá de esto y para el resto de los mortales demasiada info que masticar....
  • Hasta la próxima.
  • By Rah..

viernes, 19 de marzo de 2021

SURVEY CAM + MAPOLLAGE: APP´S DE INVENTARIO GIS BÁSICO.

  • Ya hemos hablado en otras ocasiones de aplicaciones para efectuar levantamientos o inventarios GIS (aquí). Para su correcta utilización se necesita tener al menos algunas nociones de topografía o sistemas de información geográfica. Sin embargo en ocasiones (muchas) el usuario/operador no tiene estos conocimientos adquiridos y necesita de herramientas simples que le permitan salir airoso a la hora de realizar este tipo de trabajos. O al menos que se puedan proporcionar datos que luego sean explotables por algún técnico en "gabinete". Es indiscutible que todos sabemos que tipo de dispositivos debemos emplear para efectuar un trabajo con una exactitud decente pero normalmente tampoco se dispone de ellos (solo tenemos un triste smartphone con GPS); que podemos hacer ?¿?¿.
  • Para efectuar pues nuestro trabajo de inventario expedito os voy a plantear la utilización de 2 utilidades: La primera bajo Android  para nuestro dispositivo móvil  nos permite efectuar la toma de datos en campo; la otra app es multiplataforma aunque aquí veremos la versión bajo Windows, programada en Java y de código abierto para representar los datos en Google Earth o utilizar como archivo de intercambio.  
  • Así pues; la primera de ellas SURVEY CAM nos permite realizar capturas fotográficas georreferenciadas con nuestro smartphone, mostrándonos también una orientación de la exactitud espacial registrada, da la posibilidad de nombrar cada archivo por proyectos/clientes y a la vez guardar notas de cada posicionamiento. Es simple de utilizar e intuitiva para ser empleada por cualquier operador.
  • Un vez instalada la app nada más arrancar nos ofrece establecer el nombre/logo de la empresa de autora de las capturas y la denominación del proyecto de inventario/levantamiento. En el interface de registro tendremos las opciones de volteo de cámara (1), opciones de configuración (2), efectuar captura con anotaciones (3)/sin anotaciones (4) y ver/editar la última fotografía efectuada (5).
  • Lo más importante de esta herramienta es la configuración de las opciones de la aplicación en cuanto a: los datos que queremos que aparezcan en la marca de agua o sobreimpresa en la fotografías y  la nomenclatura con la que se guardarán los ficheros de las imágenes recogidas. De esta manera tendremos clara la relación entre ambos aspectos además de las situación geográfica que es lo fundamental cuando efectuamos levantamientos de un gran número de registros (decenas de arquetas, farolas, arboles, armarios de registro etc).
  • En la imagen superior podemos observar las opciones seleccionables para la configuración de fotos/archivos *.jpg que se guardarán en el directorio Surveycam del smartphone. Entre ellas está el sistema de referencia de las coordenadas y la exactitud GPS de los registros que serán de gran importancia para conocer la bondad de los resultados. Tan solo debemos personalizar la aplicación con todas nuestras preferencias para finalmente obtener datos del tipo:
  • Cada vez que realicemos una fotografía si queremos que su posicionamiento sea lo más exacto posible (quedará guardado en datos EXIF de la imagen) tan solo tendremos que esperar unos segundos antes de efectuar el disparo hasta que mejore la precisión que aparece junto a las coordenadas  (entre 4 a 10 metros es lo factible con un móvil convencional) --> podremos seleccionar captura con/sin anotaciones como hemos indicado el punto anterior.

  • En la imagen superior se aprecia la correspondencia archivo<>captura  según las opciones configuradas. También como quedan las coordenadas geográficas impresas en los datos EXIF del archivo (aunque yo he seleccionado UTM WGS84 para que aparezca con ese formato/sistema referencia en la imagen).
  • Si hemos realizado bien la toma de datos dispondremos de un repositorio de fotografías georreferenciadas con la máxima exactitud que nos permite nuestro dispositivo y con las notas/observaciones recogidas en cada posicionamiento. A partir de ahí podremos explotar estos registros de varias maneras; ya sea tratándolos en un software Gis de escritorio (aquí) o bien utilizando alguna otra aplicación que nos permita una representación amigable para su explotación,archivo, envío etc.
  • Esta segunda opción podremos materializarla si utilizamos  MAPOLLAGE cuyas principales características son:
  1.  Es un software gratuito con licencia de Apache versión 2.0 que depende de Java se ejecuta en Linux, MacOS y Windows (el que nos ocupa) 
  2. Permite crear carpetas KML por nombre de directorio, patrón de fecha y expresión regular, nombrar marcas de posición por nombre de archivo y patrón de fecha. 
  3. Puede usarse una foto o un alfiler como marcador, la referencia fotográfica es personalizable y puede dibujarse una ruta entre las marcas de posición.
  • Resumiendo: Podremos plasmar nuestro inventario/fotografias recogidas con SURVEY CAM (con las características anteriormente citadas) sobre Google Earth de una manera nítida generando un archivo kml y unas miniaturas/thumnails, con múltiples opciones de representación y sin necesidad de otros conocimientos digamos "geomáticos".
  • Una vez descargada la app (LINK) aplicamos sobre el ejecutable y nos muestra un simple interface como el que se indica en la captura inferior. Para  crear un proyecto nuevo pulsamos sobre el icono (+).
  • En la pestaña Source cumplimentamos el nombre del proyecto (Name), registro/anotación (Description), directorio donde se encuentran las imágenes a leer (Image Directory), formato de imágenes (solo admite *.jpg - File Pattern). Puedes elegir si desea procesar subdirectorios, seguir enlaces e incluir fotos sin coordenadas.  En Folders elegiremos la ubicación del directorio de de las miniaturas (Root folder name) y el como se nombrará (Directory Name en este caso) aunque se puede elegir la fecha de las capturas/otros.
  • En Path se puede elegir delinear el recorrido realizado durante el inventario mostrando una ruta de capturas/polígono de afección (Draw Path/Polygon), anchura de trazo (Width) y si se agrupa por hora/dia/Week etc (Split by) durante los que se efectuó trabajo. La pestaña Placemark sirve para indicar con que nombre se guardará cada waypoint de fotografia (Name By) y si se quiere un icono/miniatura de imagen (Symbol).
  • Por último en las pestañas Description  y Photo podremos establecer como/que la información atachada se mostrará cada vez que clickemos sobre cada icono en Google Earth (formato de las imágenes, anotaciones, rutas relativas o absolutas del fichero kml a thumbnails/fotos originales etc). Una vez cumplimentada toda la configuración hacemos Aceptar>.
  • Sobre el proyecto pulsamos el botón de ejecutar; se procesa la información de las fotografías creando un directorio de miniaturas y crea un archivo kml con todo el inventario/características señaladas en la configuración de Mapollage.
  • Si abrimos el archivo creado (arquetas.kml) en Google Earth podremos observar todos los registros fotografiados en campo con la aplicación SURVEY CAM dispuestos en su posición exacta. Al mismo tiempo la ruta en rojo del curso del inventario (lo determinan las horas/fecha de captura) y si pulsamos sobre cada icono (que están nombrados con el nombre del archivo) nos mostrará la captura asociada. De este modo dispondremos de toda la info en un archivo sin posibilidad alguna de errata ya que todo lo anotado en campo lo tenemos en nuestro KML construido en oficina (con la precisión de cada captura incluida).
  • Por último suponiendo que queramos verificar la existencia en campo (zona urbana) de alguno de los eventos fotografiados podemos buscarlos en Street View verificando que efectivamente están ubicados con una coincidencia aceptable a donde está cada Placemark (depende de la precisión del GPS/smartphone).
  • Como Bonus os dejo este video y el link de otra aplicación (libre) similar a Mapollage aunque no permite tantas posibilidades de configuración pero si que es bastante efectiva y ágil. Podéis probar ambas y elegir la que mas se adapte a vosotros. Se llama PHOTOKML y nosotros la hemos personalizado para nuestro uso en la empresa de telecomunicaciones Reintel (perteneciente a RED ELECTRICA DE ESPAÑA). La idea es que la gente de campo pueda utilizar en un futuro SURVEY CAM + MAPOLLAGE o PHOTOKML para poder realizar auditorias en campo de rutas de fibra óptica canalizada.
  • Nada más por esta vez. Imagino que a veces es imposible realizar los trabajos como es debido (receptor GPS GIS o RTK centímetro + software levantamientos de campo + Gis escritorio - combo completo); bien por falta de medios u otras razones. Hay que adaptarse a lo disponible en cada caso;recursos humanos y técnicos.
  • Hasta la próxima.
  • By Rah.