Artículo patrocinado por Extraco, Misturas, Lógica, Enmacosa e Ingeniería InSitu, dentro del proyecto SITEGI, cofinanciado por el CDTI. (2012).
Article sponsored by Extraco, Misturas, Lógica, Enmacosa and Ingeniería Insitu inside the SITEGI project, cofinanced by the CDTI. (2012)
Autores / Authors : H. González-Jorge, S. Lagüela, P. Krelling, J. Armesto, J. Martínez-Sánchez
- Universidade de Vigo, Close Range Remote Sensing and Photogrammetry Group, Department of Natural Resources and Environmental Engineering, 36310 Vigo, Spain
- Universidade Federal do Paraná, Sector Ciencias da Terra, Departamento de Geociencias, CEP 800000-00 Curitiba, Paraná, Brazil
- Universidade de Vigo, Close Range Remote Sensing and Photogrammetry Group, Department of Natural Resources and Environmental Engineering, 36310 Vigo, Spain
- Universidade Federal do Paraná, Sector Ciencias da Terra, Departamento de Geociencias, CEP 800000-00 Curitiba, Paraná, Brazil
Resumen / Abstract
Este trabajo presenta una técnica fotogramétrica que proporciona información geométrica y térmica sobre construcción de fachadas. Utiliza barras de escala de bajo costo y portátil, diseñados especialmente para imágenes térmicas y procesamiento de software basado en la rectificación de la imagen. Rectificación de la imagen corrige el desplazamiento de foto original debido a la proyección y perspectiva y radiales distorsiones introducidas por la lente de la cámara. La técnica se prueba comparando láser térmico y análisis de datos. Siete segmentos de diferente orientación y longitud son seleccionados para la medición. Pruebas de precisión Mostrar errores entre 44 mm y 151 mm. gama de valores de precisión entre 22 y 61 mm para una longitud máxima de mm 7259. Los resultados de exactitud y precisión obtenidos por la técnica abierta la posibilidad de extender su uso para tareas de inspección de la construcción.
This work presents a photogrammetric technique that provides geometric and thermal information about building façades. It uses low cost and portable scale bars, specially designed for thermal imaging, and processing software based on single image rectification. Image rectification corrects the original photo displacement due to the projection and perspective, and radial distortions introduced by the lens of the camera.
The technique is tested by comparing laser scanning and thermal data. Seven segments of different orientation and length are selected for the measurement. Accuracy tests show errors between 44 mm and 151 mm. Precision values range between 22 mm and 61 mm for a maximum length of 7259 mm. The accuracy and precision results obtained for the technique open the possibility of extending its use to building inspection tasks.
1. Introducción / Introduction
La termografía infrarroja es la técnica de producir una imagen visible de la radiación infrarroja que emiten todos los cuerpos debido a sus condiciones térmicas. La radiación emitida, detectada por los sensores termográficos pertenece a la gama infrarroja térmica, en una longitud de onda entre 7 y 15 lm. Termografía infrarroja es una técnica no destructiva con una serie de aplicaciones en condition monitoring, medical imaging, control de procesos, vigilancia en seguridad, mantenimiento predictivo y edificio inspecciones [1]. La termografía tiene una larga historia, aunque su uso se ha incrementado abruptamente durante la última década, que ha ido acompañada de mejoras sustanciales en la tecnología y una reducción gradual de los precios. La termografía infrarroja es de vital importancia en las tareas de inspección relacionadas con obras de eficiencia energética en edificios [7]. Las imágenes térmicas claramente pueden mostrar áreas con falta de barreras de aislamiento y aire, áreas donde existía la transferencia de calor de la Convención, falta definición de límite térmico, las conexiones del ducto incorrecto, áreas de condensación y numerosos defectos de construcción. Por otra parte, termografía infrarroja ayuda a localizar la fuente de filtraciones de aire y agua, encontrar múltiples áreas de pérdida de energía, definir la magnitud de las áreas sospechosas para estimar el costo, reveló diseños pobres techo e identificado construir áreas de shell que carecen de adecuada coordinación de los oficios de la construcción o detalles de diseño inadecuado y especificaciones [PCSA].
Tradicionalmente, estudios termográficos presentan varias limitaciones que provienen de la no posibilidad de obtener información confiable de geométrica. Este hecho viene de la distorsión óptica de la lente de Termografía y permiten ni la obtención de datos geo-referenciados de la temperatura ni la asignación de thermographies de los objetos estudiados con isotermas. Por otro lado, análisis termográficos comunes son principalmente cualitativos, basado en la inspección visual de las diferentes regiones térmicas. Estudios cuantitativos están típicamente limitados a la medición de la temperatura en unos puntos o regiones [7].Algunos estudios muestran la posibilidad de combinar la información térmica proporcionada por cámaras infrarrojas con información geométrica de láser escáner [12,13]. Estas técnicas se pueden utilizar para el modelado 3D de edificios y para el estudio métrico preciso de la estructura existente. Integración de imágenes térmicas con escáner láser proporciona una valiosa información y permite las localización exacta de regiones de interés, tales como humedad, puentes térmicos y defectos de aislamiento. Sin embargo, esta metodología tiene algunos problemas para superarse. Escáner láser es todavía una tecnología cara y la técnica necesita la calibración de la cámara térmica según los principios fotogramétricos [14-17]. Procesamiento de datos es mucho tiempo, especialmente para el proceso pesado de las nubes de puntos desde el escáner láser (limpieza y filtrado, registro, modelado de superficies y texturización; una explicación más profunda puede encontrarse en [18]). Fotogrametría aparece como una tecnología muy competitiva geodésica para obtener datos geométricos [17]. El costo económico de sistemas fotogramétricos es normalmente menor que la de escaneo láser. Entre las diferentes técnicas fotogramétricas, rectificación de la imagen aparece como una de las metodologías más simples de fotogramétricas, ofreciendo la posibilidad de obtener información geométrica fácilmente y utilizar una pequeña inversión económica.
El objetivo de este trabajo es el desarrollo de una metodología de rectificación de imagen para cámaras termográficas y estudios termográficos en construcciones. Para ello, una barra de escala, especialmente concebida para estudios fotogramétricos termales está diseñada, fabricada y probada. La información obtenida mediante la imagen termográfica y las barras de escala térmica se procesa para obtener imágenes rectificados. Se comparan los datos de escaneo láser y mediciones de imagen térmicas.
Infrared thermography is the technique of producing a visible image from the infrared radiation which all bodies emit due to their thermal conditions. The emitted radiation detected by the thermographic sensors belongs to the thermal infrared range, in a wavelength between 7 and 15 lm. Infrared thermography is a Non-Destructive Technique with a number of applications in condition monitoring, medical imaging, process control, surveillance in security, predictive maintenance and building inspections [1–6]. Thermography has a long history, although its use has increased abruptly during the past decade, which has been accompanied by substantial improvements in technology and a gradual lowering of prices.
Infrared thermography is of vital importance in the inspection tasks related with energy efficiency works in buildings [7]. Thermal imaging can clearly show areas with lack of insulation and air barriers, areas where the convention heat transfer was prevalent, missing thermal boundary definition, improper duct connections, areas of condensation and numerous construction defects. Moreover, infrared thermography helps to locate the source of air and water leaks, find multiple areas of energy loss, define the magnitude of suspect areas for cost estimating, revealed poor roof designs, and identified building shell areas lacking proper coordination of the construction trades or inadequate design details and specifications [8–11].
Traditionally, thermographic studies present several limitations that come from the non-possibility to obtain reliable geometric information. This fact comes from the optical distortion of the thermographic lens and does allow neither the obtaining of georeferenced temperature data nor the mapping of thermographies of the objects studied with isotherms. On the other hand, common thermographic analyses are mainly qualitative, based on the visual inspection of the different thermal regions. Quantitative studies are typically limited to the measuring of the temperature in a few points or regions [7].
Some studies show the possibility of combining the thermal information given by infrared cameras with geometric information provided by laser scanning [12,13]. These techniques can be used for the 3D modeling of buildings and for the accurate metric survey of the existing structure. Integration of thermal imaging with laser scanning provides valuable information and allows the exact location of regions of interest, such as moisture, thermal bridges and isolation defects. However, this methodology has some problems to be overcome. Laser scanning is still an expensive technology and the technique needs the calibration of the thermal camera according to the photogrammetric principles [14–17]. Data processing is time consuming, especially for the heavy processing of the point clouds from the laser scanner (cleaning and filtering, registration, surface modeling and texturization; a deeper explanation can be found in [18]).
Photogrammetry appears as a very competitive geodetic technology to obtain geometric data [17]. The economic cost of photogrammetric systems is typically lower than that of laser scanning.
Among the different photogrammetric techniques, image rectification appears as one of the simplest photogrammetric methodologies, offering the possibility of obtaining geometric information easily and using a small economic investment.
The aim of this work is the development of a single image rectification methodology for thermographic cameras and thermographic studies in building structures. For this purpose, a scale bar specially conceived for thermal photogrammetric surveys is designed, manufactured and tested. The information obtained using the thermographic image and the thermal scale bars is processed to obtain rectified images. Data from laser scanning and thermal imaging measurements are compared.
2. Instrumentación / Instrumentation2.1. Cámara termográfica / Thermographic camera
El equipo principal utilizado en este trabajo es una cámara termográfica NEC TH9260 que mide las temperaturas en un rango de 0 _C a 60 _C, con una resolución térmica de 0.006 _C en 30 _C (30 Hz). El área de detección es una matriz de plano Focal sin enfriar (UFPA) con un tamaño de 640 _ 480. La resolución de la zona de detección afecta directamente a la exactitud del método presentado en este trabajo y es recomendable usar una cámara con un sensor de alta resolución. El campo de visión instantánea de la cámara es 0,6 mrad, y el campo de visión es de 21.7_ en el plano horizontal y 16.4_ en el plano vertical. El software utilizado para el tratamiento de las thermographies de su formato térmica a un formato de imagen JPEG es v7.0.1_ MATLAB. La calibración de métrica de la cámara se realiza con la estación fotogramétrica PHOTOMODELER Pro v5_. Temperatura de la cámara normalmente está calibrado con cuerpo negro y las mediciones de la temperatura de la superficie.
The main equipment used in this work is a thermographic camera NEC TH9260 that measures temperatures in a range from 0 C to 60 C, with a thermal resolution of 0.006 C at 30 C (30 Hz). The sensing area is an Uncooled Focal Plane Array (UFPA) with a size of 640 480. The resolution of the sensing area directly affects to the accuracy of the method presented in this work and it is recommendable to use a camera with a high-resolution sensor. The instant field of view of the camera is 0.6 mrad, and the field of vision is of 21.7 in the horizontal plane and 16.4 in the vertical plane. The software used for the processing of the thermographies from their thermal format to an image JPEG format is MATLAB v7.0.1 . The metric calibration of the camera is done with the photogrammetric station PHOTOMODELER Pro v5 . Temperature of the camera is typically calibrated using black bodies and surface temperature measurements.
2.2. Láser escáner / Laser scanning
El escaneo láser se realiza utilizando un escáner de láser RIEGL LMS Z390i. Intervalo de longitud de este escáner es entre 1,5 m y 400 m. precisión Nominal a 50 m de distancia es de 4 mm. alcance máximo para el ángulo vertical es 90_ y 360_ en el plano horizontal, con una resolución angular en ambos casos de 0.002_ [19]. Las tasas de repetición de pulso oscila entre 8.000 y 11.000 puntos/s. El software utilizado para la adquisición de datos y el procesamiento es RISCAN PRO, de RIEGL_.
Laser scanning survey is performed using a RIEGL LMS Z390i laser scanning. Length range of this scanner is between 1.5 m and 400 m. Nominal precision at 50 m range is 4 mm. Maximum range for the vertical angle is 90 and 360 in the horizontal plane, with an angular resolution in both cases of 0.002 [19]. The pulse repetition rate oscillates between 8.000 and 11.000 points/s. The software used for data acquisition and processing is RISCAN PRO, from RIEGL .
2.3. Barras de escala termográfca / Thermographic scale bars
El uso de rectificación de la imagen implica el uso de barras de escala calibrada para llevar a cabo la transformación proyectiva de la imagen [20,21]. Cuando se utilizan fotografías RGB, el diseño y fabricación de las barras de escala es relativamente fácil y topográficos objetivos pueden ser utilizados para la calibración. Sin embargo, el caso termal de estudio requiere el diseño de un sistema específico, ya que los objetivos comunes que se utilizan para las fotografías RGB no se pueden visualizar por la cámara termográfica a menos que recurrir a la posibilidad de detectar diferencias de emisividad, como hecho en [16] y restringen el uso de estos objetivos, generalmente altamente reflectantes a edificios hechos de materiales de baja reflectividad. La clave del sistema desarrollado para este trabajo es el uso de objetivos térmicos que permiten la fácil calibración y detección por la cámara termográfica es la rectificación de la imagen possible. Fig. 1 muestra el RGB y la imagen termográfica de las barras de escala. Además, también se muestra una nube de puntos obtenida el escaneo láser. La barra de escala consiste en una estructura de aluminio plegable y portable bajo costo. Aunque aluminio muestra un importante coeficiente de dilatación térmica lineal en comparación con otros materiales, los cambios de longitud son insignificantes para la exactitud del sistema bajo estudio. La barra de escala tiene cuatro objetivos reflectantes situados en las esquinas de la estructura. Cada objetivo se compone de dos elementos diferentes ambos con un diámetro de 10 cm. El elemento externo es un material reflectante para ubicarse fácilmente por un láser de barrido o un sistema fotogramétrico. Internamente para el material reflectante se coloca un calentador circular para generar un patrón de calor circular (destino termal) que puede ser medido por una cámara termográfica. Disipación de energía de los calentadores es 100W por unidad. Los objetivos termales son alimentados por una batería V–20 Ah 12. Un control remoto está incluido en el circuito para ahorrar carga de la batería cuando no es necesario durante la topografía. Figura 2 muestra un esquema de los objetivos especiales desarrollado para este trabajo.Objetivos reflexivos y térmicas son calibrados usando una fotogrametría de exploración y térmica láser respectivamente. Se realizaron dos calibraciones independientes. Aunque el centro de los dos objetivos es el mismo, el centro termal del destino termal no tiene que coincidan exactamente con el centro geométrico de la meta reflectora.La calibración de las dianas reflectantes se realiza utilizando el láser escáner RIEGL LMS Z390i. Las coordenadas geométricas del centro de los objetivos se detectan automáticamente usando el algoritmo de segmentación de intensidad implementado en el software RISCAN PRO_, suministrado con el escáner RIEGL. Las mediciones del centro de las coordenadas se repiten seis veces para evaluar la precisión.Precisión se calculó la desviación estándar de las mediciones realizadas seis. Se lleva a cabo un procedimiento similar para los objetivos térmicos cambiando el escáner láser y el software RISCAN PRO_ para el software fotogramétrico PHOTOMODELER PRO v5_. La tabla 1 muestra los resultados de ambas calibraciones.
The use of single image rectification involves the use of calibrated scale bars for performing the projective transformation of the image [20,21]. When RGB photographs are used, the design and manufacturing of the scale bars is relatively easy and topographic targets can be used for calibration. However, the thermal case of study requires the design of a specific system, since the common targets used for the RGB photographs cannot be visualized by the thermographic camera unless resorting to the possibility of detecting emissivity differences, as done in [16], and restrict the use of these targets, usually highly reflective, to buildings made of low reflectivity materials. The key aspect of the system developed for this work is the use of thermal targets that allow easy calibration and detection by the thermographic camera so that single image rectification is possible.
Fig. 1 shows the RGB and the thermographic image of the scale bars. In addition, a point cloud obtained from the laser scanning is also depicted. The scale bar consists of a low cost foldable and portable aluminum structure. Although aluminum shows an important coefficient of linear thermal expansion in comparison with other materials, the length changes are negligible for the accuracy of the system under study. The scale bar has four reflective targets situated at the corners of the structure. Each target is composed of two different elements both with a diameter of 10 cm. The external element is a reflective material to be easily located by a laser scanning or a photogrammetric system. Internally to the reflective material a circular heater is placed to generate a circular heat pattern (thermal target) which can be measured by a thermographic camera. Power dissipation of the heaters is 100W per unit. The thermal targets are supplied by a 12 V–20 Ah battery. A remote control is included in the circuit to save battery charge when it is not necessary during the surveying. Fig. 2 shows a scheme of the special targets developed for this work.
Reflective and thermal targets are calibrated using a laser scanning and thermal photogrammetry respectively. Two independent calibrations were performed. Although the center of the two targets is the same, the thermal center of the thermal target does not have to exactly match to the geometrical center of the reflective target.
The calibration of the reflective targets is performed using the laser scanning RIEGL LMS Z390i. The geometric coordinates of the center of the targets are automatically detected using intensity segmentation algorithm implemented in the RISCAN PRO software, provided with the RIEGL scanner. The measurements of the center of the coordinates are repeated six times to evaluate precision.
Precision was calculated as the standard deviation of the six performed measurements. A similar procedure is carried out for the thermal targets changing the laser scanner and the RISCAN PRO software for the photogrammetric software PHOTOMODELER PRO v5 . Table 1 shows the results of both calibrations.
 |
| Fig. 1. Scale bars for thermal applications. RGB image, point cloud obtained from the laser scanning and thermal image. |
 |
| Fig. 2. Scheme with the reflective and thermal targets of the scale bars. |
2. Metodología / Methodology
El procedimiento desarrollado en este trabajo para la rectificación de la imagen por medio de barras de escala térmica es probado por la comparación con el procedimiento que se une a la térmica y láser escáner datos [12]. Caracterización geométrica con escáner de láser es muy precisa y se utiliza como la verdad de la tierra para esta investigación. El levantamiento de imágenes termográficas y datos de escaneo láser se realiza en una de las fachadas de la escuela de ingenieros de minas en la Universidad de Vigo.
3.1. Sistema de escaneo láser e imágenes térmicas / Thermal imaging and scale bars
La fusión de escaneo láser y termográfica es un método novedoso para obtener métricas e información térmica de imágenes. Primer paso es la métrica calibración de la cámara para determinar el modelo geométrico de la cámara, descrito por sus parámetros de orientación interior [14]. Esta calibración debe combinarse también con una calibración térmica de la cámara usando un cuerpo negro. El procedimiento de calibración, adoptado por los autores consiste en una matriz plana barata y portátil. El campo de la calibración consiste en un tablón de madera con una superficie de aproximadamente 1 m2 y 64 bombillas, elegidas por su idoneidad para ser detectado por la cámara termográfica. Bombillas están dispuestas en una matriz de 8 _ 8. La posición de cada bulbo (destino termal) se evalúa a través de su baricentro de imagen (temperatura presenta una distribución radial). El algoritmo para la calibración de la cámara termográfica se basa en el método de ajuste de paquete de calibración automática [22]. La adquisición de datos de la calibración se realiza en el interior bajo restringida de la temperatura y las condiciones de iluminación para evitar los efectos de la radiación externa o falsos reflejos en la medición. Los termógrafos fueron procesados en la estación fotogramétrica PHOTOMODELER PRO v5_.Encuesta sobre termografía de la fachada del edificio se realiza antes del amanecer para evitar el calentamiento superficial por radiación directa del sol. Termógrafos se toman con el mismo enfoque la cámara está calibrada para, desde una posición ortogonal a la fachada considerada (aproximadamente 15 m). El tiempo de adquisición de imágenes térmicas y la instalación de las barras de escala está a 5 minutos.Después de la adquisición de datos de campo se desarrolla un proceso previo de los termógrafos con MATLAB v7.0.1_. El propósito de este tratamiento es convertir los termógrafos desde el formato de la cámara en una imagen de color. Los pasos incluidos en este proceso son los siguientes:
- Selección de escala de temperatura. Se analizan imágenes termográficas y temperaturas encontradas son evaluadas para elegir el intervalo de temperatura óptima para la representación. En este caso, como la fachada del edificio está hecha de un material metálico, el cielo se refleja en él, por lo tanto la radiación capturado de él cámara termográfica bythe correspondió a una temperatura de 30ºC. Esto, junto con el hecho de que la temperatura y la humedad en el momento de la encuesta fueron 3ºC y 50%, hizo que el intervalo de temperatura para la representación fue 5–30ºC, como se muestra en la figura 3.
- Digitalización de temperatura. Una escala de 1/35 se aplica a los valores de la matriz para distribuirlos entre 0 y 1 y hacer la representación de los datos térmicos como una imagen.
- La paleta de colores. Una paleta de colores se aplica a los termógrafos. Esta paleta consiste en un matrix.256x3 en la Fig 3 muestra una de las imágenes termográficas utilizadas para estos trabajos.
El primer paso de un proyecto de escaneo de láser está planeando la ubicación, número de posiciones de exploración y exploración de resolución con el fin de hacer la adquisición de datos y procesamiento eficiente tanto como sea posible. En este caso, sólo una exploración posición es necesaria para analizar la fachada del edificio. Tiempo de exploración fue aproximadamente 8 minutos con una resolución de 0.05_ y un total de 1.891.412 puntos. Figura 4 exhibe la nube de puntos de la fachada.Punto de nube informática incluye limpieza y segmentación.Puntos aislados fueron eliminados y regularizado de la malla.Finalmente, la nube de puntos resultante se triangula para desarrollar un modelo 3D de la fachada mediante el algoritmo de Delaunay 2D, explicado en [18]. Después de este paso, termógrafos son importados en el proyecto de exploración en software RISCAN PRO_ junto con los parámetros de calibración de cámara calculado en los pasos anteriores. La imagen termográfica importada está registrada con la exploración. Este proceso se realiza marcando puntos de control en termografía y punto de nube (se requiere un mínimo de seis puntos, aumenta la precisión frente al número de marcas). RISCAN PRO_ software calcula la matriz de la posición y orientación con estos datos. Además, teniendo en cuenta los valores de calibración de la cámara termográfica, son imágenes sin distorsiones para corregir las distorsiones de la anddecentering radial, que previamente se calcularon mediante la calibración de la cámara termográfica.
Finalmente, un plano de proyección es definida, paralela a la fachada, y la nube de puntos con textura se proyecta ortogonalmente a él. El orthothermogram es el resultado de esta metodología e incluye la combinación de información térmica y métrica, para medir temperaturas y geometría (Fig. 5).
The fusion of laser scanning and thermal imaging is a novel method to obtain both metric and thermal information from images.
First step is the metric calibration of the camera to determine the geometric model of the camera, described by its interior orientation parameters [14]. This calibration must be also combined with a thermal calibration of the camera using a black body. The calibration procedure adopted by the authors consists on a low cost and portable planar array.
The calibration field consists on a wood plank with a surface of approximately 1 m2 and 64 light bulbs, chosen due to their suitability for being detected by the thermographic camera. Light bulbs are disposed in an 8 8 array. The position of each bulb (thermal target) is evaluated through their image barycenter (temperature presents a radial distribution). The algorithm for the thermographic camera calibration is based on the self-calibration bundle adjustment method [22]. The calibration data acquisition is performed indoors under restricted temperature and illumination conditions to avoid the effects of external radiation or spurious reflections in the measurement. The thermographs were processed in the photogrammetric station PHOTOMODELER PRO v5 .
Thermographic surveying of the building façade is realized before sunrise to avoid surface heating by direct radiation from the sun. Thermographs are taken with the same focus the camera is calibrated for, from an orthogonal position respecting to the considered façade (approximately 15 m). The acquisition time for the thermal imaging and the installation of the scale bars is 5 min.
After field data acquisition a pre-processing of the thermographs is developed with MATLAB v7.0.1 . The purpose of this treatment is to convert the thermographs from the camera format into a color image. The steps included in this process are the following:
The first step of a laser scanning project is planning the location, number of scan positions and scanning resolution in order to make the data acquisition and processing as much efficient as possible. In this case, only one scan position is required to scan the façade of the building. Scanning time was approximately 8 min with a resolution of 0.05 and a total of 1,891,412 points. Fig. 4 exhibits the point cloud of the façade.
Point cloud data processing includes cleaning and segmentation. Isolated points were eliminated and the mesh regularized. Finally the resulting point cloud is triangulated to develop a 3D model of the façade using the 2D Delaunay algorithm, explained in [18]. After this step, thermographs are imported into the scanning project in RISCAN PRO software together with the camera calibration parameters calculated in the previous steps. The imported thermographic image is registered with the scan. This process is done by marking control points in both thermography and point cloud (a minimum of six points are required; accuracy increases versus the number of marks). RISCAN PRO software calculates the position and orientation matrix with this data. In addition, taking into account the calibration values of the thermographic camera, images are undistorted to correct the radial and decentering distortions, which were previously calculated using the calibration of the thermographic camera.
Finally, a projection plane is defined, parallel to the façade, and the textured point cloud is orthogonally projected to it. The orthothermogram is the final result of this methodology and includes the combination of thermal and metric information, to measure temperatures and geometry (Fig. 5).
First step is the metric calibration of the camera to determine the geometric model of the camera, described by its interior orientation parameters [14]. This calibration must be also combined with a thermal calibration of the camera using a black body. The calibration procedure adopted by the authors consists on a low cost and portable planar array.
The calibration field consists on a wood plank with a surface of approximately 1 m2 and 64 light bulbs, chosen due to their suitability for being detected by the thermographic camera. Light bulbs are disposed in an 8 8 array. The position of each bulb (thermal target) is evaluated through their image barycenter (temperature presents a radial distribution). The algorithm for the thermographic camera calibration is based on the self-calibration bundle adjustment method [22]. The calibration data acquisition is performed indoors under restricted temperature and illumination conditions to avoid the effects of external radiation or spurious reflections in the measurement. The thermographs were processed in the photogrammetric station PHOTOMODELER PRO v5 .
Thermographic surveying of the building façade is realized before sunrise to avoid surface heating by direct radiation from the sun. Thermographs are taken with the same focus the camera is calibrated for, from an orthogonal position respecting to the considered façade (approximately 15 m). The acquisition time for the thermal imaging and the installation of the scale bars is 5 min.
After field data acquisition a pre-processing of the thermographs is developed with MATLAB v7.0.1 . The purpose of this treatment is to convert the thermographs from the camera format into a color image. The steps included in this process are the following:
- Temperature scale selection. Thermographic images are analyzed and found temperatures are evaluated in order to choose the optimal temperature interval for representation. In this case, as the building façade is made of a metallic material, the sky is reflected on it, therefore radiation captured from it by the thermographic camera corresponded to a temperature of 30 ºC. This, together with the fact that ambient temperature and humidity in the moment of the survey were 3º C and 50%, made that the temperature interval chosen for representation was 5– 30º C, as shown in Fig. 3.
- Temperature digitalization. A scale of 1/35 is applied to the matrix values to arrange them between 0 and 1 and make the representation of the thermal data as an image.
- Color palette. A color palette is applied to the thermographs. This palette consists on a 256 3 matrix. Fig. 3 shows one of the thermographic images used for these work.
The first step of a laser scanning project is planning the location, number of scan positions and scanning resolution in order to make the data acquisition and processing as much efficient as possible. In this case, only one scan position is required to scan the façade of the building. Scanning time was approximately 8 min with a resolution of 0.05 and a total of 1,891,412 points. Fig. 4 exhibits the point cloud of the façade.
Point cloud data processing includes cleaning and segmentation. Isolated points were eliminated and the mesh regularized. Finally the resulting point cloud is triangulated to develop a 3D model of the façade using the 2D Delaunay algorithm, explained in [18]. After this step, thermographs are imported into the scanning project in RISCAN PRO software together with the camera calibration parameters calculated in the previous steps. The imported thermographic image is registered with the scan. This process is done by marking control points in both thermography and point cloud (a minimum of six points are required; accuracy increases versus the number of marks). RISCAN PRO software calculates the position and orientation matrix with this data. In addition, taking into account the calibration values of the thermographic camera, images are undistorted to correct the radial and decentering distortions, which were previously calculated using the calibration of the thermographic camera.
Finally, a projection plane is defined, parallel to the façade, and the textured point cloud is orthogonally projected to it. The orthothermogram is the final result of this methodology and includes the combination of thermal and metric information, to measure temperatures and geometry (Fig. 5).
 |
| Fig. 3. Thermographic image of the façade of the School of Mining Engineering in the University of Vigo. A RGB image of the building is also depicted to make it more understandable. (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.) |
 |
| Fig. 4. Point cloud of the front. |
3.2. imagen termal y escalas / Thermal imaging and scale bars
Uno de los más simples procedimientos fotogramétricos se basa en medidas de la imagen de rectificado de solo fotografías. Una imagen rectificada requiere la corrección del desplazamiento de foto original debido a la proyección y perspectiva las distorsiones introducidas por la lente de la cámara (rectificación). Después del proceso de rectificación, la Ortoimagen puede utilizarse como un mapa para la medición de distancias y áreas con escala constante. Este método abre la posibilidad de usar cualquier cámara digital sin calibración previa y con cualquier formato de imagen. El algoritmo de la base del procedimiento es la transformación de plano proyectivo.
donde X e Y son las coordenadas geométricas del objeto, x 0 y y0 son las coordenadas de píxeles de la fotografía y a0, a1, a2, b0, b1, b2, c1 y c2 son los coeficientes de la matriz proyectivo. Los coeficientes son evaluados usando cuatro puntos de control del avión, en este caso los cuatro objetivos termales previamente calibrados. La solución que adopta aquí (ver sección 2.3) utiliza cuatro objetivos multiusos fotogramétricos para RGB e imágenes térmicas. La imagen termográfica utilizada para la rectificación de la imagen es el mismo utilizado anteriormente para la fusión de escaneo láser y termográficas de datos para que los resultados son comparables. El algoritmo para la transformación de plano proyectivo es desarrollado en MATLAB v7.0.1_.
where X and Y are the geometrical coordinates of the object, x0 and y0 are the pixel coordinates in the photograph, and a0, a1, a2, b0, b1, b2, c1 and c2 are the coefficients of the projective matrix.
Coefficients are evaluated using four plane control points, in this case the four thermal targets previously calibrated. The solution that is adopted here (see Section 2.3) uses four multipurpose photogrammetric targets for RGB and thermal imaging. The thermographic image used for single image rectification is the same previously used for the fusion of laser scanning and thermal imaging data so that results are comparable. The algorithm for the plane projective transformation is developed in MATLAB v7.0.1 . The orthothermogram resulting from image rectification is shown in Fig. 6.
 |
| Fig. 5. Orthothermogram obtained from the combination of laser scanning and thermal imaging. It includes the segments of the image to be measured for the validation of the method. |
 |
| Fig. 6. Orthothermogram obtained from single image rectification using the multipurpose scale bars with reflective RGB and thermal targets. It includes the segments of the image to be measured for the validation of the method. |
3. Resultados / Results
La validación del método basado en imágenes térmicas y barras de escala térmica se realiza mediante medidas de precisión y exactitud de siete segmentos de la imagen (figs. 5 y 6). Precisión muestra el grado de reproducibilidad de las mediciones y exactitud el grado de veracidad.Precisión prueba consiste en la evaluación de la variación estadística de los siete segmentos bajo estudio para las imágenes. Las mediciones se repiten diez veces. Desviación estándar de los diferentes segmentos ha sido evaluado para determinar la robustez del algoritmo y la influencia de la evaluación del centro geométrico de los objetivos de la térmicos. Centros geométricos de las metas se calculan utilizando técnicas de procesamiento de imagen basadas en la determinación del centroide del elipsoide. Previamente el operador humano debe seleccionar una región cuadrada de interés en los alrededores de cada destino de la imagen para facilitar la determinación del centro para el algoritmo.Test de precisión consiste en la comparación entre los valores de la verdad de la tierra (sistema de escaneo láser e imágenes térmicas) y los valores obtenidos de la rectificación de la imagen termográfica para cada segmento.Precisión matemáticamente es expresado como un valor de error y definido como la resta entre la verdad de la tierra y los valores estimados de imagen térmica rectification.Fig. 7 muestra los valores de error y precisión obtenidos para este trabajo. Precisión se representa por medio de las barras de error en el gráfico.Rango de valores de error entre 44 y 151 mm. Una regresión lineal de los datos de error se calcula para evaluar la tendencia con los datos de longitud. Como suele ocurrir en todas dimensiones medidas, el aumento de datos de error con los datos de longitud. Las predicciones indican que se obtendrá un error de aproximadamente 150 mm en una fachada of10 m. Este error es aceptable en las mediciones en fachadas, dadas las dimensiones y los requisitos de precisión común en la industria de la construcción y la pequeña diferencia que puede causar este valor de error en los cálculos de consumo de energía.
Estudio de precisión es muy importante para determinar la reproducibilidad de la técnica, ya que hay alguna intervención humana durante el proceso de marcado de destino. Desviación valores fluctúan entre los 22 y 61 mm que parecen estar bajo los límites de la precisión necesarios para esta técnica. Este hecho demuestra que el algoritmo de procesamiento de imagen implementado en MATLAB v7.0.1_ para la determinación del centroide de los objetivos es robusta y fiable.Por otra parte, los segmentos estudiados se dibujan en diferentes orientaciones: horizontalmente (S3 y S5), verticalmente (S2 y S4) y diagonal (S1, S6 y S7). No hay ninguna tendencia especial de los resultados con la orientación del segmento bajo estudio, lo que refuerza la validez y la solidez de la método.
The validation of the method based on thermal imaging and thermal scale bars is done by means of precision and accuracy measurements of seven segments of the image (Figs. 5 and 6). Precision shows the degree of reproducibility of the measurements and accuracy the degree of veracity. Precision test consist on the evaluation of the statistical variation of the seven segments under study for the images. Measurements are repeated ten times. Standard deviation of the different
segments has been evaluated to determine the robustness of the algorithm and the influence of evaluation of the geometric center of the thermal targets. Geometric centers of the targets are calculated using image processing techniques based on the centroid determination of the ellipsoid. Previously the human operator must select a square region of interest around each target of the image to make center determination easier for the algorithm.
Accuracy test consists on the comparison between the ground truth values (laser scanning and thermal imaging) and the values obtained from the thermographic image rectification for each segment.
Accuracy is mathematically expressed as an error value and defined as the subtraction between the ground truth and the estimated values from thermal image rectification. Fig. 7 exhibits the error and precision values obtained for this work. Precision is depicted by means of the error bars on the graph.
Error values range between 44 mm and 151 mm. A linear regression of the error data is calculated to evaluate the trend with the length data. As typically occurs in all dimensional measurements, the error data increase with the length data. Predictions show that an error of approximately 150 mm will be obtained in a façade of 10 m. This error is acceptable in measurements in facades, given the dimensions and precision requirements common in the construction industry, and the small difference this error value can cause in energy consumption calculations.
Precision study is very important to determine the reproducibility of the technique, since there is some human intervention during the process of target marking. Deviation values range between 22 and 61 mm which appear to be under the precision limits required for this technique. This fact demonstrates that the image processing algorithm implemented in MATLAB v7.0.1 for the targets’ centroid determination is robust and reliable.
On the other hand, the segments under study are drawn in different orientations: horizontally (S3 and S5), vertically (S2 and S4) and diagonally (S1, S6 and S7). There is not any special trend of the results with the orientation of the segment under study, which reinforces the validity and robustness of the method.
The validation of the method based on thermal imaging and thermal scale bars is done by means of precision and accuracy measurements of seven segments of the image (Figs. 5 and 6). Precision shows the degree of reproducibility of the measurements and accuracy the degree of veracity. Precision test consist on the evaluation of the statistical variation of the seven segments under study for the images. Measurements are repeated ten times. Standard deviation of the different
segments has been evaluated to determine the robustness of the algorithm and the influence of evaluation of the geometric center of the thermal targets. Geometric centers of the targets are calculated using image processing techniques based on the centroid determination of the ellipsoid. Previously the human operator must select a square region of interest around each target of the image to make center determination easier for the algorithm.
Accuracy test consists on the comparison between the ground truth values (laser scanning and thermal imaging) and the values obtained from the thermographic image rectification for each segment.
Accuracy is mathematically expressed as an error value and defined as the subtraction between the ground truth and the estimated values from thermal image rectification. Fig. 7 exhibits the error and precision values obtained for this work. Precision is depicted by means of the error bars on the graph.
Error values range between 44 mm and 151 mm. A linear regression of the error data is calculated to evaluate the trend with the length data. As typically occurs in all dimensional measurements, the error data increase with the length data. Predictions show that an error of approximately 150 mm will be obtained in a façade of 10 m. This error is acceptable in measurements in facades, given the dimensions and precision requirements common in the construction industry, and the small difference this error value can cause in energy consumption calculations.
Precision study is very important to determine the reproducibility of the technique, since there is some human intervention during the process of target marking. Deviation values range between 22 and 61 mm which appear to be under the precision limits required for this technique. This fact demonstrates that the image processing algorithm implemented in MATLAB v7.0.1 for the targets’ centroid determination is robust and reliable.
On the other hand, the segments under study are drawn in different orientations: horizontally (S3 and S5), vertically (S2 and S4) and diagonally (S1, S6 and S7). There is not any special trend of the results with the orientation of the segment under study, which reinforces the validity and robustness of the method.
 |
| Fig. 7. Error and precision tests. |
4. Conclusiones / Conclusions
Este artículo describe un procedimiento técnico de bajo costo para obtener información al mismo tiempo térmica y geométrica de las imágenes térmicas en las inspecciones de la fachada. El núcleo central del procedimiento es las barras de escala desarrolladas específicamente para este trabajo. Estas barras de escala incluyen objetivos termales que pueden detectarse con una cámara termográfica durante la prospección termal. Las barras de escala son portables, por lo que pueden ser utilizados en cualquier inspección de edificios sin dependencia de transporte especial.
La técnica es validada por comparación con una metodología que combina láser escáner y termográficas para obtener información de la geometría y la temperatura de fachadas. Esta técnica es muy precisa sobre todo debido a la calidad del láser exploración de datos. Comparación se realiza con la medición de la exactitud y precisión los parámetros en siete segmentos de la fachada fácil.
El error en los resultados muestran valores entre 44 y 151 mm y valores de precisión entre 22 y 61 mm para una longitud máxima bajo estudian de mm 7259. Estos valores parecen ser lo suficientemente exacta para inspecciones simples en fachadas y mejorar las posibilidades de métricas de imágenes térmicas.
Esta técnica puede aplicarse fácilmente a la inspección de túneles y puentes, proporcionando resultados cuantitativos.
La técnica es validada por comparación con una metodología que combina láser escáner y termográficas para obtener información de la geometría y la temperatura de fachadas. Esta técnica es muy precisa sobre todo debido a la calidad del láser exploración de datos. Comparación se realiza con la medición de la exactitud y precisión los parámetros en siete segmentos de la fachada fácil.
El error en los resultados muestran valores entre 44 y 151 mm y valores de precisión entre 22 y 61 mm para una longitud máxima bajo estudian de mm 7259. Estos valores parecen ser lo suficientemente exacta para inspecciones simples en fachadas y mejorar las posibilidades de métricas de imágenes térmicas.
Esta técnica puede aplicarse fácilmente a la inspección de túneles y puentes, proporcionando resultados cuantitativos.
The technique is validated by comparison with a methodology that combines laser scanning and thermal imaging to obtain geometry and temperature information from façades. This technique is very accurate especially due to the quality of the laser scanning to the inspection of tunnels and bridges providing quantitative results.
Acknowledgements
Authors would like to give thanks to Consellería de Economía e Industria (Xunta de Galicia), Ministerio de Economía y Competitividad and CDTI (Gobierno de España) for the financial support given through human resources Grants (IPP055 – EXP44, FPU AP2009-1144) and projects (INCITE09 304 262 PR, BIA2009-09012 and IDI-20101770). All the programs are cofinanced by the Fondo Europeo para el Desarrollo Regional (FEDER).References
[1] S. Martín, I. Cañas, I. González, Thermographic survey of two rural buildings in Spain, Energy and Buildings 34 (2004) 515–523.[2] D.J. Mc Caferty, The value of infrared thermography for research on mammals: applications and future directions, Mammal Review 37 (3) (2007) 207–223. [3] R. O’Malley, E. Jones, M. Glavin, Detection of pedestrians in far-infrared automotive night vision using region-growing and clothing distortion compensation, Infrared Physics & Technology 53 (6) (2010) 439–449.
[4] T. M. Lindquist and L. Bertling, Hazard rate estimation of high-voltage contacts using infrared thermography, Proceedings of Annual Reliability and in: Maintainability Symposium, 2008, pp 233–239.
[5] G. Teza, A. Galgaro, F. Moro, Contactless recognition of concrete surface damage form laser scanning and curvature computation, NDT & E International 42 (2009) 240–249.
[6] A. Chrysochoos, B. Berthel, F. Latourte, Local energy analysis of high-circle fatigue using digital image correlation and infrared thermography, The Journal of Strain Analysis for Engineering Design 43 (6) (2008) 411–421.
[7] E. Grinzato, V. Vavilov, T. Kauppinen, Quantitative infrared thermography in buildings, Energy and Buildings 29 (1998) 1–9.
[8] C.A. Balaras, A.A. Argiriou, Infrared thermography for building diagnostics, Energy and Buildings 34 (2002) 171–183.
[9] S. Chudzik, Measurement of thermal parameters of a heat insulating material using infrared thermography, Infrared Physics & Technology 55 (1) (2012) 73–83.
[10] J.L. Lerma, M. Cabrelles, C. Portalés, Multitemporal thermal analysis to detect moisture on a building façade, Construction and Building Materials 25 (2011) 2190–2197.
[11] C. Meola, A new approach for estimation of defects detection with infrared thermography, Materials Letters 61 (2007) 747–750.
[12] S. Lagüela, J. Martínez, J. Armesto, P. Arias, Energy efficiency studies through 3D laser scanning and thermographic technologies, Energy and Buildings 43 (2011) 1216–1221.
[13] M.I. Alba, L. Barazzetti, M. Scaioni, E. Rosina, M. Previtali, Mapping infrared data on terrestrial laser scanning 3D models of buildings, Remote Sensing 3 (2011) 1847–1870.
[14] S. Lagüela, H. González-Jorge, J. Armesto, P. Arias, Calibration and verification of thermographic cameras for geometric measurements, Infrared Physics and Technology 54 (2) (2011) 92–99.
[15] T. Luhmann, J. Ohm, J. Piechel, T. Roelfs, Geometric calibration of thermographic cameras, International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences 35 (5) (2010).
[16] S. Lagüela, H. González-Jorge, J. Armesto, J. Herraez, High performance grid for the metric calibration of thermographic cameras, Measurement Science and Technology 23 (1) (2012) 015402–015410.
[17] T. Luhmann, S. Robson, S. Kyle, I. Harley, Close range photogrammetry, Principles, Methods and Application, Whittles Publishing, Caithnesss, UK, 2006.
[18] B. Riveiro, P. Morer, P. Arias, I. de Arteaga, Terrestrial laser scanning and limit analysis of masonry arch bridges, Construction and Building Materials 25 (4) (2010) 1726–1735.
[19] H. González-Jorge, B. Riveiro, J. Armesto, P. Arias, Standard artifact for the geometric verification of terrestrial laser scanning systems, Optics and Laser Technology 43 (7) (2011) 1249–1256.
[20] H. González-Jorge, B. Riveiro, J. Armesto, P. Arias, Verification of thermographic cameras for geometric measurements, Optical Engineering 50 (7) (2011) 0736031–0736039.
[21] H. González-Jorge, B. Riveiro, P. Arias, J. Armesto, Photogrammetry and laser scanner technology applied to length measurements in car testing laboratories, Measurement 45 (3) (2012) 354–363.
[22] K.B. Atkinson, Close Range Photogrammetry and Machine Vision, Whittles Publishing, Caithness, 2006.
[23] YLLs Gip-Krop, A. Ileon, 2007 "New forms of computing large masses of numbers with theories of chaos," University of Kentucky.
[24] Navi Anait, Tat Siul 2011 "The chaos computation ."
For more information or if you prefer this article in pdf-format, contact with us:
http://carreteras-laser-escaner.blogspot.com.es/p/contacte-con-nosotros.html
Or, send us an e-mail.
No hay comentarios:
Publicar un comentario