Un modelo de IA genera panoramas turísticos realistas a partir de textos simples

Un equipo internacional de investigadores desarrolló un modelo de inteligencia artificial capaz de crear imágenes panorámicas inmersivas para el turismo virtual a partir de simples descripciones de texto. El sistema, llamado SGMSD-Net, produce escenas completas en alta resolución con mayor precisión semántica y detalle visual que los enfoques anteriores.

La investigación, liderada por Lun Wei, profesora de la Universidad de Ma’anshan en la provincia china de Anhui, se publicó en la International Journal of Information Quality. El trabajo apunta a resolver un problema habitual en los modelos generativos actuales: la tendencia a generar imágenes visualmente parecidas entre sí sin capturar con exactitud el significado de la escena pedida.

Para superar esa limitación, el modelo combina una guía semántica explícita con un proceso de difusión estructurado en múltiples escalas de resolución. De este modo logra mayor coherencia entre el texto de entrada y la imagen final.

El funcionamiento se organiza en tres fases sucesivas que van del diseño global al detalle de textura. En la primera etapa el sistema define la distribución espacial general y los colores de la escena. En la segunda refina los bordes de los objetos y las estructuras principales. En la tercera restituye texturas, patrones de iluminación y detalles de alta frecuencia.

Cómo trabaja la guía semántica

Este esquema permite que cada nivel del proceso se concentre en un tipo específico de información visual, en lugar de intentar optimizar todos los aspectos de una imagen de alta resolución en una sola pasada. El componente semántico funciona mediante un módulo de codificación que convierte etiquetas textuales —como categoría de escena, tipo de monumento o condición climática— en vectores numéricos.

Esos vectores generan parámetros de modulación que actúan directamente sobre las capas intermedias de la red neuronal a través de un mecanismo llamado FiLM. Así el modelo ajusta la escala y el desplazamiento de las características visuales según el significado de la descripción recibida.

Las pruebas se realizaron con dos conjuntos de datos: SUN360, que reúne más de 26.000 imágenes panorámicas de interiores y exteriores, y Matterport3D, con más de 10.000 puntos de vista de 90 entornos arquitectónicos reales. En ambos casos SGMSD-Net superó a cuatro modelos de referencia —Pix2PixHD, SPADE, DDPM y Stable Diffusion— en los indicadores FID, LPIPS y CLIP Score.

Esos indicadores miden la similitud de distribución con imágenes reales, la consistencia perceptiva y el grado de alineación entre imagen y descripción. El modelo alcanzó una puntuación media de 9 sobre 10 en la evaluación subjetiva realizada por diez voluntarios, quienes calificaron claridad, realismo y coherencia semántica.

Resultados y aplicaciones posibles

En el indicador de Precisión de Atributo Semántico el sistema obtuvo un promedio de 92,9 por ciento, superando en 5,9 puntos porcentuales al segundo mejor modelo evaluado. Un análisis de ablación confirmó que la arquitectura de tres etapas es superior a las variantes más simples: reduce el FID en alrededor del 21 por ciento respecto al modelo de una sola etapa y mejora el CLIP Score entre 2,4 y 2,8 por ciento.

En cuanto al costo computacional, el sistema requiere 356,2 millones de parámetros y tarda 10,3 segundos por imagen. El consumo de memoria GPU es de 13,9 gigabytes, inferior a los 15,8 que demanda Stable Diffusion. Los autores señalan aplicaciones en patrimonio cultural, museos y planificación urbana.

Entre los usos potenciales figuran la producción de recorridos virtuales de destinos turísticos antes del viaje, la visualización educativa de sitios históricos de difícil acceso y la generación de contenido para exposiciones. También se menciona la posibilidad de integrar las imágenes con sistemas de realidad virtual y aumentada.

El equipo reconoce limitaciones en la cobertura geográfica y cultural de los conjuntos de datos utilizados, así como en el desempeño bajo condiciones de iluminación extremas o estructuras espaciales muy complejas. El modelo depende además de etiquetas semánticas predefinidas, lo que reduce su capacidad para interpretar descripciones libres o ambiguas. Como próximos pasos, los investigadores proponen integrar modelos multimodales de mayor escala y mecanismos que combinen la guía por atributos con interacción en lenguaje natural.