Algoritmos de desentrelazado

El entrelazado es un sistema de vídeo herencia de la década de 1940, cuando se definieron los diferentes sistemas de televisión, analógica naturalmente, el cual consiste en que la cámara explora primero las líneas impares generando así el primer campo y después explora las líneas pares para formar el segundo campo. Como consecuencia, cada cuadro de imagen consta de dos campos que no pertenecen al mismo instante de tiempo. A causa de la estructura de muestreo de los sistemas entrelazados, pueden aparecer algunos artefactos en la imagen; por ejemplo, cuando existen altas frecuencias verticales, puede aparecer aliasing, e incluso también aparece en la imagen un parpadeo característico denominado “flicker”. En la figura 1 se representa gráficamente la estructura de muestreo de un sistema entrelazado. La razón por la que se estableció este sistema es que tanto el cine como la televisión se basan en una secuencia de cuadros con imágenes estáticas proyectada con la frecuencia adecuada para dar la sensación de movimiento. En el cine se trabajó con frecuencias entre 18 y 24 imágenes por segundo, mientras que en TV se establecieron dos frecuencias de cuadro, 25 imágenes por segundo en Europa y 30 imágenes por segundo en América. Estas cifras se consideraron suficientes para que el cerebro humano aceptara que incluso los movimientos rápidos se producían de modo continuo, es decir, sin saltos notorios. Sin embargo estos valores resultaron ser insuficientes para eliminar el parpadeo. Duplicar esta cifra representaba un gasto enorme de película o en el caso de la televisión suponía duplicar el ancho de banda de los canales de emisión. Aunque de este modo se podía paliar el parpadeo, esto no representaba una mejora notable en cuanto a la suavidad de movimientos con lo que no se justificaría el gasto. La resolución temporal era suficiente sin duplicar el gasto, si bien estas consideraciones son subjetivas y se suelen basar en el comportamiento medio de la combinación ojo-cerebro humano. En el cine se optó por una solución sencilla, proyectando dos veces cada fotograma con lo que el parpadeo se reduce sin un gasto adicional. En la televisión se inventó el sistema de entrelazado que permitía al haz de electrones barrer la pantalla dos veces, una con cada campo para mostrar cada uno de los cuadros (el equivalente del fotograma), estando desplazados verticalmente un campo respecto del otro en una cantidad igual al grosor de una línea. Hoy en día estas consideraciones resultan irrisorias pues la tecnología actual permite mejorar tanto la resolución espacial con la denominada alta definición como la resolución temporal con barrido progresivo y 50 o 60 cuadros por segundo, permitiendo además registrar imágenes en formatos digitales. Y tanto el exceso de ancho de banda utilizado como la cantidad de memoria usada, se pueden reducir con diversos algoritmos matemáticos de compresión. Sin embargo, aún existe mucho material de vídeo registrado en modo entrelazado. Además, todavía hoy se usa el sistema entrelazado aunque actualmente las cámaras puedan captar todos los cuadros en barrido progresivo. Debido al intercambio de programas en diversos formatos es necesario desentralazar las imágenes de aquellos formatos que vienen entrelazadas en origen. Las imágenes se cambian de formatos pasando de analógicas a digitales, con cambio de número de líneas y de cuadros, no sólo para pasar entre definición estándar SD y alta definición HD o viceversa, sino también para pasar en un mismo grado de definición de un sistema a otro en el intercambio entre países, el cambio entre NTSC y PAL sigue siendo muy común y el cambio entre 25 y 30 imágenes en SD o entre 50 y 60 imágenes en HD es muy frecuente. Todos estos cambios necesitan deshacer el entrelazado para conseguir cuadros de exploración progresiva y poder editar y procesar las secuencias de vídeo. El desentrelazado consiste en realizar una estimación de las líneas que faltan en cada uno de los campos de una señal de vídeo entrelazada, consiguiendo así una señal de vídeo progresiva. Para realizar este proceso hay una gran cantidad de algoritmos, con distintos grados de complejidad. En este documento se van a exponer los algoritmos de desentrelazado por interpolación temporal, desentrelazado por interpolación espacial, desentrelazado por adaptación de movimiento, y desentrelazado por compensación de movimiento, realizando comparaciones entre ellos.

Desentrelazado por interpolación temporal

Una de las familias de algoritmos de desentrelazado más sencillas son las que realizan interpolación temporal, es decir, los que utilizan la información de los campos vecinos para estimar las líneas que faltan. El algoritmo más sencillo de este tipo es el replicado del campo anterior. La ventaja de este algoritmo es que consigue la máxima resolución temporal cuando no hay movimiento en el vídeo; sin embargo, cuando hay movimientos grandes el duplicado de campo puede introducir artefactos que son visualmente muy perceptibles. En la figura 2 se presenta un ejemplo de desentrelazado por replicación de campo, donde el vídeo desentrelazado es una imagen fija de una cara por la que pasa un cuadrado azul en movimiento diagonal. En la figura se puede observar que la imagen de la cara tiene una resolución muy buena, pero que los bordes del cuadrado azul tienen unos artefactos muy notorios debido al mal funcionamiento de este algoritmo con los objetos en movimiento.

Desentrelazado por interpolación espacial

Otra de las familias de algoritmos de desentrelazado sencillo son los algoritmos que utilizan interpolación espacial, es decir, utilizan la información de las líneas en el campo actual para estimar las que faltan. El algoritmo más sencillo dentro de este grupo es el promediado de líneas (LA – Line Average). Una evolución de este sistema que merece la pena destacar es el algoritmo que realiza una búsqueda de bordes para realizar la estimación espacial (ELA – Edge Line Average). Estos algoritmos reducen el efecto escalonado en los bordes, y son los que mejor resultado ofrecen dentro de este conjunto de algoritmos. La gran ventaja de estos algoritmos es que no introducen artefactos debido al movimiento de los objetos; por otro lado, su principal problema es que al utilizar únicamente la información del campo actual reducen la resolución vertical. En la figura 3 se muestra un ejemplo de desentrelazado espacial con búsqueda de bordes (ELA). La secuencia de vídeo, al igual que en el ejemplo anterior, es la imagen de una cara estática sobre la que se mueve diagonalmente un cuadrado azul. Se puede apreciar que los bordes del cuadrado en movimiento no tienen ningún artefacto; por contra, la resolución de la imagen de la cara estática se ve reducida.

Comparación de desentrelazado espacial y temporal

En la figura 4 se muestran a la vez el resultado de desentrelazar replicando el campo anterior, y utilizando el algoritmo de interpolación espacial de búsqueda de bordes (ELA). Como ya se ha comentado, el principal problema que aparece en el algoritmo de replicación del campo anterior son los artefactos que aparecen en los objetos en movimiento, como se puede apreciar en el borde del cuadrado azul. Por otra parte, en el algoritmo de interpolación espacial se produce una pérdida de resolución vertical; este efecto se puede apreciar especialmente en el ojo y en la ceja de la cara, y en la resolución del cabello.

Desentrelazado con algoritmo adaptativo de movimiento

Debido a que los algoritmos espaciales tienen un mejor comportamiento en imágenes en movimiento y los algoritmos temporales son mejores para imágenes estáticas, los algoritmos de desentrelazado evolucionan para mezclar lo mejor de los dos tipos de algoritmos. Así surgen los algoritmos adaptativos de movimiento (Motion Adaptive). Este tipo de algoritmos detecta el grado de variación entre campos consecutivos de los píxeles y realiza la combinación de interpolación espacial y temporal según cómo sea la variación observada. Esta familia de algoritmos es la más utilizada en la actualidad. En la figura 5 se muestra el resultado de desentrelazar con este algoritmo la misma secuencia de vídeo con una imagen fija de una cara sobre la que hay un cuadrado azul en movimiento diagonal. Se puede observar que los bordes del cuadrado azul no tienen artefactos y que la resolución de la cara es similar a la obtenida con el algoritmo de replicación de campos. El principal problema que presenta este algoritmo es la pérdida de resolución vertical de los objetos en movimiento que aparecen en el vídeo, pero el efecto de la pérdida de resolución vertical es menor que si se hace una interpolación temporal pura, pues la pérdida sólo ocurre en las zonas que se mueven. Debido a esto apenas es perceptible por el ojo humano cuando el movimiento es rápido, aunque cuando los movimientos son relativamente lentos se puede apreciar más la pérdida de resolución. Los movimientos lentos se pueden producir o bien por un movimiento de un objeto sobre un fondo fijo, o bien por movimientos de la cámara (“zoom”, “travelling”, etc.). En la figura 6 se muestra el resultado de desentrelazar utilizando el algoritmo adaptativo de movimiento sobre secuencias de vídeo en los que hay un movimiento hacia delante de la cámara, de modo que todo el cuadro está en movimiento.

Desentrelazado con algoritmo con compensación de movimiento

Otros algoritmos que también hay que resaltar son los que realizan compensación de movimiento. Estos algoritmos intentan realizar una estimación del movimiento entre campos consecutivos, es decir, calculan vectores de movimiento. Para ello, se realiza una búsqueda entre campos consecutivos de regiones con un alto parecido y se realiza una interpolación temporal. Esta búsqueda de regiones similares requiere una carga computacional muy alta. Cuando los movimientos en la imagen son de unos pocos píxeles y los vectores de movimiento están bien estimados, esta familia de algoritmos da unos resultados excepcionales, especialmente en el desentrelazado de imágenes con texturas y con alta resolución vertical. Sin embargo, cuando los vectores de movimiento se calculan con errores y los movimientos son grandes, pueden aparecer artefactos visualmente perceptibles. Es por ello que para su utilización es necesario combinarlos con algún otro tipo de algoritmo de desentrelazado para que cuando no se realiza una estimación correcta, ésta sea detectada y se pueda combinar con otra estimación más acertada sin que aparezcan artefactos. En la figura 7 se muestra el resultado de desentrelazar una secuencia de vídeo en la que hay un movimiento de cámara hacia delante, lo que provoca que toda la imagen esté en movimiento. Se ha utilizado para ello un algoritmo con compensación de movimiento combinado con un algoritmo adaptativo de movimiento. Se puede apreciar que toda la imagen mantiene una alta resolución sin apenas introducir artefactos.

Comparación entre algoritmo adaptativo de movimiento y algoritmo con compensación de movimiento

En las figuras 8 y 9 se muestran a la vez el resultado de desentrelazar empleando un algoritmo adaptativo de movimiento y un algoritmo robusto que combina la compensación de movimiento con un algoritmo adaptativo. En ambos casos las secuencias son grabaciones en las que la cámara está en movimiento. En ambas comparaciones se puede observar que el algoritmo con compensación de movimiento consigue una mayor resolución en el cuadro desentrelazado. En la secuencia de la casa y el río, se observa una mayor resolución especialmente en las ventanas de la casa, en las hojas del arbol de la izquierda y en las líneas oblicuas del tejado, donde además se aprecia menor aliasing en las tejas. Con respecto a la vista aérea de Estocolmo, la mejora se aprecia sobre todo en las ventanas de los edificios, en los detalles de la calle como las farolas, los coches o los árboles, y en los artefactos que aparecen en los tejados.

Conclusión

Los algoritmos de desentrelazado basados en dar el mismo tratamiento a todo el cuadro de imagen independientemente de los movimientos que haya en la secuencia de vídeo, como son los de interpolación espacial y los de interpolación temporal, son relativamente sencillos pero sus resultados no alcanzan el grado de satisfacción que se obtiene con los que consideran el movimiento para aplicar las correcciones. Los algoritmos que analizan los movimientos parciales o totales de la imagen son más eficientes aunque llevan una carga mayor de procesamiento matemático e implican utilizar procesadores sumamente rápidos y potentes. Dentro de este conjunto de algoritmos, en primer lugar encontramos los algoritmos adaptativos de movimiento, los cuales se basan en aplicar convenientemente la interpolacion espacial o temporal a las zonas que se considere oportuno, es decir, se adaptan a los movimientos que haya en la secuencia de vídeo. Por otro lado, los algoritmos de desentrelazado por compensación de movimientos son más avanzados y con más carga de cálculo para conseguir mejor resolución en el resultado final. El equipo HXC3000C01 de Albalá Ingenieros utiliza un algoritmo de este último tipo desarrollado en su laboratorio que proporciona unos resultados sumamente satisfactorios. Gracias al empleo de este algoritmo se consigue una gran calidad en el desentrelazado, especialmente notable en los vídeos con movimientos lentos con texturas.