И. И. Кремис
Представлены принципы и алгоритмы обработки, служащие для повышения качества тепловизионных изображений. Алгоритмы служат для работы с изображениями, получаемыми от матричных фотоприемных устройств (ФПУ) на основе HgCdTe. Процедуры улучшения изображения включают в себя коррекцию неоднородности чувствительности элементов приемника и поиск, а затем устранение его дефектных элементов. Дополнительно для устранения артефактов изображения применена система цифровых фильтров. Алгоритмы реализованы на основе микросхемы программируемой логики Cyclone

Ключевые слова: тепловизионное изображение, алгоритм обработки, дефективные элементы.

Кремис Игорь Иванович, мл. научный сотрудник. Конструкторско-технологический институт прикладной микроэлектроники.
Россия, 630090, г. Новосибирск, ул. Николаева, 8. Тел. (383) 330-65-59. Факс (383) 339-17-26. E-mail: igor21738@ngs.ru

Введение

Практически в каждом тепловизионном приборе имеются системы, осуществляющие корректировку недостатков изображения, поступающего с ФПУ. Одним из способов корректировки, применяемых в большинстве приборов, является так называемая двухточечная коррекция, достаточно подробно описанная в работах [1, 2].
Дефектные элементы (ДЭ) приемника при условии вывода изображения в реальном времени в приборах подобного типа замещают соседним слева элементом [3]. При небольшом количестве ДЭ (менее 5 %) и при размере дефектных областей не более одного пикселя визуально изображение не страдает (в данном случае оценка является сугубо субъективной). Устранение дефектности пикселей изображения в данном случае представляется возможным осуществлять простым замещением сигнала ДЭ на сигнал соседнего полноценного элемента. Но при количестве ДЭ более 5 % и размере дефектных областей от одного пикселя и более вопрос восстановления изображения до приемлемого качества является более чем актуальным, тем более при работе с широким спектром приемников, отличающихся как по размерам матрицы, так и по характеристикам. В частности, в данной работе речь будет идти о таких особенностях приемников, влияющих на качество изображения, как разброс характеристик фоточувствительных элементов и дефектность элементов ФПУ (выбитые пиксели).
Вопрос определения дефектных элементов матричных ФПУ подробно описан в работах [4, 5]. Применяемый в этих работах метод определения ДЭ имеет ряд как достоинств, так и недостатков. Так, регистрация "холодного" и "горячего" кадров в методике используется только для фиксированных значений температур в узком диапазоне, что не позволяет исследовать ФПУ во всем диапазоне рабочих температур. Кроме того, способ отбраковки элементов матрицы по среднеквадратичной оценке, приведенный в работах [4, 5], является сложным с позиции его реализации как самостоятельной функции прибора (способ требует использования большого объема памяти для хранения промежуточных массивов данных). Однако указанная методика учитывает показатели дрейфа сигнала элементов ФПУ, что позволяет более качественно регистрировать ДЭ.
В данной статье ставилась задача выработки универсальных алгоритмов повышения качества изображения, получаемого тепловизионными приборами с ФПУ на основе матриц HgCdTe. В работе исследовались матричные приемники форматов 320x256, 256x256 и 384x288 (в общем количестве 15 шт.).

Алгоритмы обнаружения дефектных элементов и коэффициентов коррекции неравномерности изображения

Предварительный анализ массивов данных с ФПУ, приведенных выше, показал, что характер дефектных элементов и характеристики фоточувствительных элементов различны для разных производителей ФПУ, а также для приемников одного типа и одного производителя. Так, анализ ДЭ позволил разделить их на три группы:

  1. шумящие элементы;
  2. элементы с постоянным уровнем сигнала;
  3. элементы с чувствительностью, выходящей за пределы установленных порогов неравномерности чувствительности по всей матрице.

Категория дрейфующих ДЭ, приведенная в [4, 5], в настоящей статье не рассматривается, так как данные элементы являются рабочими. При регулярном обновлении темнового кадра (кадра компенсации фоновой составляющей) указанные элементы как дефектные себя не проявляют, и их отклик является адекватным наблюдаемой сцене.
Введенная классификация ДЭ дает возможность сделать попытку выработать алгоритм поиска и устранения дефектных элементов, подходящий для большинства приемников HgCdTe. Причем промежуточные данные в виде коэффициентов коррекции неравномерности изображения, которые будут найдены при поиске дефектных элементов, являются необходимыми для двухточечного [1, 6, 7] выравнивания изображения в рабочем (от -50 до +50 град) диапазоне температур наблюдения объекта и фона. Коэффициенты коррекции неравномерности чувствительности элементов ФПУ определяются как разность между соответствующими пикселями горячего и холодного кадров. Анализ гистограммы коэффициентов позволяет однозначно определить характер чувствительности элемента ФПУ (вторая или третья группа). Для примера рассмотрим гистограмму (рис. 1) разности температурных кадров для 30 и 20 град. приемника размерностью 320x256. Здесь по оси абсцисс откладываются значения коэффициента, а по оси ординат — количество элементов, имеющих соответствующее значение коэффициента. Визуально можно обнаружить, что все нормально чувствительные элементы приближенно имеют нормальное распределение плотности вероятности разности температур. Рассчитав математическое ожидание (МО) и среднеквадратическое отклонение (СКО) для данного массива (для приведенной гистограммы МО = 190, СКО = 17), можно предположить, что все элементы гистограммы, код которых не попадает в диапазон А-В, где количество элементов более порога, равного 0,2, от количества элементов со значением, равным МО, являются дефектными элементами. Кроме того, можно предположить, что если значение кода элементов изображения не попадает в диапазон от МО - СКО до МО + СКО, то такие элементы также являются дефектными.
Таблица ДЭ рассчитывается при разных температурах облучения ФПУ. При каждом облучении ФПУ нужной температурой происходят накопление 16 температурных кадров и вычисление их среднего арифметического результирующего кадра . Необходимость исследования ФПУ в большом диапазоне температур обусловлена возможностью появления в серии используемых ФПУ матрицы с очень большим разбросом неравномерности чувствительности элементов приемника в рабочем диапазоне температур. Опытным путем для измерения характеристик ФПУ оптимальный шаг облучения приемника выбран 10 град, начиная от -50 до +50.
Итак, для обнаружения элементов второй и третьей групп вычисляются коэффициенты коррекции неравномерности приемника для каждой температурной пары отрицательного и положительного температурного диапазонов: к10 = t10 -t0,
к21 = t20 - t10, к32 = t30 - t20, к43 = t40 - t30, к54 = t50 - t40. Далее для каждого массива коэффициентов рассчитываются СКО и МО коэффициентов коррекции неравномерности чувствительности элементов ФПУ.
Обнаружение дефектных элементов второй и третьей групп происходит по критерию:
к < МО - СКО или к > МО + СКО,
где к — значение коэффициента.
Полученные массивы коэффициентов корректируются с учетом вышеприведенного критерия: если к < МО - СКО или к > МО + СКО, то элемент является ДЭ и к = МО.
Все полученные скорректированные коэффициенты используются в приборе при наблюдении им объектов в соответствующих диапазонах температур. Полученные таблицы ДЭ логически суммируются для получения окончательной таблицы дефектных элементов приемника.
Обнаружение дефектных элементов первой группы выполняется в цикле путем сравнения каждого элемента [7] приемника в каждом новом кадре Dji с первоначально запомненным кадром Drem. При этом предварительно оценивается СКО шума в кадре разности текущего кадра и запомненного.
Критерий обнаружения шумящих элементов выглядит следующим образом: СКО < Dp - Drem, т. е элемент, для которого выполняется данное условие, является дефектным. Также на основе полученного значения СКО и предварительно заданного порогового значения количества дефектных элементов происходит текущая корректировка порога отбраковки элементов и количества циклов сравнения. При этом коррекция параметров алгоритма для каждого используемого ФПУ минимальна и позволяет автоматизировать данный процесс. Это сокращает время настройки прибора, исключая время, необходимое для сбора и обработки данных с ФПУ оператором. На рис. 2 приведен пример исходного изображения. Изображение скорректировано по методу двухточечной коррекции. Дефектные элементы изображения найдены по методике, изложенной выше. 15 % пикселей изображения являются дефектными и входят во вторую и третью группы, еще 3 % пикселей входят в первую группу ДЭ. При сложении по "ИЛИ" найденных таблиц ДЭ общее количество выбитых составляет 17 %. Это означает, что около 1 % шумящих дефектных элементов совпадает с соответствующими ДЭ из второй и третьей групп.
Гистограмма разности температурных кадров
Рис. 1. Гистограмма разности температурных кадров
Для оценки влияния приведенных алгоритмов на разрешение тепловизионного прибора использовалась мира БЛ8725-4239 № 1-03. Разность радиационных температур между мирой и фоновым излучателем составляла 1,5 К. Используемый для получения изображения (для данной статьи) тепловизор разрешает (при всех отключенных алгоритмах) миру с пространственной частотой 3,81 мрад-1. При этом изображение миры проецировалось на участок, где размеры ДЭ и расстояние между ними не более одного пикселя.
Исходное изображение
Рис. 2. Исходное изображение

Замещение дефектных элементов ФПУ

Замещение дефектных элементов происходит следующим образом. Если дефектный элемент одиночный, он замещается средним арифметическим от значений соседних слева и справа полноценных элементов в соответствии с таблицей дефектных элементов. Если количество ДЭ элементов больше одного, все они замещаются значением крайнего левого полноценного элемента. При этом могут возникать "тянучки": крайне левый элемент растягивается на соответствующее число выбитых элементов в строке. "Тянучки" вызывают серьезные нарушения геометрии наблюдаемой сцены (рис. 3, а). Для устранения этого эффекта применяется алгоритм фильтрации, при котором в маске 3x3 элементов каждый выбитый элемент замещается средним от элементов, не являющихся выбитыми (см. рис. 3, б). Данные алгоритмы не оказывают влияния на разрешение прибора, за исключением случаев, когда размер участков выбитых сопоставим или превосходит элементы миры.

термограммы с замещенными элементами
Рис. 3. Изображение:
а — с замещенными дефектными элементами; б — с замещенными тянущимися элементами; в — отфильтрованное медианным фильтром; г — отфильтрованное фильтром нижних частот;
термограммы улучшенные алгоритмами фильтрации
Рис. 3. Окончание:
д — отфильтрованное фильтров повышенной резкости; е — до применения алгоритмов; ж — после применения алгоритмов

Алгоритмы фильтрации

Для повышения качества изображения эффективным оказывается также применение медианной фильтрации с маской 3x3 элемента (см. рис. 3, в). Применение маски фильтра большего размера оправдано при размерах дефектных участков, равных размеру маски, при этом становятся хорошо заметными размывание и нарушение геометрии объектов. Поэтому при проектировании медианного фильтра рекомендуется предварительно оценить возможные размеры дефектных областей матрицы и искажения, вносимые в изображение фильтром.
Медианный фильтр устраняет дефектные элементы, которые при формировании таблицы ДЭ не попали в нее из-за наличия вероятности принятия ошибочного решения автоматом. Кроме того, фильтруются замещенные дефектные элементы, имеющие резкий контраст с соседними элементами и создающими эффект "ложных" выбитых. Дополнительно фильтр позволяет устранить прочие возможные импульсные помехи. В данном случае разрешение прибора составляет 3,55 мрад-1.
Высокочастотный шум устраняется путем применения фильтра нижних частот (ФНЧ) с маской 3x3 элементов [8] (см. рис. 3, г). Значение СКО шума оценивалось на равномерном участке изображения (см. рис. 3, в и г) размером 50x50 элементов и составляло 10,5 без применения ФНЧ, иначе — 5,8. Пространственное разрешение падает до 2,25 мрад-1, что указывает на нежелательность использования ФНЧ для задач обнаружения малоразмерных объектов.
Попытка компенсировать размывание изображения, получаемое в результате применения ФНЧ, достигается применением фильтра повышения резкости, аналогичного фильтру "нерезкая" маска [9]. При работе этого фильтра происходит сложение изображения, получаемого на выходе ФНЧ с искусственно размытым тем же самым изображением. Размывание изображения осуществляется с помощью дополнительного ФНЧ с маской 3x3 элемента, на который поступает исходное, требующее повышения резкости изображение. В результате получаются резкие детали в высококонтрастных областях (края, где заметно отличаются светлые и темные выборки) без усиления тоновых скачков в областях с низкой контрастностью (области плавного градационного перехода, где резкие тоновые скачки могут нарушить плавность переходов).
Поскольку при этом повышается контрастность на многих участках изображения, нерезкое маскирование обычно усиливает общее впечатление резкости (см. рис. 3, д).
Для оценки эффекта применения "нерезкой" маски тепловизионный прибор был включен в режим зума кратностью четыре. При этом на фотоэлементы ФПУ проецировалась граница равномерно нагретого объекта с температурой на 5 град выше относительно фона. Визуально граница объекта при применении ФНЧ размывалась на 2 пикселя. При применении "нерезкой" маски размывание границы уменьшалось до 1 пикселя, при этом пространственное разрешение составляет 2,75 мрад-1.
Реализация алгоритмов
Приведенные алгоритмы реализованы в модуле цифровой обработки сигналов [6] на основе микросхемы программируемой логики (ПЛИС) Cyclone EP2C50F672I8. Микросхема ПЛИС объединяет в себе функции работы с периферией, приема цифрового потока данных с матрицы, обработку данных по заданным (приведенным выше) алгоритмам и вывода обработанного тепловизионного изображения на ТВ-монитор. В частности, для работы алгоритмов обработки кроме логических элементов используется внутренняя память микросхемы. Память позволяет запомнить и задержать вывод строк в кадре и, выполнив над ними математические операции, выводить их в реальном времени. Каждый из алгоритмов обработки отключается по команде с пульта управления прибором, тем самым достигается возможность выбора их наиболее оптимальной комбинации. Полный объем логических элементов проекта для ПЛИС занимает 95 % от ее объема. Объем внутренней памяти проекта составляет 75 % от общего объема памяти, из них доля логических элементов и памяти, занимаемых описанными алгоритмами в микросхеме 33 и 35 %, соответственно.

Заключение

Предпринята попытка создания универсальных алгоритмов повышения качества изображения матричных ФПУ. Результатом стали принципы, позволяющие оценить приемник, и после оценки получить для дальнейшего использования таблицу дефектных элементов и коэффициенты неоднородности чувствительных элементов матрицы. Применяемая система фильтров позволяет избавить изображение от артефактов и сделать изображение визуально более качественным (см. рис. 3, ей ж). Данные принципы оценки и коррекции изображения достаточно просто автоматизировать, что сокращает время настройки прибора.

Литература

  1. Солина Н. И. Выравнивание чувствительности и исправление геометрического шума в тепловизионных изображениях методом двухточечной коррекции// Информационные технологии моделирования и управления: Междунар. сб. науч. тр./Под ред. д-ра техн. наук, проф. О. Я. Кравца.— Воронеж: Изд-во "Научная книга", 2004. Вып. 15.
  2. Солина Н. И. Расчет поправочных коэффициентов в режиме калибровки по высокой температуре на нейропроцессоре Л1879ВМ1: Междунар. конф. "Математика. Компьютер. Образование": Сб. тез. докл./Под общ. ред. Г. Ю. Ризничен- ко. — Москва-Ижевск: Изд-во "Регулярная и хаотическая динамика", 2004. вып. 11.
  3. Болтаръ К. О., Бовина Л. А., Гибин И. С. и др. Тепловизор на основе "смотрящей" матрицы из Cd0,2Hg0 8Te формата 128х128//Прикладная физика. 1999. № 2. С. 50—54.
  4. Болтаръ К. О., Грачев Р. В. Полунеев В. В. Определение дефектных элементов матричных тепловизионных приемников в процедуре двухточечной коррекции //Там же. 2009. № 1. С. 81—85.
  5. Грачев Р. В. Калибровка параметров тепловизионной матрицы для двухточечной коррекции в блоке электронной обработки на базе микроконтроллера МС-24//Вопросы радиоэлектроники. Сер. ЭВТ. 2008. Вып. 3. С. 148—156.
  6. Кремис И. И., Однолько Ю. Ф. Унифицированная система обработки сигналов многоэлементного фотоприемного устройства ИК-диапазона на основе микросхемы программируемой логики типа FPGA// прикладная физика. 2007. № 4. С. 133—140.
  7. Кремис И. И., Однолько Ю. Ф. Способы и принципы построения алгоритмов ЦОС многоэлементного фотоприемного устройства ИК-диапазона на основе микросхемы программируемой логики //Там же. № 3. С. 101—111.
  8. http://www.sibsauktf.ru/courses/fulleren/g3.htm
  9. http://www.radiomaster.ru/cad/mc12/glava_12/index04.php