Развитие за последнее десятилетие вычислительной мощности как центральных, так и графических процессоров сделало возможным появление фотограмметрического программного обеспечения, способного превратить набор фотографий объекта (например, здания) в трехмерную модель. Эти программные продукты конкурируют с лазерными сканерами, которые благодаря скорости их работы и высокой точности широко используются сегодня для проектирования, строительства и эксплуатации инфраструктурных объектов. В этой статье оценивается точность реконструкции с помощью фотограмметрии путем сравнения результатов, полученных с использованием программного обеспечения ContextCapture, и облаков точек, сформированных с помощью лазерного сканера.

Введение

При осуществлении защиты или реконструкции археологических объектов важно точно проинспектировать и зафиксировать состояние этих объектов для создания рабочей документации. Такая документация, обычно представленная в цифровом виде, помогает сохранять облик сооружений при будущих реставрациях. А впоследствии по этим цифровым данным бригады реставраторов могут воспроизводить методы, использовавшиеся при первоначальном строительстве.

В течение многих лет для сбора данных об археологических памятниках широко использовались лазерные сканеры. Эти сканеры работают быстро, к тому же лазерное сканирование — довольно универсальная технология, обеспечивающая точность в пределах миллиметров. В то же время процесс создания модели может оказаться длительным, технология требует дорогостоящего оборудования и привлечения высококвалифицированных специалистов. Для фотограмметрии же нужна только камера приемлемого качества: фотограмметрическое программное обеспечение может автоматически построить модель по фотографиям объекта [1].

За последнее время о фотограмметрии написано уже немало, включая:

  • оценку процесса фотограмметрии в лабораторных условиях [2];
  • первое сравнение технологии на примере реальных ладшафтов [3];
  • обширный обзор оптических датчиков трехмерного измерения и методов трехмерного моделирования примененительно к объектам культурного наследия [4, 5];
  • обзор рабочего процесса проведения трехмерного моделирования на основе наземных данных [6].

В этой статье для оценки точности фотограмметрической реконструкции мы сравниваем трехмерные модели, полученные с использованием программного обеспечения ContextCapture, и трехмерную модель, созданную из наземных облаков точек LiDAR. Все рассмотренные наборы данных создавались для профессиональных целей, что позволило нам понять, можно ли использовать фотограмметрию для цифровой обработки сложных проектов, в которых обычно применяются лазерные сканеры.

Для сравнения методов был выбран замок Пенне, расположенный на вершине крутого холма в Южной Франции. Фотографии для реконструкции были сделаны обычной цифровой фотокамерой, данные LiDAR получены с помощью наземного лазерного сканера.

Получение данных об объекте

В процессе сбора фотограмметрических данных команда профессионалов аэрофотосъемки из компании Gerpho сделала фотографии замка с расстояния около 400 метров. Они использовали фотокамеру Nikon D800 с полнокадровым сенсором CMOS, разрешением 36 МПикс и объективом Nikon 70−200. В общей сложности было сделано 249 снимков — все с фокусным расстоянием от 139 до 201 миллиметра. Размеры изображения — 7360×4912 пикселей. Одна из фотографий представлена на рис. 1.

Рис. 1. Замок Пенне с высоты 400 м Рис. 1. Замок Пенне с высоты 400 м

Для сбора данных с использованием лазерного сканирования геодезист компании Sompayrac Cianferani Prieu получил облако точек LiDAR, которое затем было обработано с помощью программы Geovast 3D (рис. 2). После объединения данных трехмерная модель содержит около 1 млрд точек. Геодезист использовал сканер Leica HDS 7000, который имеет погрешность менее 2 миллиметров. Зарегистрировано сорок шесть точек сканирования с максимальным отклонением 6 миллиметров.

Рис. 2. Облако точек, обработанное программой Geovast 3D Рис. 2. Облако точек, обработанное программой Geovast 3D

Создание трехмерных моделей

Геопространственная привязка осуществлялась с помощью сетей RTK и TERIA на 18 точках для точного выравнивания двух моделей.

Создание трехмерной модели с помощью облака точек LiDAR

Посредством традиционного лазерного сканирования структура замка была получена в трех частях:

  • первая часть включала угловую стену с 4  991  330 точками в облаке (рис. 3);
  • во второй части снизу были сняты стена и крыша замка. Это облако содержало 27  831  695 точек (рис. 4);
  • третья часть включала еще одну стену, при этом облако точек содержало 9  802  203 точки (рис. 5).
Рис. 3. Фрагмент 1, погрешность колеблется от 0 до 0,87 м Рис. 3. Фрагмент 1, погрешность колеблется от 0 до 0,87 м
Рис. 4. Фрагмент 2, погрешность колеблется от 0 до 0,71 м Рис. 4. Фрагмент 2, погрешность колеблется от 0 до 0,71 м Рис. 5. Фрагмент 3, погрешность колеблется от 0 до 0,94 м Рис. 5. Фрагмент 3, погрешность колеблется от 0 до 0,94 м

Трехмерная реконструкция с помощью ContextCapture

Превращение обычных фотографий в трехмерную модель выполнено с использованием программы ContextCapture (рис. 6). Параметры процесса аэротриангуляции (для вычисления ориентации и положения изображений) установлены по умолчанию, параметры трехмерной реконструкции также по умолчанию заданы как «Максимальные». (Заметим, что ContextCapture предлагает и режим «Ультра», который делает возможной еще более детальную реконструкцию модели, но для этого набора данных он был признан неподходящим.)

Для реконструкции использовались все 249 фотографий. Функция аэротриангуляции позволяет узнать размер пикселя на местности, то есть оценить разрешение фотографий в пикселях. В данном случае разрешение в пикселях колеблется от 8 мм до 1,5 см, означая, что один пиксель изображения равен примерно 1 см.

Геопространственная привязка изображений была определена с помощью семи наземных контрольных точек через несколько недель после работы с первыми 18 точками (на основе кинематических наблюдений в реальном времени). Координаты контрольных точек были рассчитаны с помощью Geovast 3D.

Получен отличный результат фотограмметрической обработки: у модели, как видно на рис. 6, нет ни пробелов, ни других явных ошибок в реконструкции.

Рис. 6. Текстурированная трехмерная модель замка Пенне, полученная с помощью алгоритмов реконструкции ContextCapture Рис. 6. Текстурированная трехмерная модель замка Пенне, полученная с помощью алгоритмов реконструкции ContextCapture

Сравнение результатов

Для сравнения трехмерной фотограмметрической реконструкции и облака точек LiDAR применялась программа CloudCompare [7]. Трехмерная фотограмметрическая модель была принята за исходную, CloudCompare рассчитала расстояние от каждой точки облака точек LiDAR до сетки поверхности трехмерной модели. Сетка (М) состоит из взаимосвязанных треугольников (t). Расстояние между точкой (p) и сеткой (M) определяется как

dist (p, M) = mint∈triangles (dist (p, t)),

где расстояние между точкой и треугольником определяется как расстояние между плоскостью, содержащей треугольник, и точкой.

Сравнение отклонения

Попыток напрямую совместить облако точек и трехмерную модель не предпринималось, при этом и облако точек, и трехмерная модель имели геопространственную привязку в системе координат RGF93 CC43. Совмещение выполнено по семи контрольным точкам.

Рис. 7. Пример помех от людей при лазерном сканировании Рис. 7. Пример помех от людей при лазерном сканировании

Важно отметить, что фотографии и облако точек лазера получены в разное время. Как результат, между двумя наборами данных существует разница. В данных LiDAR присутствует «шум» (к примеру, помехи от людей), чего нет на фотографиях (рис. 7). Кроме того, в интервале между съемками некоторые мелкие объекты (доски и пр.) были перемещены; есть в данных сканирования и другие нюансы, связанные с погодой и различными свойствами материалов.

По этим причинам сравнение между фотограмметрической трехмерной моделью и данными LiDAR (рис. 8 и 9) проводилось на частях облаков, свободных от подобных различий.

Рис. 8. Расстояние между облаком точек и сеткой для фрагмента 2 Рис. 8. Расстояние между облаком точек и сеткой для фрагмента 2 Рис. 9. Расстояние между облаком точек и сеткой для фрагмента 3 Рис. 9. Расстояние между облаком точек и сеткой для фрагмента 3

В таблице 1 приведены результаты сравнения отклонений. Программа CloudCompare представляет расстояние между облаком точек и сеткой, которое воспринимается как погрешность. Столбцы содержат среднюю арифметическую погрешность, медианную погрешность, наименьший диапазон, который включает в себя 90% точек, и среднеквадратичную погрешность.

Таблица 1. Результаты сравнения фрагментов
Average (cm) Median (cm) 90% are within (cm) RMSE (cm)
Extract 1 1.49105 0.883274 3.34248 2.66154
Extract 2 1.31663 0.806234 2.62014 2.34558
Extract 3 1.51868 0.8466 3.0703 2.7692

Наличие отклонений объясняется двумя основными факторами. Во-первых, присутствуют нетипичные значения — они показаны на рис. 10. Чтобы устранить влияние таких значений на результаты, решено было работать с облаком исходных точек.

Рис. 10. Слева - обратите внимание на нетипичные значения. Справа - нижние части арок не были изображены на фотографиях и потому неточны Рис. 10. Слева — обратите внимание на нетипичные значения. Справа — нижние части арок не были изображены на фотографиях и потому неточны

Как показано в предыдущих трех фрагментах (рис. 2, 3 и 4), 90% точек расположены на расстоянии от 0 до 3 сантиметров от поверхности. Средняя погрешность равна 1,5 сантиметрам, среднеквадратичная погрешность — около 2,5 сантиметров. При использовании более высокого разрешения отклонения между облаком точек и фотографиями были бы гораздо меньше.

Поскольку разрешение фотографий составляет 1 сантиметр на пиксель, мы видим, что среднеквадратичная погрешность в 2,5 сантиметра эквивалентна всего двум-трем пикселям. Это отличный результат, и мы можем утверждать, что при использовании гораздо более высокого разрешения отклонение между двумя трехмерными моделями не превысит двух-трех пикселей исходной фотографии.

Еще одним фактором, который необходимо учитывать при сравнении отклонения между двумя моделями, является расстояние от замка до устройств получения данных во время сбора информации. Лазерное сканирование производилось с земли, тогда как фотографии были сделаны с большой высоты. Таким образом, фотограмметрия не могла реконструировать нижнюю часть арок замка, что и видно на правом изображении рис. 10. Если бы фотографы обошли вокруг замка, выполняя наземную съемку, фотограмметрическая модель была бы столь же полной.

Продолжительность съемки и обработки

Теперь сопоставим время, необходимое для реконструкции замка с помощью фотограмметрии и с использованием сканера:

  • 46 сканированных изображений LiDAR были выполнены за четыре часа, еще два часа заняла дополнительная обработка. Общее время получения готового облака точек — шесть часов;
  • при фотограмметрии время полета, необходимое для выполнения фотографий, составило один час, плюс два с половиной часа потребовалось на создание трехмерной модели. Общее время, необходимое для производства модели, — три часа и тридцать минут.

Это сравнение подтверждает, что фотограмметрия менее трудоемка и позволяет быстрее создавать трехмерные модели.

Основные выводы

При сравнении трехмерных моделей, полученных с помощью фотограмметрии и LiDAR, мы выяснили, что фотограмметрия является подходящим методом для выполнения исследований и подготовки документации. Облако точек LiDAR служит основой точных моделей, но для формирования облака требуется больше времени, необходимо сложное в эксплуатации и очень недешевое оборудование.

Фотограмметрическая реконструкция позволяет достичь точности, аналогичной той, что обеспечивают облака точек (рис. 11). Она делает возможным быстрый сбор данных и облегчает обработку, поскольку от пользователей не требуется какой-либо специальной подготовки. Наконец, фотограмметрия создает фотографическую текстурированную и наглядную сетку. Такие сетки проще анализировать и обрабатывать с помощью приложений САПР и ГИС, так как они содержат реальную форму и информацию о существующих условиях.

Рис. 11. Фрагменты трехмерной модели, созданной по фотографиям

Преимущества фотограмметрии делают ее практичным и экономичным вариантом реализации трехмерных моделей. Объекты, для которых не считалось оправданным использование облака точек, теперь можно смоделировать с помощью цифровой камеры.

Литература

  1. Hartley, R. I. and Zisserman, A., Multiple View Geometry in Computer Vision, 2nd ed. Cambridge University Press, 2004.
  2. Seitz, Steven M and Curless, Brian and Diebel, James and Scharstein, Daniel and Szeliski, Richard, A comparison and evaluation of multi-view stereo reconstruction algorithms. Computer vision and pattern recognition, 2006.
  3. Remondino, F, Heritage recording and 3D modeling with photogrammetry and 3D scanning. Remote Sensing, 3(6), 1104−1138.
  4. Strecha, W. von Hansen, L. Van Gool, P. Fua, U. Thoennessen, On Benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery Computer Vision and Pattern Recognition, 2008.
  5. El-Hakim, S. F., Beraldin, J. A., Picard, M., and Godin, G., Detailed 3D reconstruction of large-scale heritage sites with integrated techniques. Computer Graphics and Applications, IEEE, 2004, 24(3), 21−29.
  6. Remondino, F., El-Hakim, S., Image-based 3D Modeling: a Review. The Photogrammetric Record, Issue 21, P. 269−291.
  7. CloudCompare, 3D point cloud and mesh processing software. www.danielgm.net/cc.
Сирил Новел (Cyril Novel)
старший инженер-программист Bentley Systems
Рено Керивен (Renaud Keriven)
директор отдела разработки ПО Bentley Systems
Филипп Грэндорж (Philippe Graindorge)
Gerpho
Флоран Пу (Florent Poux)
Geovast 3D