干货 | 摄影测量学的前世、今生与未来

什么是摄影测量?

摄影测量学是一门利用光学像片研究被摄物体的形状、位置、大小、特性及相互位置关系的学科。简而言之,就是以摄影为工具,以测量为目的。

如果我们用拼图来拼凑摄影测量的理论基础,我们会发现摄影与测量是这样相亲相爱的??

01

透视变换的几何原理

摄影测量理论基础拼图的第一个板块是透视变换的几何原理。离开透视变换,就无法计算相片中物体的形状位置信息。

也就是说,如果没有透视变换,就算你拍出的照片再精美,也无法从照片测量出什么有用信息。

有了透视变换,我们才能在二维的纸张/照片上,展现出物体的三维特征。

干货 | 摄影测量学的前世、今生与未来

几何透视变换

文艺复兴初期的意大利建筑师布鲁内莱斯基(Brunelleschi,1377-1446),真正建立了几何意义上的透视法。他启发了同时代的画家。马萨乔(Masaccio,1401-1428),是第一个运用透视法的画家。

干货 | 摄影测量学的前世、今生与未来

透视窗。从左到右分别是:模特、透视窗、对着透视窗临摹的画家

十九世纪中叶,法国测量学家和摄影测量学的先驱Fourcade首先发现了用立体照片可重建立体视觉,从而促进了摄影测量的诞生。

02

成像设备



几何透视变换和双目视觉理论的发展为摄影和测量牵上了线,然而要想共乘友谊之舟不翻船,需要一个重要的工具:

相机?不,用我们学术期刊的专业术语,叫成像设备。

19世纪早期,德国教授舒尔兹发现银的混合物在日光下会变黑。1839年,法国画家达盖尔发明了银版摄影法,并制作了世界上第一台真正的照相机。

1969年,贝尔实验室的博伊尔和史密斯发明了一种称作为电荷耦合器件(charge coupled device,CCD)的元件,这是一种高感光度的半导体单晶材料。

看到这里,相信无数小伙伴已经露出了欣慰或心酸的微笑,胶片/数码相机的出现,让许多人在“单反穷三代”和“毒、德味、大师、学习了”的大坑中越陷越深,也让摄影测量有了最关键的工具。

干货 | 摄影测量学的前世、今生与未来

哈苏数码相机

在其后漫长的岁月里,相机和照片帮助人们将野外测量工作搬运至室内。“内业”工作成为主体,照片替代了三脚架、经纬仪和标尺,成了主要的研究对象。

干货 | 摄影测量学的前世、今生与未来
        干货 | 摄影测量学的前世、今生与未来

传统测绘地形图------->  航片

03

载体



摄影测量的第3个板块是载体。狭义上的摄影测量一般指航空摄影测量,成熟的飞行平台是重要的组成部分。

18世纪,西方的孟格菲兄弟重新发明热气球,并于1783年第一次载人航行。

一年后,法国的罗伯特兄弟乘坐氢气球飞上天空。

1858年,法国摄影师纳达尔乘坐气球拍摄了世界上第一张航空影像。

1903年,莱特兄弟驾驶自制的世界上第一架飞机上了天。

以航天飞行器为载体的摄影测量应运而生。第一次世界大战中,首台航摄仪问世,立体坐标量测仪和1318立体测图仪投入使用。

干货 | 摄影测量学的前世、今生与未来

1957年,第一颗卫星被发射到外太空,同时开启了卫星摄影测量时代。

2000年前后,各国陆续开始深空探测项目,虽然没有“深空摄影测量”的明确说法,摄影测量学者对基于光学的深空探测项目也贡献良多。

干货 | 摄影测量学的前世、今生与未来

月球车玉兔

摄影测量多样化的摄影平台如下图所示:

干货 | 摄影测量学的前世、今生与未来

上排:手持仪器架、地面移动测图系统、无人机;

下排:无人飞艇、国产运12航摄飞机、测绘卫星;

中排:嫦娥月球探测车

04

测量法和测量工具

1795年,年仅18岁的高斯发明了最小二乘法。

1959年,德国的Schmid教授提出光束法区域网平差,这是小孔成像的物理原理与最小二乘的完美结合。

根据测量工具的演进,将摄影测量的发展区分为三个时代。

时代

年代

特征

模拟摄影测量时代

1860s-1960s

 光学像片、光学仪器、人工量测和解译

解析摄影测量时代

1950s-1990s

 光学像片、解析测图仪、人工量测和解译

数字摄影测量时代

1970s- 至今

 光学、数字像片、计算机、自动量测和解译





各个时代的部分仪器如下:

干货 | 摄影测量学的前世、今生与未来

由此我们可以总结出:

狭义的摄影测量 :根据一系列像片,利用三角测量获取像片的位置和姿态,并交会出所摄物体的位置和深度。

摄影测量数学基础:透视几何、核线几何与光束法区域网平差(bundle adjustment)(代表作: 王之卓.摄影测量原理,1990)。

摄影测量产品:DEM、DOM、DRG、DLG、专题图、各级缩编地图等等。

干货 | 摄影测量学的前世、今生与未来

什么是计算机视觉?

如果说摄影测量学是摄影与测量这对好基友结合的产物,那么计算机视觉和摄影测量就可以说是离散多年的兄弟了。

两者在定义、目的、经典算法、概念称呼等都有精妙的类似之处。

计算机视觉的定义可简单概括为“用计算机代替人眼,从图片中重建和解译世界”。

看看这些经典的算法和算子:Canny边缘检测、Shape from Shading、Hough 变换、LoG(Laplace of Gaussian)等……

再看看计算机视觉的数学基础:透视几何、核线几何、多视几何、光束法平差……

最后看看视觉几何的应用 :

干货 | 摄影测量学的前世、今生与未来

人对着棋盘网格摄影,以检校相机内参数

干货 | 摄影测量学的前世、今生与未来

用SLAM获得的半密集的三维map

干货 | 摄影测量学的前世、今生与未来

采用图割法生成室内模型的深度图

干货 | 摄影测量学的前世、今生与未来

汽车三维模型的构建

可见,仅从视觉中的几何出发,两门学科具有相同的理论基础,差别甚少。而且,技术细节上也有许多相近的实例。

20世纪90年代后,摄影测量与计算机视觉都得到物理和技术领域的强大推动,两个领域的学者们都在处理相似的问题,但也有细微的区别。将两门学科的细微区别与同源等价之处总结归纳(蓝色为区别,紫色为等价)。

区别/

等价

摄影测量

计算机视觉

相机检校

布设高精度三维检校场

干货 | 摄影测量学的前世、今生与未来

常采用二维平面棋盘

干货 | 摄影测量学的前世、今生与未来

空中三角测量

严密的光束法区域网平差

从运动恢复结构

(Structure from motion)

SLAM

等价概念

粗差处理中的选权迭代法

权衰减法

(weight decaying method)

最小二乘平差

考虑到法方程系数阵(计算机视觉中叫Hessian矩阵)可能接近秩亏,发展出岭估计法(卫星摄影测量)

L-M法

计算机视觉的经典著作是Marr在1982年发表的《视觉:从计算的视角研究人的视觉信息表达与处理》,详细分析了二维图像的表达、立体图像的对应和重建、算法以及硬件的实现。

如果仅仅只有这些细微的差别,这两门学科早就合而为一了。两者间的区别主要在于数据源和应用。

如果用表格来表示,两者应用之间的区别为:

摄影测量学

计算机视觉

主要集中于航空/航天平台

以大众Crowd 数据为主

目前向无人机、MMS、深空发展

目前向无人机、无人车发展

面阵、线阵专业相机

普通数码相机

最初应用于制图

应用广泛,贴近生活

以实用为主、理论基础稍欠

数学理论基础更好

摄影测量中以地面移动测量系统(mobile mapping system, MMS)采集道路和街景;而计算机视觉同样关注道路信息(以及室内场景)的提取与重建,并应用于机器人、城市地图、智能交通和自动驾驶汽车中,并由此产生了一个称为同时定位与地图构建(simultaneous localization and mapping, SLAM)的研究支流。

干货 | 摄影测量学的前世、今生与未来

同时定位与地图构建(SLAM)

早期的SLAM以激光扫描仪为主,这也是名词中mapping的由来;后来基于视觉的SLAM,即Visual SLAM成为主流,并与摄影测量特别是实时摄影测量在各个研究点上(匹配、平差、定位和重建)都有共通之处。

SLAM与空三的明显区别在于,SLAM定位的同时生成了半密集点云,这些点云可以通过激光扫描获得,也可通过图像匹配获得。

遥感、机器学习与未来

遥感是摄影测量的延伸。在摄影测量已经解决大部分几何问题的前提下,遥感的工作重点就集中在“解译”上。

解译是回答“是什么”和“为什么”的问题,与语义方向的计算机视觉、模式识别、机器学习等异曲同工。 

但遥感中的数据源不同于计算机视觉,光谱段被大大扩充(至多光谱)并细化(至高光谱)。

干货 | 摄影测量学的前世、今生与未来

遥感的电磁波谱

这些辐射信息有利于解决农业、测绘、环境、地质和地理所关心的宏观问题,如土地利用覆盖分类、农作物趋势分析、大气的长期变化监测、泥石流和洪水等自然灾害的评估与预测。

干货 | 摄影测量学的前世、今生与未来

因为数据源的特殊性,遥感领域也发展了一些特有的算法。

1956年提出“人工智能”的概念后,基于统计学习的思想被广泛应用于摄影测量与遥感、计算机视觉。

而神经元网络模型和感知机,在2000年后更名为“深度学习”,并大有一统天下的趋势。大量实验表明,在图像分类、物体识别、语音识别、遥感应用等关于学习和语义的研究领域,深度学习都占据上风。

目前,许多摄影测量与遥感中的实际应用,如道路网的提取、作物的精细分类、车牌和交通标志的识别等,都逐渐被深度学习占领,传统方法仅能保住深度学习无法涉及之处,即几何领域。这也是大势所趋。

虽然理论上多层网络确实可能学习出最优的函数模型,但它无法解释该模型如何构建以及模型背后的含义,并导致传统、优雅的理论研究工作被缺乏激情、简单的“调参”所取代。这种缺失,将机器学习和人工智能带往何方,依然是一个需要长期思考的问题。

干货 | 摄影测量学的前世、今生与未来

来源:武汉大学学报信息科学版、南方测绘

干货 | 摄影测量学的前世、今生与未来