【笔记】基于图像的三维重建——双目立体视觉

本文主要关于深蓝学院系列课程——基于图像的三维重建的笔记。

课程链接基于图像的三维重建

1、基于平行视图的双目立体视觉

平行视图： 平行视图为极几何的一种特例。

基线平行于图像平面，极点 $e$ 和 $e’$ 位于无穷远处；
极线是水平的，平行于 $u$ 轴；

$K=K^{\prime}\quad\quad R=I\quad\quad\boldsymbol{T}=\begin{pmatrix}t\\0\\0\end{pmatrix}\quad\quad\boldsymbol{e}^{\prime}=\begin{pmatrix}1\\0\\0\end{pmatrix}$

平行视图的基础矩阵：

$O_1$ 在右像素平面上的投影点为：

$\begin{matrix}e^{\prime}=K^{\prime}(R&T)\\\end{matrix}\begin{pmatrix}0\\0\\0\\1\end{pmatrix}=K^{\prime}T$

叉乘性质：对于任何向量 $a$ ，如果 $B$ 可逆，相差一个尺度情况下：

$[a_{\times}]B=B^{-\mathrm{T}}[(B^{-1}a)_{\times}]$

令 $a=T,B=K^{\prime{-1}}$ ，则：

$[T_{\times}]K^{\prime{-1}}=K^{\prime\mathrm{T}}[(K^{\prime}T)_{\times}] \\\quad[T_{\times}]=K^{\prime\mathrm{T}}[(K^{\prime}T)_{\times}]K^{\prime}$

根据基础矩阵 $F={K^{\prime}}^{-\mathrm{T}}[T_{\times}]RK^{-1}$ ，得到：

$F=K^{\prime{-T}}[T_{\times}]RK^{-1}=K^{\prime{-T}}K^{\prime\mathrm{T}}[(K^{\prime}T)_{\times}]K^{\prime}RK^{-1}=[(K^{\prime}T)_{\times}]K^{\prime}RK^{-1}=[e^{\prime}{}_{\times}]K^{\prime}RK^{-1}$

代入（1）式可得：

$F=[e^{\prime}_\times]K^{\prime}RK^{-1}=[e^{\prime}_\times]=\begin{pmatrix}0&0&0\\0&0&-1\\0&1&0\end{pmatrix}$

平行视图的极线 $l$ 为： 极线是 水平的，平行与 $u$ 轴 ：

$\boldsymbol{l}=\boldsymbol{F}^{\mathrm{T}}\boldsymbol{p}^{\prime}=\begin{pmatrix}0&0&0\\0&0&1\\0&-1&0\end{pmatrix}\begin{pmatrix}p_{u}^{\prime}\\p_{v}^{\prime}\\1\end{pmatrix}=\begin{pmatrix}0\\1\\-p_{v}^{\prime}\end{pmatrix}$

平行视图的 $p$ 和 $p’$ 关系： 两者 $v$ 坐标相同：

$\\ \begin{aligned}&\boldsymbol{p^{\prime T}}\boldsymbol{Fp}=0\iff(p_u^{\prime}\quad p_v^{\prime}\quad1)\begin{pmatrix}0&0&0\\0&0&-1\\0&1&0\end{pmatrix}\begin{pmatrix}p_u\\p_v\\1\end{pmatrix}=0\end{aligned} \\ p_v =p'_v$

平行视图的性质：

极线是水平的，平行于 $u$ 轴；
极点位于无穷远；
$p$ 和 $p’$ 的 $v$ 坐标一样

平行视图的三角测量：

根据上图可得：

$\frac{p_u^{\prime}-p_u}f=\frac Bz \\ p_{u}-p_{u}^{\prime}=\frac{B\cdot f}{z}$

视差 $p_{u}-p_{u}^{\prime}$ 与深度 $z$ 成反比。

双目立体视觉系统构建的核心问题：

如何获得平行视图？
如何建立点对应关系？

2、图像校正

图像校正步骤：

在两副图像 $I$ 和 $I’$ 找到一组匹配点 $p_i \to p’_i$ ，不少于8个；
计算基础矩阵 $F$ ，求解两副图像中的极点 $e$ 和 $e’$ ；

$l_{i}=F^{\mathrm{T}}p_{i}^{\prime} \\ \begin{pmatrix}\boldsymbol{l_1^\mathrm{T}}\\\vdots \\\boldsymbol{l_n^\mathrm{T}}\end{pmatrix}\boldsymbol{e=0}$

选择透视变换 $H’$ 将 $e’$ 映射到无穷远点 $(f,0,0)$ ；

$H^{\prime}=T^{-1}GRT$

$I’$ 的中心点的齐次坐标为$(0,0,1)$ ，$e’$ 的齐次坐标为 $(e’_1,e’_2,1)$ ：

$\boldsymbol{T}=\begin{pmatrix}1&0&-\frac{width}2\\0&1&-\frac{height}2\\0&0&1\end{pmatrix}$

$e’>0$ 时， $\alpha=1$ ，反之 $\alpha=-1$ ；$e’$ 的齐次坐标$(f,0,1)$ ：

$R=\begin{pmatrix}\alpha\frac{e_1'}{\sqrt{e_1'^2+e_2'^2}}&\alpha\frac{e_2'}{\sqrt{e_1'^2+e_2'^2}}&0\\-\alpha\frac{e_2'}{\sqrt{e_1'^2+e_2'^2}}&\alpha\frac{e_1'}{\sqrt{e_1'^2+e_2'^2}}&0\\0&0&1\end{pmatrix}$

$e’$ 的齐次坐标为$(f,0,0)$ ：

$G=\begin{pmatrix}1&0&0\\0&1&0\\-\dfrac{1}{f}&0&1\end{pmatrix}$

寻找对应的透视变换矩阵 $H$ ，使得下式最小：

$\sum_id(\boldsymbol{Hp}_i,\boldsymbol{H}^{\prime}\boldsymbol{p}_i^{\prime}) \\ \text{其中：}\quad H=H_AH'M \\ H_A=\begin{pmatrix}a&b&c\\0&1&0\\0&0&1\end{pmatrix} \\ M=[e_\times]F$

对上式解释：平行视图中，对应的极线方程是相同的：

已知：直线 $l$ 和变换矩阵 $H$ ；

求解：变换后的直线${\boldsymbol{\ell}}$

$\begin{aligned}\boldsymbol{p}^\mathrm{T}\boldsymbol{l}&=0&\boldsymbol{p}^{\prime\mathrm{T}}\boldsymbol{l}^{\prime}&=0\\\boldsymbol{y}&=\boldsymbol{H}\boldsymbol{p}&\boldsymbol{y}^{\prime}&=\boldsymbol{H}^{\prime}\boldsymbol{p}^{\prime}\\\boldsymbol{\ell}&=\boldsymbol{H}^{-\mathrm{T}}\boldsymbol{l}&{\ell}^{\prime}&=\boldsymbol{H}^{\prime{-\mathrm{T}}}\boldsymbol{l}^{\prime}\end{aligned}$

故要最小化 ${\boldsymbol{\ell}}$ 和 ${\boldsymbol{\ell}’}$ 等价于式（15）。

分别用矩阵 $H$ 和 $H’$ ，对左右两副图像 $I$ 和 $I’$ 进行重采样。

3、对应点搜索

双目融合问题： 给定 3D 点 $P$ ，在左右图像中找到相应的观测值 $p$ 和 $p’$ 。

平行视图的对应点搜索： 图像校正后， $p’$ 点沿着扫描线寻找即可。

归一化相关匹配：

$p=(p_u,p_v)$ 处选择一个窗口 $W$ ，建立向量 $w$ ；
在右图中沿扫描线在每个位置 $s’_u$ 建立窗口 $W’$ ，并获得 $w’$ 向量；
计算每个 $s’_u$ 位置的$\frac{(w-\overline{w})^\mathrm{T}(w^{\prime}-\overline{w}^{\prime})}{||w-\overline{w}||\times||(w^{\prime}-\overline{w}^{\prime})||}$ 的值； $\overline{w}$ 为向量中每个元素均为 $W$ 内的灰度均值，目的是消除亮度和曝光的影响。
$p_{u}^{\prime}=arg\mathrm{max}\frac{(w-\bar{w})^{T}(w^{\prime}-\bar{w}^{\prime})}{||w-\bar{w}||\times||(w^{\prime}-\bar{w}^{\prime})||}$ 。

窗口大小的影响：