自動(dòng)駕駛汽車既令人著迷，又令人恐懼，因?yàn)樗鼈儽仨殰?zhǔn)確評(píng)估和駕馭快速變化的環(huán)境。計(jì)算機(jī)視覺使用計(jì)算從圖像中提取信息，是自動(dòng)駕駛的一個(gè)重要方面，其任務(wù)范圍從低級(jí)（例如確定給定位置距離車輛有多遠(yuǎn)）到更高級(jí)（例如確定道路上是否存在行人）。

據(jù)外媒報(bào)道，圣路易斯華盛頓大學(xué)（Washington University in St. Louis）麥凱維工程學(xué)院（McKelvey School of Engineering）計(jì)算機(jī)科學(xué)與工程教授Nathan Jacobs和研究生團(tuán)隊(duì)開發(fā)出聯(lián)合學(xué)習(xí)框架，以優(yōu)化兩個(gè)低級(jí)任務(wù)：立體匹配和光流。立體匹配會(huì)生成兩幅圖像之間的差異圖，是避免障礙物的深度估計(jì)的關(guān)鍵步驟。而光流旨在估計(jì)視頻幀之間的每像素運(yùn)動(dòng)，對(duì)于估計(jì)對(duì)象如何移動(dòng)以及攝像頭相對(duì)于對(duì)象如何移動(dòng)非常有用。

圖片來源：圣路易斯華盛頓大學(xué)

最終，立體匹配和光流都旨在了解圖像的像素位移，并使用該信息來捕獲場(chǎng)景的深度和運(yùn)動(dòng)。Jacobs團(tuán)隊(duì)的聯(lián)合培訓(xùn)方法利用它們固有的相似性，同時(shí)解決這兩項(xiàng)任務(wù)。

Jacobs稱，這些任務(wù)的訓(xùn)練模型面臨的一大挑戰(zhàn)是獲取高質(zhì)量的訓(xùn)練數(shù)據(jù)，既困難又昂貴。該團(tuán)隊(duì)方法利用計(jì)算機(jī)生成的合成圖像和真實(shí)圖像域之間圖像到圖像轉(zhuǎn)換的有效方法。這種方法使他們的模型能夠在現(xiàn)實(shí)場(chǎng)景中表現(xiàn)出色，同時(shí)僅根據(jù)合成圖像的真實(shí)信息進(jìn)行訓(xùn)練。

Jacobs表示：“新方法克服了光流和立體匹配方面的重要挑戰(zhàn)之一，獲得了準(zhǔn)確的地面實(shí)況。由于我們可以獲得大量模擬訓(xùn)練數(shù)據(jù)，因此我們可以獲得比僅在可用的標(biāo)記真實(shí)圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練更準(zhǔn)確的模型。更準(zhǔn)確的立體匹配和光流估計(jì)可以減少錯(cuò)誤，避免錯(cuò)誤通過自動(dòng)駕駛管道系統(tǒng)的其余部分進(jìn)行傳播，；例如避障系統(tǒng)�！�