技術(shù)文章
aiSim5可以實(shí)時(shí)模擬復(fù)雜的傳感器配置,在多GPU分布式渲支持的支持下,aiSim可以渲染20多個(gè)攝像頭、10多個(gè)雷達(dá)和10多個(gè)激光雷達(dá)在同一環(huán)境下運(yùn)行。aiSim5的實(shí)時(shí)渲染引擎能夠滿足對(duì)物理精確環(huán)境和天氣模擬的所有要求,具有決定性和可重復(fù)性。
圖1:重建場(chǎng)景
圖2:真實(shí)場(chǎng)景
aiSim5基于物理的相機(jī)模型將會(huì)通過(guò)以下方法驗(yàn)證其與真實(shí)世界的相關(guān)性。
aiSim 擁有內(nèi)置的光照度傳感器,因此可以使用光照度傳感器對(duì)aiSim的照明模型和材質(zhì)進(jìn)行端到端的驗(yàn)證。
目前我們已經(jīng)使用安裝在數(shù)據(jù)收集車的頂部的光照度傳感器進(jìn)行了測(cè)量,如圖3展示的2023年6月光照度變化圖。圖3中的尖峰代表陰影區(qū)域,其他變化則是由移動(dòng)的云層引起的。
圖3
目前正在 aiSim 中重建這一場(chǎng)景并測(cè)試這一光照度測(cè)量結(jié)果。
圖4:真實(shí)世界中進(jìn)行傳感器標(biāo)定的場(chǎng)景
圖5:aiSim中搭建的用于相機(jī)標(biāo)定車庫(kù)場(chǎng)景
圖6
圖7
在進(jìn)行相機(jī)圖像匹配時(shí),使用Color Correction Matrix (CCM) 是一種有效的方法,可以通過(guò)對(duì)已知相機(jī)拍攝的參考照片和aiSim渲染的Macbeth色板圖表進(jìn)行比較來(lái)計(jì)算CCM。步驟如下:
準(zhǔn)備參考照片:首先,需要一張使用已知相機(jī)拍攝的Macbeth色板的照片。Macbeth色板是一個(gè)標(biāo)準(zhǔn)化的顏色樣本集,通常用于色彩管理和校準(zhǔn)。
獲取aiSim渲染的Macbeth色板:接著,你需要在aiSim中創(chuàng)建一個(gè)Macbeth色板的渲染圖。確保渲染環(huán)境的光照條件與參考照片盡可能一致,以便更準(zhǔn)確地匹配顏色。
應(yīng)用CCM:計(jì)算出CCM后,aiSim可以將其應(yīng)用于aiSim的圖像輸出,進(jìn)行顏色校正。
驗(yàn)證和調(diào)整:應(yīng)用CCM后,比較aiSim輸出的顏色與參考照片的顏色。如果存在差異,可能需要進(jìn)一步調(diào)整CCM的參數(shù)或重新計(jì)算,直到達(dá)到滿意的匹配效果。
通過(guò)這種方法,可以確保aiSim的輸出顏色與實(shí)際拍攝的照片顏色盡可能一致,從而提高圖像的真實(shí)性和準(zhǔn)確性。
也可以采用基于物理的渲染(PBR)離線渲染器進(jìn)行比較,以下是詳細(xì)的驗(yàn)證步驟:
構(gòu)建相同樣本場(chǎng)景:在aiSim和參考渲染器中構(gòu)建相同的樣本場(chǎng)景。這包括場(chǎng)景中的所有物體、材質(zhì)、光照條件等,以確保兩個(gè)環(huán)境中的變量盡可能一致。
使用相同的相機(jī)參數(shù):使用相同的相機(jī)外部參數(shù)(extrinsic)和內(nèi)部參數(shù)(intrinsic)來(lái)拍攝場(chǎng)景。外部參數(shù)涉及相機(jī)在世界空間中的位置和方向,而內(nèi)部參數(shù)則包括焦距、畸變等相機(jī)的屬性。
進(jìn)行HDR或LDR驗(yàn)證:無(wú)論是高動(dòng)態(tài)范圍(HDR)還是低動(dòng)態(tài)范圍(LDR)驗(yàn)證,都可以用于比較兩個(gè)渲染器生成的圖像。選擇哪種驗(yàn)證方式取決于場(chǎng)景的光照條件和所需的驗(yàn)證精度。
比較生成圖像的差異:對(duì)aiSim生成的圖像和參考渲染器生成的圖像進(jìn)行比較??梢酝ㄟ^(guò)視覺(jué)檢查或使用圖像分析工具來(lái)量化差異,如計(jì)算顏色偏差、亮度對(duì)比度等。
多場(chǎng)景驗(yàn)證:通過(guò)多個(gè)不同的場(chǎng)景來(lái)驗(yàn)證系統(tǒng)的不同部分,例如只驗(yàn)證人工光源,或者只驗(yàn)證天空和太陽(yáng)的效果等。可以幫助識(shí)別和隔離特定問(wèn)題,提高驗(yàn)證的針對(duì)性和效率。
以上方法均適用于驗(yàn)證aiSim相機(jī)傳感器模型與現(xiàn)實(shí)世界或高精度的離線渲染器的相關(guān)性。