截屏 ALI TOHIDI 視頻 - 演示視頻展示了合成視覺數(shù)據(jù)生成器如何從合成建筑工地捕捉無限圖像。

加拿大多倫多大學的一位研究人員稱，機器人技術(shù)在建筑工地上的應用未能發(fā)揮其潛力，該校應用科學與工程學院的助理教授Kim說，隨著更多的研究，高階全自主移動機器人可能離實現(xiàn)更近一步。目前大多數(shù)在建筑工地上巡邏的所謂機器人應該更準確地稱為重復一些預先編程的任務的工具。

撇開一些成功的案例不談，現(xiàn)在缺少的是完全的機器人自動化和數(shù)字化，使用人類水平的視覺人工智能（AI）來充分了解它們被部署的建筑工地。

為了達到高水平的視覺人工智能，為工地上的機器人提供動力，需要數(shù)以百萬計的圖像，但由于各種原因，獲得這個數(shù)字是不現(xiàn)實的。金和他的團隊所提出的是兩項新技術(shù)：合成虛擬建筑圖像，以及生成微型規(guī)模的建筑圖像。

Kim說："在我們開發(fā)新形式的建筑機器人時，硬件部分已經(jīng)取得了很大的進步，例如波士頓動力公司的Spot，但軟件開發(fā)，即人工智能部分，仍有很長的路要走。問題是，我們?nèi)狈ㄖ鼍暗挠柧殧?shù)據(jù)。DNN，深度神經(jīng)網(wǎng)絡，視覺人工智能的核心引擎，是一個有監(jiān)督的模型，它自然會變得對數(shù)據(jù)貪婪。為了開發(fā)一個訓練有素的人工智能......我們需要數(shù)量巨大的、多樣化的建筑場景的訓練圖像。"

Kim的研究項目是251項大學倡議之一，這些倡議在9月被宣布為加拿大創(chuàng)新基金會的約翰-R-埃文斯領(lǐng)導人基金提供的總計6400萬美元資金的接受者。

他提交給創(chuàng)新中心的項目摘要指出："具有增強型人工智能的機器人解決方案將與現(xiàn)場工人安全協(xié)作，提高生產(chǎn)力和盈利能力，同時抵消日益嚴重的勞動力短缺問題。擬議的研究項目對實現(xiàn)這一愿景至關(guān)重要，提供優(yōu)化的現(xiàn)場適用的DNN模型--這是自主建筑機器人發(fā)展的下一個關(guān)鍵步驟。"

機器人將收集、分析和記錄現(xiàn)場信息，允許創(chuàng)建正在進行的施工現(xiàn)場的實時數(shù)字孿生模型。Kim解釋說，合成將被開發(fā)成視覺AI的圖像是需要的，首先是因為很難親自收集數(shù)據(jù)。

監(jiān)控攝像機和無人機有遮擋物，成本很高--Kim提到每張圖像2到10美元--而且還存在其他問題。收集一百萬張圖像會很耗時，而且還有各種有問題的法規(guī)和保密問題。在競爭激烈的建筑環(huán)境中，數(shù)據(jù)的商業(yè)化和共享是其他問題。Kim的多大實驗室的工作正在迅速進行，該團隊使用五個張量處理單元和谷歌云軟件。更多的計算資源是需要的。

ALI TOHIDI 視頻——多倫多大學助理教授 Daeho Kim 說，為了開發(fā)訓練有素的人工智能，研究人員需要大量多樣化的建筑場景訓練圖像。

他說：“我們完全專注于開發(fā)一款可以自動合成非真實但看起來真實的建筑圖像的模擬軟件，幾周前，我們開始積極生成一百萬張建筑訓練圖像。這對我來說是個激動人心的消息，因為據(jù)我所知，我們以前從未有機會在構(gòu)造 DNN 訓練中使用一百萬張訓練圖像。”

合成的步驟包括創(chuàng)建 3D 人體模型，然后輸入工人的動作捕捉數(shù)據(jù)；通過將 2D 或 3D 服裝圖映射到 3D 人體模型來創(chuàng)建 3D 建筑工人頭像；隨機設置成像條件，包括相機距離和照明條件；通過將虛擬建筑工人頭像疊加到3D施工背景上，合成生成施工圖像或視頻。

隨后是用于構(gòu)建數(shù)字孿生的完全自主移動機器人的原型設計，該機器人部署了高階 DNN 模型。建筑機器人需要能夠監(jiān)控和分析位置、移動速度和方向、姿勢、距離和其他捕捉建筑工人存在的因素。

KIM說：“對于高度動態(tài)和非結(jié)構(gòu)化的建筑場景，合成圖像在訓練視覺 AI 模型方面的效果尚不清楚。我們可能需要也可能不需要我們自己獨特的解決方案?！?/p>

對于最后一步，Kim 將需要私營部門的合作伙伴——他正在尋找一家能夠在財政上支持這項研究的創(chuàng)新建筑公司。