揭秘華為海思自研越影ISP:五大飛躍、黑夜變白晝
華為海思的麒麟芯片受阻,但在其他領(lǐng)域,華為海思并沒有止步, 最近就推出了全新的越影AI ISP , 用于物聯(lián)網(wǎng)智能終端的新一代智能圖像處理引擎 ,突破了傳統(tǒng)ISP圖像處理的極限,將畫質(zhì)推向新的高度。
ISP是對圖像傳感器輸入的原始數(shù)據(jù)進(jìn)行圖像處理的首個(gè)環(huán)節(jié),涵蓋數(shù)十種圖像信號處理算法。為了適配各種不同的鏡頭和傳感器,需要優(yōu)化調(diào)整成百上千個(gè)參數(shù),保證ISP兼?zhèn)渫ㄓ眯院挽`活性。
同時(shí),ISP中眾多模塊的算法是相互影響的,算法協(xié)同需要大量調(diào)試工作,極其復(fù)雜,也極具挑戰(zhàn)。
面對越來越高的場景復(fù)雜度,基于濾波等傳統(tǒng)圖像處理技術(shù)在暗光、寬動(dòng)態(tài)等場景下,畫質(zhì)獲得顯著改進(jìn)越來越困難,而且隨著參數(shù)庫逐漸龐大,調(diào)試越發(fā)困難,開發(fā)周期逐步拉長,畫質(zhì)提升的投資收益率也越來越低。
近年來,利用AI進(jìn)行圖像增強(qiáng),逐漸成為行業(yè)研究新熱點(diǎn),并取得了顯著的進(jìn)展,尤其是利用AI對靜態(tài)照片的優(yōu)化,已經(jīng)廣泛應(yīng)用于高端手機(jī)的相機(jī)拍照,并獲得了不錯(cuò)的效果。
上海海思利用在傳統(tǒng)ISP畫質(zhì)技術(shù)上的積累和經(jīng)驗(yàn),以及在端側(cè)AI架構(gòu)和優(yōu)化上的優(yōu)勢,打造了新一代智能圖像處理引擎——越影AI ISP,將傳統(tǒng)畫質(zhì)優(yōu)化經(jīng)驗(yàn)與AI技術(shù)深度融合,相比海思上一代旗艦ISP在五方面實(shí)現(xiàn)了飛躍。
【超感光降噪】基于深度學(xué)習(xí)的智能降噪,信噪比4倍提升
傳統(tǒng)的NR降噪技術(shù)采用多級時(shí)域/空域?yàn)V波,且濾波器設(shè)計(jì)融合了多種異構(gòu)類型,收益已逐漸降低。
海思利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)海量低照度場景圖片的噪聲和信號的分布特性,訓(xùn)練出一套智能降噪的算法模型,越影AI ISP可以智能區(qū)分圖像中的信號和噪聲,實(shí)現(xiàn)低照度場景下的智能降噪。
根據(jù)測試,越影相比海思上一代旗艦ISP,在低照場景下的圖像信噪比可提升4倍。
【多光譜融合】采用專用硬件加速,實(shí)現(xiàn)0.01Lux低照全彩
低照場景下,RGB傳感器感光能力急劇下降,導(dǎo)致彩色圖像清晰度快速下降,無法同時(shí)兼顧圖像細(xì)節(jié)與色彩。
在夜晚交通管理場景下,往往需要在閘口加裝爆閃燈來補(bǔ)充照明,容易造成光污染甚至影響駕駛員的行車安全
多光譜融合技術(shù)通過將可見光與紅外光感知信息進(jìn)行融合,在不增加光污染的同時(shí),解決了低照環(huán)境下由于可見光感光能力不足所造成的細(xì)節(jié)損失的問題,實(shí)現(xiàn)圖像色彩與細(xì)節(jié)的最佳平衡,最終使圖像效果達(dá)到0.01Lux暗光全彩,細(xì)節(jié)紋理豐富。
【超級寬動(dòng)態(tài)】自適應(yīng)光線復(fù)雜變化,動(dòng)態(tài)范圍提升12dB
寬動(dòng)態(tài)技術(shù)是逆光場景下提升畫質(zhì)的重要技術(shù)。
例如行車進(jìn)出隧道口時(shí),由于內(nèi)外光強(qiáng)反差巨大,如何快速跟蹤不斷變化的光線,并準(zhǔn)確對目標(biāo)進(jìn)行自適應(yīng)曝光,是對自動(dòng)和輔助駕駛安全非常重要的技術(shù)。
超級寬動(dòng)態(tài)技術(shù)基于智能識別目標(biāo)場景,對價(jià)值區(qū)域進(jìn)行自適應(yīng)多重曝光,通過智能算法融合不同曝光時(shí)間的長幀、中幀、短幀的圖像數(shù)據(jù),使圖像獲得暗、亮區(qū)域的完美融合:亮處不過曝、暗部細(xì)節(jié)不丟失,逆光場景所見清晰,暗光區(qū)域色彩飽滿、細(xì)節(jié)豐富。
根據(jù)測試,越影相比海思上一代旗艦ISP,在逆光場景下動(dòng)態(tài)范圍可提升12dB,并且對場景跟蹤更迅速,能夠有效避免圖像畫面瞬間過暗或過曝,在3幀以內(nèi)即收斂至穩(wěn)定狀態(tài)。
【超級穩(wěn)像】6軸數(shù)字防抖,視頻成像穩(wěn)定性大幅提升
消費(fèi)類攝像機(jī)廣泛應(yīng)用于運(yùn)動(dòng)場景的拍攝,但在運(yùn)動(dòng)中相機(jī)的震動(dòng)會影響最終成像效果。
視覺感知設(shè)備被安裝于自動(dòng)或輔助駕駛汽車中,這樣的抖動(dòng)造成的圖像模糊甚至可能影響駕駛安全。
越影的超級穩(wěn)像技術(shù)基于IMU 6軸傳感信息智能分析運(yùn)動(dòng)姿態(tài),通過精準(zhǔn)補(bǔ)償修正動(dòng)態(tài)視頻,有效減少由于外部環(huán)境晃動(dòng)或抖動(dòng)對視頻成像造成的影響,可大幅提升各種振動(dòng)環(huán)境下的視頻穩(wěn)定性。
【多維度感知】多感知跨界融合,激發(fā)智慧視覺新潛能
越影支持RGB與雷達(dá)、紅外熱成像、3D結(jié)構(gòu)光等多維度感知能力的融合,匹配紅外測溫、智能支付、掃地機(jī)器人、雷達(dá)視頻一體機(jī)等多種產(chǎn)品需求,可廣泛應(yīng)用于交通管理、金融支付、工業(yè)視覺等多種業(yè)務(wù)場景。
【來源:快科技】【作者:上方文Q】
2022-01-14 14:57:33
2022-01-14 11:59:24
2022-01-14 11:18:24
2022-01-14 10:58:20
2022-01-14 10:57:05
2022-01-14 10:55:01
營業(yè)執(zhí)照公示信息
相關(guān)新聞