進(jìn)入2025年，依托海康觀瀾大模型技術(shù)體系，海康威視將大模型能力直接部署至端側(cè)，推出一系列視覺大模型攝像機(jī)。視覺大模型攝像機(jī)不僅成像畫質(zhì)更優(yōu)，更重要的是突破了場景普適性弱、復(fù)雜目標(biāo)識別難等瓶頸，進(jìn)一步提升目標(biāo)檢出率，大幅降低誤報，在零樣本的情況下也能進(jìn)行識別，檢測目標(biāo)種類更豐富。

大幅降低誤報檢出率、檢準(zhǔn)率雙提升

智能攝像機(jī)在實(shí)際應(yīng)用中，不同場景、不同光照條件、不同天氣等均會帶來大量誤報警告，造成運(yùn)維成本增加，用戶體驗(yàn)不佳，降低事件響應(yīng)的信任度。

20余年來，海康威視深耕視頻領(lǐng)域業(yè)務(wù)，結(jié)合各類場景的豐富行業(yè)知識，構(gòu)建了預(yù)訓(xùn)練大模型，在預(yù)訓(xùn)練階段中增加了各類真實(shí)動態(tài)場景干擾數(shù)據(jù)，如雨雪霧天氣、強(qiáng)光閃爍、動物移動、振動抖動等，針對不同條件下進(jìn)行數(shù)據(jù)增強(qiáng)，大幅提升智能識別的檢出與檢準(zhǔn)率。

同時，海康威視構(gòu)建了完善的大模型部署技術(shù)體系，從模型輕量化、計算效率提升、計算資源節(jié)省等方面研究模型結(jié)構(gòu)設(shè)計和量化技術(shù)，創(chuàng)新研發(fā)出更加適配場景的視覺大模型攝像機(jī)。

如在周界應(yīng)用中，海康威視已形成球機(jī)、IPC、多攝等大模型警戒系列攝像機(jī)。相比傳統(tǒng)視頻周界產(chǎn)品，大模型警戒系列攝像機(jī)進(jìn)一步提升識別距離，誤報率下降90%以上。(根據(jù)項(xiàng)目實(shí)測數(shù)據(jù))。例如，同一測試場景下，采用4mm鏡頭測試，視覺大模型相機(jī)在70米可檢出人員入侵，以往深度學(xué)習(xí)算法40米可檢出，傳統(tǒng)smart算法在20米才能檢出。同樣檢測條件下，過濾小鳥誤報時，傳統(tǒng)smart算法檢出人員入侵的同時持續(xù)檢出小鳥入侵，視覺大模型相機(jī)可精準(zhǔn)過濾小鳥誤報，僅檢出人員入侵。

在交通事件檢測中，海康威視推出雷視一體機(jī)、事件檢測攝像機(jī)、FOD雷視檢測一體機(jī)等視覺大模型攝像機(jī)。在高速公路交通事件檢測領(lǐng)域，有效解決復(fù)雜場景下拋灑物、停車、行人等事件的誤報、漏報難題。

在交通卡口應(yīng)用中，推出卡口抓拍單元、非機(jī)動車抓拍單元、雷云船舶卡口一體機(jī)等視覺大模型攝像機(jī)產(chǎn)品。如在駕駛室特征識別應(yīng)用中，識別安全帶時，有效過濾低對比度、遮擋、復(fù)雜姿態(tài)等產(chǎn)生的誤報；識別打電話時，有效過濾對抬手、握物等產(chǎn)生的誤報。

支持零樣本開放識別，目標(biāo)識別種類更豐富

傳統(tǒng)智能應(yīng)用的落地，千行百業(yè)智能需求各不相同，針對不同目標(biāo)需訓(xùn)練特定的識別算法，存在樣本采集成本高、類別拓展難、訓(xùn)練周期較長等問題。

通過在攝像機(jī)部署開放式目標(biāo)檢測大模型，采用自研的統(tǒng)一模態(tài)學(xué)習(xí)方案，將視覺識別的圖像特征對齊語義特征，實(shí)現(xiàn)目標(biāo)的精準(zhǔn)檢出與定位，海康威視推出”描述即識別”的智能攝像機(jī)應(yīng)用模式，即輸入一個詞、一句話可按需快速靈活生成模型，無需樣本訓(xùn)練即可識別目標(biāo)。

場景定義畫質(zhì)，精準(zhǔn)自適應(yīng)調(diào)優(yōu)

視覺大模型攝像機(jī)以“硬件+算法”深度融合，打造全場景畫質(zhì)提升。以專業(yè)的大光圈鏡頭，高感光傳感器設(shè)計能力，結(jié)合豐富低照度場景經(jīng)驗(yàn)，構(gòu)建端到端的智能大模型算法，有效區(qū)分圖像中信號和噪聲，精準(zhǔn)去噪，提升夜視監(jiān)控畫面信噪比，針對暴雨、霧霾、過曝、偏色等場景，可實(shí)現(xiàn)場景定義畫質(zhì)，讓圖像細(xì)節(jié)更豐富，色彩更真實(shí)，為智能應(yīng)用提供更優(yōu)的視頻圖像支撐。

從看得見，看得清，到看得懂，大模型的到來，進(jìn)一步提升海康威視的技術(shù)和產(chǎn)品創(chuàng)新能力。目前海康威視已推出警戒系列、交通事件檢測系列、卡口抓拍系列、機(jī)械臂防碰撞系列、抗振防抖系列、巡檢系列等視覺大模型攝像機(jī)。