安防云在PaaS部署大數據分析計算引擎 比如采用MapReduce的離線處理

投稿人/來源:電子發燒友網 | 2019-11-07 15:11:35 |

對于智能視頻圖像分析服務,主要核心是智能分析算法引擎,目前業內普遍采用的是基于深度學習的智能視頻圖像分析算法,在IaaS基礎設施層面上,一般都會采用高性能的GPU服務器設備提升算法執行效率。因此,在安防云平臺上,GPU服務器設備集群已經成為一個必須的資源池,為安防云平臺提供高性能的計算基礎。

針對這方面的需求,科達自主研發的智能分析GPU服務器提供了高密度高性能的GPU計算能力,在標準4U服務器架構上,可提供不少于12套高性能GPU分析處理單元,支持堆疊擴展,可充分滿足各類深度分析智能分析算法集群化及高密度的應用需求。

安防的云計算服務的核心內容是什么

在IaaS層系統層面,安防云計算平臺需要將GPU計算資源高效管理和利用,采用集群化、虛擬化的方式進行資源的靈活調度和分配,最大限度地提升視頻圖像分析能力。同時,安防云平臺還需要能夠對GPU計算資源使用情況、GPU處理器的狀態等進行密切的監控,在單個或者多個GPU計算設備故障的情況下,能夠保證不會影響已經在進行的智能視頻分析業務,實現GPU的池化服務性能。科達智能分析系統所采用的GPU服務器內置集群管理功能,可結合安防云平臺中各類視頻智能分析服務的需求提供豐富的資源監控管理和調度服務,實現云平臺對GPU計算資源的高效應用。

此外,在PaaS層面上,安防云計算平臺還可以進一步對智能視頻分析服務進行分層,將算法框架以及具體的算法應用分離,能夠提供各種類型的深度學習分析算法框架,如TensorFlow、Torch等,保證這些算法框架可以利用強大的云基礎架構快速地調度各類計算資源,為具體的算法應用提供統一、可靠、便捷的資源服務平臺。屆時,各種具體的基于深度學習的智能分析應用,如:人臉分析、車輛分析、行為分析等即可在云平臺上實現快速的部署和管理。

對于安防大數據分析服務,主要核心是各種大數據分析挖掘算法(PaaS層面),以及能夠支撐這些數據分析算法的分布式數據庫(DaaS層面)。安防大數據分析面對的是海量的安防數據資源,包括幾十億、上百億的目標描述信息以及相關的特征信息,包括人、車目標記錄,人像特征、人臉特征、車輛特征以及各種龐大的車輛信息庫、人臉信息庫等。這些數據需要高可靠的存儲讀寫,并且要能高性能地分析利用起來。

在DaaS層面,科達采用高性能的分布式數據庫技術,通過分布式計算以及橫向便捷擴展特性,可以滿足上百億的數據存儲、調用和分析的需求。分布式數據庫通過采用數據離散存儲、數據冗余保護、數據分層存儲、內存加速、分布式計算等技術,為海量數據提供高可靠、高性能、易擴展的數據存儲服務系統,滿足安防云平臺對海量結構化/半結構化數據存儲、讀寫和分析計算的要求。

在分布式數據庫的基礎上,安防云平臺在PaaS層面上部署各種分布式大數據分析計算引擎,以便對海量數據資源進行分析,比如采用MapReduce的數據離線處理,采用spark或者strom實現數據的近實時處理或者實時業務處理。支持大數據全文檢索的引擎如slor+spark,支持數據挖掘的引擎如sparkHive等。

通過這些高性能的大數據分析的算法、流式數據處理技術,以高性能的分布式數據庫為基礎,進一步提升了海量數據分析的效率,滿足實時的布控報警需求,從而能夠實現由事后處理到事前預警的轉變。(粟杰)


网络游戏赛车