騰訊云SCS，讓流計算從“零件”到“服務(wù)”

 流計算的前世今生

在大數據時(shí)代的初期，我們面臨的數據主要是大容量的靜態(tài)數據集，針對離線(xiàn)和大規模數據分析設計的Hadoop依靠HDFS和Mapreduce可以靈活、高效的處理這種數據形態(tài)。然而，隨著(zhù)大數據時(shí)代的演進(jìn)，具有實(shí)時(shí)持續到達、到達次序獨立且高度無(wú)序等特征的流式數據在當前商業(yè)環(huán)境中變得越來(lái)越常見(jiàn)，人們迫切的想對這種流式數據進(jìn)行實(shí)時(shí)分析并進(jìn)而轉化成商業(yè)價(jià)值，于是推動(dòng)了大數據技術(shù)的演進(jìn)。

在大數據技術(shù)從批處理走向流處理的過(guò)程中，主要產(chǎn)生了storm、spark streaming、Flink等成熟的框架。Storm是僅支持流處理的框架，其核心概念是將Spouts和Bolts連接在一起形成拓撲結構（Topology），然后將用戶(hù)提交的應用程序邏輯在Topology中指定。

然而，傳統的Storm（非Trident）只能提供at least once語(yǔ)義，而如果通過(guò)Trident 實(shí)現了exactly once語(yǔ)義，則會(huì )以犧牲時(shí)延為代價(jià)，因此storm的兩種方案都是局部最優(yōu)，而非全局最優(yōu)。

Spark Streaming是針對批量數據處理設計的混合框架，其流處理功能是通過(guò)將流處理作業(yè)分解為一系列微批處理作業(yè)來(lái)實(shí)現的，而負責進(jìn)行處理的引擎其實(shí)還是Spark。

Spark Streaming相比于Storm能提供更穩定的exactly once語(yǔ)義，但由于其核心概念是微批處理，因此其優(yōu)勢在于高吞吐量而非時(shí)延，其時(shí)延與Storm、Flink相比較高。

Flink是針對流式數據處理設計的混合框架，可以通過(guò)把批量數據看成有界的流式數據來(lái)實(shí)現批處理，其核心概念是將Flink上運行的程序映射為streaming dataflows，應用程序邏輯通過(guò)streaming dataflow內的多個(gè)transformation operator實(shí)現。

由于Flink對流式數據處理的針對性設計，只需要很少配置就能實(shí)現高吞吐與低延遲。Flink支持exactly once語(yǔ)義，并且其checkpoint機制保證了即使在發(fā)生故障的情況下也能保障exactly once語(yǔ)義。

云上的流計算服務(wù)SCS：從零件到服務(wù)

在當今瞬息萬(wàn)變的商業(yè)賽道上，早一步出發(fā)便意味著(zhù)可以更早接觸到商業(yè)機會(huì )、更早占據市場(chǎng)份額，進(jìn)而野蠻生長(cháng)。然而如果選擇基于開(kāi)源框架的“零件”形態(tài)的流計算，便意味著(zhù)無(wú)論是基礎設施建設還是日常運維，亦或是安全保障，這些與成本和風(fēng)險息息相關(guān)的模塊都需要自己來(lái)維護，從而分散了聚焦于業(yè)務(wù)的精力，又何談把握轉瞬即逝的商業(yè)機會(huì )？

于是，與商業(yè)場(chǎng)景的低適配推動(dòng)著(zhù)流計算走向了云端。為了讓用戶(hù)可以以低成本獲取到無(wú)盡的流計算分析能力，云廠(chǎng)商將云端近乎無(wú)限的計算、存儲、技術(shù)等資源整合，把流計算在云端以服務(wù)的形式進(jìn)行技術(shù)革新，形成了云上的流計算服務(wù)。

騰訊云流計算SCS是騰訊基于在社交、視頻、游戲等海量業(yè)務(wù)場(chǎng)景積累的經(jīng)驗，為了幫助云端用戶(hù)達成降本增效的目的，通過(guò)深度整合深耕互聯(lián)網(wǎng)科技領(lǐng)域近20年積累的基礎設施，以PaaS服務(wù)的形式提供的云端流計算服務(wù)。

騰訊云流計算SCS服務(wù)將提供：

流計算SCS助力工業(yè)智能制造

SCS將從五個(gè)智能化發(fā)力，全面助力工業(yè)智能制造：

基于SCS實(shí)時(shí)進(jìn)行數據分析，實(shí)現產(chǎn)品實(shí)時(shí)定位、產(chǎn)品實(shí)時(shí)管理，助力產(chǎn)品智能化。

基于SCS跟蹤生產(chǎn)線(xiàn)進(jìn)度，實(shí)時(shí)監控生產(chǎn)線(xiàn)壓力，實(shí)現智能調度，助力生產(chǎn)智能化。

基于SCS實(shí)現預防性維護，從而避免高成本的設備故障風(fēng)險，助力裝備智能化。

基于SCS實(shí)時(shí)過(guò)濾無(wú)效信息，準確識別用戶(hù)需求，進(jìn)行自動(dòng)化個(gè)性定制產(chǎn)品生產(chǎn)，助力服務(wù)智能化。

基于SCS通過(guò)設備IOT組件采集信息并進(jìn)行多維度、多指標實(shí)時(shí)分析，助力管理智能化。

從傳統制造到智能制造轉型的進(jìn)程中，SCS將火力全開(kāi)。

流計算的未來(lái)

雖然流計算與IOT相關(guān)場(chǎng)景契合度極高，但流計算在互聯(lián)網(wǎng)、電商、金融等行業(yè)同樣擁有著(zhù)廣闊的應用場(chǎng)景如點(diǎn)擊流分析、金融風(fēng)控、實(shí)時(shí)推薦等。

未來(lái)的流計算，將與AI深度結合，從流計算走向流AI，成為人工智能時(shí)代的基礎設施。流計算將流淌在整個(gè)社會(huì )的每一個(gè)角落，并不斷為我們帶來(lái)富有價(jià)值的洞見(jiàn)！