《廣播電視行業(yè)應用大數(shù)據(jù)技術(shù)白皮書(2018)》解讀

黨中央、國務院高度重視大數(shù)據(jù)發(fā)展，將大數(shù)據(jù)上升為國家戰(zhàn)略之一。廣播電視行業(yè)的內(nèi)容生產(chǎn)與傳播消費過程中產(chǎn)生的海量數(shù)據(jù)蘊含著豐富的價值，探索實踐廣播電視行業(yè)應用大數(shù)據(jù)技術(shù)，有助于提升廣電內(nèi)容生產(chǎn)的能力、創(chuàng)新廣電業(yè)務的產(chǎn)品、提升廣電運營服務水平，從而助力廣電媒體融合發(fā)展，推動廣播電視行業(yè)產(chǎn)業(yè)升級。本文從廣播電視應用大數(shù)據(jù)技術(shù)的需求、關鍵技術(shù)、平臺建設、數(shù)據(jù)安全以及典型應用等方面對《廣播電視行業(yè)應用大數(shù)據(jù)技術(shù)白皮書(2018)》進行了詳細解讀。

0 引言

當前，云計算、大數(shù)據(jù)、人工智能、虛擬現(xiàn)實、區(qū)塊鏈等新一代信息技術(shù)的發(fā)展與應用，全方位影響著廣播電視生產(chǎn)制作、播出傳輸和服務模式，推動媒體格局的變化。特別是大數(shù)據(jù)技術(shù)的應用，近年來取得了突飛猛進的發(fā)展，推進信息化進入一個新的發(fā)展階段，對于廣播電視行業(yè)的重要性也愈發(fā)明顯。

國際上，包括美國、歐盟、英國、日本、韓國等許多國家的政府都認識到大數(shù)據(jù)的重要作用，積極開發(fā)利用大數(shù)據(jù)，制訂實施大數(shù)據(jù)戰(zhàn)略，以奪取新一輪競爭制高點。

我國也高度重視大數(shù)據(jù)發(fā)展，將大數(shù)據(jù)上升為國家戰(zhàn)略，相繼出臺了一系列政策、標準、產(chǎn)業(yè)推進計劃。我國大數(shù)據(jù)仍處于快速發(fā)展期，在垂直領域的應用程度不斷深化。

中共中央總書記習近平提出，要以數(shù)據(jù)集中和共享為途徑，推動技術(shù)融合、業(yè)務融合、數(shù)據(jù)融合，打通信息壁壘，形成覆蓋全國、統(tǒng)籌利用、統(tǒng)一接入的數(shù)據(jù)共享大平臺，構(gòu)建全國信息資源共享體系，實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的協(xié)同管理和服務。這為廣播電視行業(yè)應用大數(shù)據(jù)技術(shù)、建設大數(shù)據(jù)平臺指明了方向。

1 廣電大數(shù)據(jù)的應用需求

廣播電視行業(yè)擁有豐富的數(shù)據(jù)資源，特別是隨著近年來的數(shù)字化、網(wǎng)絡化、媒體融合發(fā)展，內(nèi)容生產(chǎn)由模擬信號處理方式向全流程的數(shù)字化、網(wǎng)絡化轉(zhuǎn)變，傳輸分發(fā)由單向發(fā)射傳輸向雙向數(shù)字網(wǎng)絡轉(zhuǎn)變，內(nèi)容消費方式由簡單接收向多元化互動方式轉(zhuǎn)變，廣播電視行業(yè)在內(nèi)容生產(chǎn)、傳輸分發(fā)和用戶服務過程中產(chǎn)生的數(shù)據(jù)規(guī)?？焖僭鲩L、數(shù)據(jù)體量十分龐大。國家廣播電視總局《2018年全國廣播電視行業(yè)統(tǒng)計公報》公布：2018年全國廣播節(jié)目制作時間為801.76萬小時，全國電視節(jié)目制作時間357.74萬小時。2018年全國公共廣播節(jié)目播出時間1526.74萬小時;全國公共電視節(jié)目播出時間1925.03萬小時。2018年全國有線廣播電視實際用戶數(shù)2.18億戶, 全國有線數(shù)字電視實際用戶數(shù)2.01億戶。2018年全國交互式網(wǎng)絡電視(IPTV)用戶1.54億戶，互聯(lián)網(wǎng)電視(OTT)用戶4.20億戶。

廣電行業(yè)產(chǎn)生的數(shù)據(jù)規(guī)模巨大，并且不斷快速增長。數(shù)據(jù)來源多樣、類型多樣。廣播電視行業(yè)對于數(shù)據(jù)獲取和處理速度有很高的要求，特別是新聞生產(chǎn)、直播中用戶互動等業(yè)務數(shù)據(jù)的處理。數(shù)據(jù)規(guī)模、處理時效和數(shù)據(jù)類型均在時刻變化。廣電行業(yè)在業(yè)務生產(chǎn)過程中，利用大數(shù)據(jù)技術(shù)不僅能夠提高數(shù)據(jù)使用的效率，而且能夠?qū)崿F(xiàn)數(shù)據(jù)的再利用;應用大數(shù)據(jù)采集技術(shù)，收集用戶終端數(shù)據(jù)、用戶互動數(shù)據(jù)、用戶行為數(shù)據(jù)等用戶服務數(shù)據(jù)，真正意義上把受眾發(fā)展為用戶，為廣電業(yè)務帶來創(chuàng)新發(fā)展的空間。

廣電大數(shù)據(jù)根據(jù)不同的維度有多種分類方式，其中按照廣電大數(shù)據(jù)產(chǎn)生的過程、時效、數(shù)據(jù)結(jié)構(gòu)進行分析，便于和媒體內(nèi)容生產(chǎn)、用戶消費服務業(yè)務密切結(jié)合，促進廣電大數(shù)據(jù)在各個應用場景的應用。

按照媒體內(nèi)容生產(chǎn)過程和消費過程，可分為：媒體內(nèi)容大數(shù)據(jù)和用戶服務大數(shù)據(jù)。按照數(shù)據(jù)的產(chǎn)生和時效價值，可分為實時數(shù)據(jù)和非實時數(shù)據(jù)。按照數(shù)據(jù)的邏輯結(jié)構(gòu)，可分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

媒體內(nèi)容大數(shù)據(jù)，是在內(nèi)容的采集、制作、播出、分發(fā)、傳輸、交換、管理過程中產(chǎn)生的數(shù)據(jù)，對媒體內(nèi)容大數(shù)據(jù)進行深入的數(shù)據(jù)分析，可為內(nèi)容生產(chǎn)提供支撐，優(yōu)化生產(chǎn)流程、創(chuàng)新內(nèi)容產(chǎn)品、傳播優(yōu)質(zhì)內(nèi)容。這部分數(shù)據(jù)包括：音頻、視頻、圖片、文稿、字幕、元數(shù)據(jù)信息等數(shù)字化文件，是廣電行業(yè)進行生產(chǎn)制作與傳播的主體對象。這類數(shù)據(jù)具有非結(jié)構(gòu)化或者半結(jié)構(gòu)化數(shù)據(jù)的特征，數(shù)據(jù)體量巨大，蘊含信息豐富，具有很高的數(shù)據(jù)挖掘價值。

用戶服務大數(shù)據(jù)，是在媒體內(nèi)容的收看、收聽、消費、互動、分享過程中產(chǎn)生的數(shù)據(jù)，對用戶服務大數(shù)據(jù)進行數(shù)據(jù)分析，能更好地把握用戶的需求和愛好，優(yōu)化產(chǎn)品與服務，提升運維和運營質(zhì)量。面向這類數(shù)據(jù)開展應用，以“用戶”為中心研究業(yè)務需求特點，有利于創(chuàng)新業(yè)務產(chǎn)品，促進媒體融合和智慧廣電的發(fā)展。

總的來說，廣播電視行業(yè)的內(nèi)容生產(chǎn)與傳播消費過程中產(chǎn)生的海量數(shù)據(jù)，蘊含著豐富的價值。應用大數(shù)據(jù)技術(shù)，做好對這些海量數(shù)據(jù)的聚合、挖掘、分析、應用，可以更好地促進廣電業(yè)務生產(chǎn)與用戶服務，更好地激發(fā)媒體融合發(fā)展的創(chuàng)新活力。

2 大數(shù)據(jù)的關鍵技術(shù)

大數(shù)據(jù)關鍵技術(shù)涵蓋從數(shù)據(jù)存儲、處理、應用等多方面的技術(shù)。根據(jù)大數(shù)據(jù)的處理過程，可將其分為數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)存儲、數(shù)據(jù)分析與挖掘、數(shù)據(jù)應用等環(huán)節(jié)。大數(shù)據(jù)技術(shù)與傳統(tǒng)的數(shù)據(jù)處理技術(shù)不同，在大數(shù)據(jù)處理的各個環(huán)節(jié)中，出現(xiàn)了許多服務大數(shù)據(jù)的新興技術(shù)。

大數(shù)據(jù)采集技術(shù)包括媒體數(shù)據(jù)采集、網(wǎng)絡數(shù)據(jù)采集、終端數(shù)據(jù)采集、系統(tǒng)日志采集、數(shù)據(jù)庫采集等技術(shù)應用。

大數(shù)據(jù)預處理過程可以幫助我們將那些雜亂無章的數(shù)據(jù)轉(zhuǎn)化為相對單一且便于處理的結(jié)構(gòu)，達到快速分析處理的目的。通常數(shù)據(jù)預處理包含數(shù)據(jù)清理、數(shù)據(jù)整合、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換等四個部分。

大數(shù)據(jù)存儲管理技術(shù)包括：數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)庫技術(shù)、異構(gòu)數(shù)據(jù)融合存儲架構(gòu)、數(shù)據(jù)模型構(gòu)建和管理。

媒體內(nèi)容數(shù)據(jù)中，特別是音視頻內(nèi)容數(shù)據(jù)，是一種非結(jié)構(gòu)化數(shù)據(jù)，這樣的類數(shù)據(jù)如果僅僅是采集和存儲，則很難發(fā)揮其豐富的數(shù)據(jù)價值，要深度挖掘媒體內(nèi)容的數(shù)據(jù)價值往往需要，需要對媒體內(nèi)容數(shù)據(jù)的做處理成結(jié)構(gòu)化數(shù)據(jù)處理，以便于數(shù)據(jù)價值挖掘。

大數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取有用信息的過程。主要技術(shù)包括：分類、預測、關聯(lián)挖掘、聚類等。

大數(shù)據(jù)處理框架負責對大數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)進行計算。有批處理、流處理、混合處理三種方式。

大數(shù)據(jù)展現(xiàn)與應用技術(shù)包括：借助于圖形化手段的數(shù)據(jù)可視化技術(shù)、全文檢索技術(shù)與數(shù)據(jù)查詢分析技術(shù)。

3 廣電大數(shù)據(jù)的平臺建設

在媒體融合和大數(shù)據(jù)發(fā)展的背景下，廣播電視行業(yè)要逐步轉(zhuǎn)變傳統(tǒng)理念和運營模式，借助大數(shù)據(jù)平臺采集、存儲、挖掘數(shù)據(jù)資產(chǎn)，通過大數(shù)據(jù)平臺對媒體內(nèi)容數(shù)據(jù)、用戶服務數(shù)據(jù)進行全方位分析挖掘，從而提升媒體內(nèi)容生產(chǎn)的能力，創(chuàng)新網(wǎng)絡視聽業(yè)務產(chǎn)品，升級媒體運營服務、加強媒體傳播的監(jiān)測監(jiān)管。

廣電大數(shù)據(jù)應用不是一個孤立的應用服務，與廣播電視、有線網(wǎng)絡、網(wǎng)絡視聽等各類業(yè)務緊密相關。廣電大數(shù)據(jù)平臺的技術(shù)架構(gòu)和業(yè)務應用服務應進行統(tǒng)籌規(guī)劃設計。

3.1 廣電大數(shù)據(jù)的平臺架構(gòu)

從實際出發(fā)，廣電大數(shù)據(jù)平臺目前由各地分散建設，但在建設過程中，要以實現(xiàn)全國性廣播電視行業(yè)大數(shù)據(jù)共享共用為目標，建立標準的數(shù)據(jù)接口規(guī)范，具備安全交互數(shù)據(jù)互聯(lián)機制，推動形成全國性的大數(shù)據(jù)采集、匯集和應用機制。

廣電大數(shù)據(jù)的平臺建設，廣電大數(shù)據(jù)的架構(gòu)要以國標《信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型》提出的通用大數(shù)據(jù)參考架構(gòu)為依據(jù)。在基于媒體融合云平臺建設部署時，要充分利用軟硬件資源，在平臺服務層部署大數(shù)據(jù)的采集、預處理、存儲管理、挖掘與應用等能力，在應用服務層部署媒體內(nèi)容與用戶服務的多種大數(shù)據(jù)應用服務。

在平臺建設策略上，一方面要明確需求目標，做好整體規(guī)劃，要以支撐大數(shù)據(jù)應用服務為目標，加強頂層設計，建立互聯(lián)互通機制，推動各廣電機構(gòu)的數(shù)據(jù)共享，推進形成全國行業(yè)性的廣電大數(shù)據(jù)采集、匯聚和應用機制。

另一方面要立足業(yè)務現(xiàn)實，分步推進大數(shù)據(jù)平臺的建設與完善。在自身業(yè)務分析的基礎上，可以選擇性地建設大數(shù)據(jù)基礎計算資源，大數(shù)據(jù)平臺處理流程和大數(shù)據(jù)業(yè)務應用服務，進行技術(shù)和人才儲備，再逐步擴大平臺的規(guī)模，增加平臺上的業(yè)務。

3.2 廣電大數(shù)據(jù)的處理流程

大數(shù)據(jù)處理要遵循統(tǒng)一大數(shù)據(jù)采集、統(tǒng)一大數(shù)據(jù)管理、統(tǒng)一大數(shù)據(jù)計算、統(tǒng)一大數(shù)據(jù)處理、統(tǒng)一大數(shù)據(jù)服務的原則。處理流程上，是從數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析挖掘、統(tǒng)一數(shù)據(jù)服務到數(shù)據(jù)應用等環(huán)節(jié)的處理，數(shù)據(jù)應用產(chǎn)生的數(shù)據(jù)又可作為新數(shù)據(jù)源采集進入大數(shù)據(jù)處理平臺，形成大數(shù)據(jù)閉環(huán)。

3.3 廣電大數(shù)據(jù)的治理流程

數(shù)據(jù)治理能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應用標準，提高數(shù)據(jù)質(zhì)量。統(tǒng)一大數(shù)據(jù)治理機制，有助于對廣電大數(shù)據(jù)管理和利用進行評估、指導和監(jiān)督，實現(xiàn)大數(shù)據(jù)應用服務的風險可控、安全合規(guī)、效率提升和價值創(chuàng)造。

廣電大數(shù)據(jù)治理包含以下三個維度：原則，即大數(shù)據(jù)治理工作所需要循序的基本指導性法則;范圍，即數(shù)據(jù)治理包含的關鍵領域和主要活動;實施，即大數(shù)據(jù)治理的實施過程。

大數(shù)據(jù)治理的準則即大數(shù)據(jù)治理的重要內(nèi)容包括組織職責，元數(shù)據(jù)、大數(shù)據(jù)隱私、數(shù)據(jù)質(zhì)量管理、業(yè)務流程整合、數(shù)據(jù)匯聚整合、數(shù)據(jù)生命周期管理等。

大數(shù)據(jù)治理實施是指圍繞大數(shù)據(jù)治理的階段、關鍵要素等，建立大數(shù)據(jù)治理體系。體系包括支撐大數(shù)據(jù)治理的戰(zhàn)略藍圖和階段目標，崗位職責和組織制度、關鍵領域與流程，以及軟硬件資源。

大數(shù)據(jù)治理實施流程可分為現(xiàn)狀評估、樹立目標、制定方案、執(zhí)行方案、運行與測量、評估與改進等形成閉環(huán)的六個階段。

4 廣電大數(shù)據(jù)安全

廣電大數(shù)據(jù)安全應該基于數(shù)據(jù)業(yè)務鏈路包括采集、傳播、處理、存儲、交換、應用，構(gòu)建全面的數(shù)據(jù)安全管控體系，覆蓋數(shù)據(jù)加工前、數(shù)據(jù)加工中、數(shù)據(jù)加工后、數(shù)據(jù)合規(guī)等方面的數(shù)據(jù)安全管控。在數(shù)據(jù)合規(guī)層，需參考《GB/T 35273-2017 個人信息安全規(guī)范》、《GB/T 35274-2017 信息安全技術(shù) 大數(shù)據(jù)服務 安全能力要求》、《GB/T 31168-2014 信息安全技術(shù) 云計算服務安全能力要求》，以及 ISO 27001 系列標準進行實施。通過遵循這些標準，實現(xiàn)對個人隱私信息的保護、保障云服務的安全控制，保障大數(shù)據(jù)服務的安全性，同時也符合國家的監(jiān)管要求。通過建立一套標準的大數(shù)據(jù)采集、計算存儲、服務和應用的架構(gòu)，形成以數(shù)據(jù)為中心的大數(shù)據(jù)安全管理理念。

廣電大數(shù)據(jù)安全需要符合安全播出的要求，包括基礎安全、平臺與應用安全和數(shù)據(jù)生命周期安全。

大數(shù)據(jù)的基礎安全，是結(jié)合廣電數(shù)據(jù)特性制定相關的制度約束規(guī)程，增強數(shù)據(jù)資產(chǎn)的安全，明確大數(shù)據(jù)使用者的角色和權(quán)限，對元數(shù)據(jù)安全和數(shù)據(jù)合規(guī)進行管理，從而確保對個人信息進行保護和重要數(shù)據(jù)的分級管理。

數(shù)據(jù)生命周期安全是包括數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)交換和數(shù)據(jù)銷毀等各個環(huán)節(jié)的安全技術(shù)。

廣電大數(shù)據(jù)平臺安全是對大數(shù)據(jù)整體安全形成的安全策略，從數(shù)據(jù)采集到數(shù)據(jù)資產(chǎn)的管理，再到平臺的訪問安全管控和各類數(shù)據(jù)存儲安全，以及數(shù)據(jù)在分發(fā)中的加密和脫敏形成的安全技術(shù)，包括：傳輸交換安全、存儲安全、計算安全、平臺管理安全以及基礎設施安全。

5 廣電大數(shù)據(jù)的典型應用

充分挖掘媒體內(nèi)容數(shù)據(jù)、分析用戶數(shù)據(jù)，可廣泛應用在廣播電視內(nèi)容的采集與生產(chǎn)、節(jié)目的推薦與經(jīng)營、用戶的跟蹤與服務、輿情的監(jiān)控與管理、節(jié)目的傳輸與分發(fā)以及節(jié)目監(jiān)控監(jiān)管等領域。廣電行業(yè)中，面向廣播電視臺、有線網(wǎng)絡和網(wǎng)絡視聽等領域，都具有一些應用大數(shù)據(jù)技術(shù)的典型場景。

在廣播電視臺，大數(shù)據(jù)的典型應用場景包括：內(nèi)容采集與生產(chǎn)：新聞融合生產(chǎn)、內(nèi)容的智能化生產(chǎn)與管理、版權(quán)管理。節(jié)目播出分發(fā)：播出內(nèi)容監(jiān)管、收視分析。節(jié)目評價。輿情監(jiān)控監(jiān)管。平臺運行維護。廣播電視臺建立大數(shù)據(jù)應用體系可為融合媒體業(yè)務全流程提供全面支撐。

在有線網(wǎng)絡公司，生產(chǎn)運營上典型應用場景包括：廣電大數(shù)據(jù)共享服務、用戶分類、個性化推薦、經(jīng)營分析。用戶服務上典型應用場景包括：收視行為分析、用戶活躍度分析、客戶服務。運行管理上：設備故障預測、網(wǎng)絡優(yōu)化、網(wǎng)絡安全態(tài)勢感知。

在網(wǎng)絡視聽中應用大數(shù)據(jù)的典型場景包括：節(jié)目價值導向指引與傳播效果評估分析，產(chǎn)品優(yōu)化與提升用戶體驗，全鏈路版權(quán)保護，網(wǎng)絡安全動態(tài)感知，業(yè)務運行監(jiān)管等。

國家廣電總局適應行業(yè)發(fā)展需要，研究部署建立了基于“全網(wǎng)絡、全樣本、大數(shù)據(jù)、云計算”的節(jié)目收視綜合評價體系，強化對廣播電視、網(wǎng)絡視聽節(jié)目的規(guī)范管理，促進廣播電視高質(zhì)量發(fā)展。廣播電視節(jié)目收視綜合評價大數(shù)據(jù)系統(tǒng)已于2018年12月26日開通試運行。

6 結(jié)束語

近年來，我國相繼出臺了一系列相關政策推動大數(shù)據(jù)的技術(shù)、產(chǎn)業(yè)及其標準化的發(fā)展。廣播電視行業(yè)也根據(jù)實際業(yè)務需求，制定了《電視收視數(shù)據(jù)元素集規(guī)范》、《電視收視數(shù)據(jù)交換接口規(guī)范》、《電視收視數(shù)據(jù)清洗規(guī)范》等行業(yè)標準規(guī)范。在此基礎上，白皮書建議廣電行業(yè)進一步增加相關數(shù)據(jù)類、技術(shù)類、安全類和管理類行業(yè)標準規(guī)范。

廣電行業(yè)建設大數(shù)據(jù)平臺，要以全國性廣電行業(yè)大數(shù)據(jù)共享共用為目標。各級廣播電視機構(gòu)分散建設的大數(shù)據(jù)應用，要符合白皮書的指導要求。要與自身業(yè)務緊密結(jié)合，制定大數(shù)據(jù)平臺建設的總體規(guī)劃與實施步驟。建設大數(shù)據(jù)平臺時，應充分考慮利用已建的融合媒體云平臺，建設部署大數(shù)據(jù)平臺。廣電大數(shù)據(jù)平臺的建設中，要積極應對數(shù)據(jù)匯聚、數(shù)據(jù)分析等帶來的安全問題。

廣電對大數(shù)據(jù)的應用將促進媒體融合的進程，為媒體融合發(fā)展提供助力。大數(shù)據(jù)的應用還將推動廣電媒體產(chǎn)業(yè)升級，包括：推動智慧媒體發(fā)展，全面提升媒體的商業(yè)價值，為媒體產(chǎn)業(yè)升級提供支撐。希望在白皮書的引導下，各級廣電機構(gòu)、行業(yè)內(nèi)外企業(yè)共同努力，積極推進大數(shù)據(jù)技術(shù)在行業(yè)的深入應用，推進廣電大數(shù)據(jù)平臺的建設，為廣電全面轉(zhuǎn)型升級賦能，構(gòu)建行業(yè)發(fā)展全新格局。