【中國智能制造 學術論文】從人類文明誕生的那一刻起，數據就伴隨我們而生——人類交流信息所用的文字和語言，計量距離或數量使用的記號和圖案，觀察自然所積累和傳承的經驗等，都是數據構成的。這些數據在百萬年歷史長河里，為人類文明的發展進化帶來了難以估量的巨大價值。　　
　　自從人類發明了紙和筆，創造了數字、文字、幾何技術后，數據有了更的描述和記錄的方法，在此基礎上催生出了數字、物理、化學，以及文學、藝術、管理等學科，我們今天所享受的現代文明，都深深的植根于數據技術。
　　
　　隨著互聯網時代的大發展，數據記錄逐步脫離了紙筆的限制，人類發明了廉價的硅晶半導體所蘊藏的秘密，大量的數據可以按0或1的二進制方式存儲半導體材料內，它們的存儲能力如此巨大，成本如此低廉，以至于以往被輕易忽略的數據都能被忠實的保存下來：我們每一下輕微的呼吸、每一次心臟的跳動、每一下鼠標的點擊，企業里員工的每一次出勤、財務的每一筆賬單、客戶的每一個評論，包羅萬象都能一一記錄。
　　
　　與此同時，數據的概念也在進一步拓寬。傳統的數據是指用數字或文字描述的內容，通稱為結構化數據，而大數據時代涌現出了大量新型數據的、非結構化的數據。例如人群之間看不見的社交關系，移動設備發射的GPS位置，網絡傳播的圖像、視頻信號，可穿戴設備采集的健康數據等。對這些各種各樣的數據的采集、挖掘、運用，也是現代大數據挖掘的重要研究課題。
　　
　　正在發生的大數據變革，恐怕是人類技術發展中重要的話題之一，它沖擊著許多主要的行業，包括零售業、服務業、電子商務和金融領域等，同時大數據技術也正在徹底的改變我們的日常生活。如果把數據比作是礦石的話，大數據挖掘技術就是要從礦石中提煉出黃金，并形成各種精致的制成品發揮作用的過程。它既能夠通過移動應用和云服務追蹤和提升個人的生活品質，也能為現代企業帶來更和穩健的管理方式。小到個人，大到企業和國家，大數據均是極度重要的一個議題，需要我們真正的深入理解它，因此本文將對大數據挖掘技術給出全景式的介紹，首先給出大數據的背景、原理和概念，然后闡述大數據挖掘的方法和步驟，再講解大數據在企業應用中的方式和收益，后分享大數據時代的產業狀況，和我們面臨的挑戰與機遇。
　　
　　大數據技術的背景、概念和意義
　　
　　1.大數據的產生背景
　　
　　大數據熱潮誕生的先決條件是計算機存儲能力的迅速擴大和成本的一再降低。得益于半導體技術在過去20年里持續快速的發展，今天我們用500元人民幣就能輕松買到一塊能裝得下63萬本《紅樓夢》的1T容量的移動硬盤；價值2000元的一塊PC硬盤甚至能存儲下全世界迄今為止所有的音樂內容。在很多大型互聯網公司里，拿一臺較好配置的服務器，就可以一舉裝下美國國家圖書館里所有紙質書的內容——縱觀整個人類文明發展史，今天人類擁有了的海量信息的存儲能力，并且這個能力仍然在日新月異的向前發展著。
　　
　　與此同時，人類創造數據的能力也同樣在高速增長。傳統社會只有文人墨客、達官顯貴才能青史上留下只言片語，而互聯網時代里所有人都能輕松成為數據的生產者，例如Facebook上每月被用戶分享500億條新信息，的社交網絡每天產生1億張新照片。能夠產生和采集數據的方式也越來越多——電腦、手機、電視、汽車……一切都在大踏步的向“智能化”邁進。
　　
　　我們對數據進行挖掘和處理的能力也遵照著“摩爾定律”在飛速的發展。這些IT技術在數據產生、存儲、挖掘、運用方面的逐步成熟，讓數據驅動產生價值的門檻越來越低，終于大數據時代的腳步匆匆到來了。
　　
　　2.大數據的“4V”要素
　　
　　大數據(BigData)概念早的提出者是麥肯森咨詢公司和IBM公司的科學家們。在大數據的定義中，有如下“4V”要素是必須的：Volume,Variety,Velocity,Value，具體含義如下：
　　
　　Volume：具備超出典型數據庫軟件收集、存儲、管理和分析能力的數據集；
　　
　　Variety：具備多樣性的，結構化、半結構化、非結構化等多種類型的數據形式；
　　
　　Velocity：具備快速、實時的數據處理能力；
　　
　　Value：具備從稀疏的數據中挖掘高價值內容的意義。
　　
　　4V要素之間存在密切的關聯關系：Volume是所有工作的基礎，構建一個容量足夠巨大的數據處理平臺才能保證其上的應用；基于Volume進一步有Variety，用于多樣化數據的處理；Velocity保證了系統有實時數據處理的能力；終的Value體現了數據所能發揮的價值，大數據重要的并非“大”，也并非“數據”本身，而是人們如何認識和使用它，盡大可能挖掘出其中價值，正所謂吹盡黃沙始見金。
　　
　　3.大數據價值和企業信息化
　　
　　數據價值的直觀應用就是在企業管理里，這個過程和企業信息化的發展往往交織在一起。在1980s年代及以前，企業的各類業務、財務數據都是通過賬簿記錄，這種方式查閱和統計的效率都很低，可靠性也不高。從1990s年代末開始，金融業、電信業、大型零售等行業企業將核心交易數據電子化，2000年以后隨著IT技術的進步，越來越多的企業將信息化納入議程，ERP、MIS系統蓬勃發展，設計、制造、進存銷等業務管理逐步數據化，這些數據被大家意識到是企業寶貴的資產，隨之而起的統計報表技術也漸漸完善。2010年以后，更多種類的數據，包括客戶的瀏覽數據、反饋數據等在一些企業中也都開始記錄并逐步進行個性化建模和分析，數據驅動的CRM客戶關系管理開始在運營和個性化服務方面嶄露頭角，基于數據分析的預測技術也逐步開始出現。
　　
　　從過去到未來，數據的價值在一點一滴的凸顯，注意這個過程是動態變化的，十年以前的大數據在如今看來根本不算很大；而同樣的，今天的大數據在若干年后也將不再被認為是大數據。數據容量、速度、多樣性、復雜度方面在今天來看無法想象的事情，幾年之后都將完全被顛覆；不變的，是對數據的思考和分析的方法，和利用數據來產生附加價值的出發點。
　　
　　大數據挖掘的方法、流程和場景
　　
　　1.大數據采集的特點
　　
　　大數據應用的步就是采集數據。巧婦難為無米之炊，數據采集的完整性、準確性，決定了數據應用是否能真實可靠的發揮作用。大數據時代的數據采集有如下三個特點：
　　
　　1）數據采集以自動化手段為主，要盡量擺脫人工錄入的方式；
　　
　　2）采集內容以全量采集為主，要擺脫對數據進行采樣的方式；
　　
　　3）采集方式多樣化、內容豐富化，擺脫以往只采集基本數據的方式。
　　
　　從采集數據的類型上看，不僅要涵蓋基礎的結構化交易數據，還將逐步包括半結構化的用戶行為數據，網狀的社交關系數據，文本或音頻類型的用戶意見和反饋數據，設備和傳感器采集的周期性數據，網絡爬蟲獲取的互聯網數據，以及未來越來越多有潛在意義的各類數據。
　　
　　2.常見數據采集技術
　　
　　傳統的數據采集方法包括人工錄入、調查問卷、電話隨訪等方式，大數據時代到來后，一個突出的變化是數據采集的方法有了質的飛躍，下面所介紹的數據采集方式的突破直接改變著大數據應用的場景。
　　
　　移動互聯網的興起讓面向移動設備的數據采集技術有了迅速發展，目前使用多的常稱為Android或iOS的采集SDK，這種技術能幫助統計APP的基礎數據，包括用戶數、活躍情況、流失比例、使用時長等；用戶的位置、安裝列表、通訊情況等通過授權也可以采集。網絡爬蟲是另一類廣泛使用的互聯網采集技術，常被用于進行大規模全網信息采集、輿情監控、競品分析等領域。
　　
　　物聯網也和大數據息息相關，因為物聯網的關鍵技術之一是無線射頻標簽：當安裝有RFID微型標簽的讀卡器在近距離發出信號時，帶有RFID的物品能自動返回其的序列號，這樣就能實現自動大批量辨識物品信息的工作。RFID技術解決了物品信息與互聯網實現自動連接的問題，結合后續的大數據挖掘工作，能發揮其強大的威力。
　　
　　在工業制造業里，傳感器是另一類常見的大數據采集裝置，它能將測量到的信息按一定規律變換為電信號輸出，通常用于自動檢測和控制等環節。傳感器的種類極為豐富：大到機械設備、汽車、飛機、建筑物，小到一部智能手機、一個智能設備，都可以安裝很多種傳感器，傳遞溫度、壓力、位置、位移、光敏、距離、化學感應、生物、磁場等各類信號。未來攜帶傳感器 大數據平臺的智能設備將越來越多，基于傳感器數據的大數據應用才剛剛起步，如智能醫療，智慧城市等，這方面有著廣闊的前景。
　　
　　3.數據存儲技術的發展和演進
　　
　　傳統企業信息化系統采用關系數據庫來進行數據存儲，其中規模較大的通常被稱為“數據集市”。隨著采集數據的種類越來越多，部分行業的公司看到了把不同數據集市集中到一個大系統中的價值，這個大系統稱為企業級數據倉庫，由專門的數據團隊（或稱為數據中心）負責集中式的數據管理和維護。
　　
　　隨著數據量的驚人增長，已經使用了20余年的傳統數據庫再也無法支撐起新的存儲需求了，所以被Google稱為BigTable和GFS的新型存儲技術在過去的幾年里被發明出來，并在行業中廣泛應用，這些技術通過自動調配上萬臺服務器協同工作，能完成高性能和高可靠的數據存儲任務，為大數據的運用鋪平了道路。