顯示具有 2012/12/28 標籤的文章。 顯示所有文章
顯示具有 2012/12/28 標籤的文章。 顯示所有文章

2013年1月16日 星期三

海量資料:行動運算的最後一塊拼圖

課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 吳尚鴻
演講者 : 國網中心 王耀聰
 
心得感想:
隨著科技的發展,以及網路的速度越來越快,資料的流動越來越頻繁了。由於網路型態的改變,使得雲端運算這個概念被提了出來,一些網路的龍頭,例如:Google,也極力的在推廣一些雲端的服務,想要拓展雲端的發展。而在雲端大量的資料存取以及計算下,也產生了一個新的專有名詞-海量資料。
 
由於資料量從以前的KB、MB、GB變成現在TB,甚至是ZB,資料是以前的數萬倍。這是因為雲端提供了每個使用者的存取,讓資料的流量積少成多形成海量資料,當然要處理這麼大量的資料,就是行動運之後要面臨的挑戰了。
 
當然海量資料要做資料的探勘是有些困難的,尤其資料量眾多,又要在短時間內找到特定資料的情況下,但只要能夠對海量資料做適當的分析,也可以從資料中找到些有趣的結果,例如:會使用系統的使用者的職業,年齡...等等,我認為在未來,能夠分析海量資料的人才是市場上不可或缺的。

海量資料:行動運算的最後一塊拼圖

課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 楊鈞浩
演講者 : 國網中心 王耀聰







海量資料的處理,最早的技術是網格運算,網格運算成立當時,電腦的成本還是相當的昂貴,所以,學術研究人士透過Internet串連數其它志願者的電腦,進行了第一次的雲端運算,而如何讓大量的資料以智慧化的方式服務人類是重要課題,而雲端的處理過程就是其中一項,把資料存在於雲端上方便使用者的存取,而他的趨勢也是跟著硬體在演化的。

2013年1月14日 星期一

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 朱宏昇
演講者 : 國網中心 王耀聰

心得報告:

 這次的主題是關於”海量資料”依IBM對於海量資料的定義是: 我們每天建立 2.5 百萬兆位元組的資料 — 數量之多,光是過去兩年所建立的資料就佔當今世界總量的 90%。 這些資料來源廣泛, 像是用於搜集氣候資訊的感應器、社交媒體網站的貼文、數位圖片與影像、採購交易記錄以及行動電話 GPS 訊號等,不一而足, 這類的資料就是 海量資料。

 而在未來我們必須面對的就是好好處理這些大量的資料,其提出的控管方式有: 數量控管、權限控管、品質控管。

 而和海量資料息息相關的辨識雲端運算,在雲端的發展趨勢下及可隨時隨地的控管並存取我們的資料,其發展在未來必定相輔相成。

海量資料:行動運算的最後一塊拼圖 From WSN to Mobile Computing, Big Data: The Missing Pussle


課程:論文研討(三)

日期:2012/12/28
時間:13:50 ~ 15:30

學生:資傳研二 張焜翔

演講者:國網中心 王耀聰
心得感想:


行動運算的快速興起,已成為驅動產業發展的重要動能。相較於Mac/Windows PC花了八年才達到2000萬台出貨量的里程碑,iOS和Android裝置卻只花了兩年就達到這個目標。隨著行動上網的應用與功能日益多元,消費者需要行動裝置能支援多工作業與Flash技術,提供快速上網、觀賞電影、玩遊戲、存取各種內容等多種用途。
隨著超級手機和平板電腦的行動運算趨勢興起,消費者將更依賴透過雲端存取資料與應用程式。未來5到10年,許多消費者將完全捨棄使用實體的CD/DVD,甚至是硬碟。取而代之的是,隨時將所需內容串流至終端裝置。在YouTube上看影片就是最好的例子。在雲端環境中,對運算的需求更高,不僅終端裝置需要處理壓縮和解碼等作業,伺服器也需要提升效能才能處理雲端應用的需求,特別是處理繪圖運算的應用。


海量資料:行動運算的最後一塊拼圖

課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 邱文祥
演講者 : 國網中心 王耀聰

前電子產品「智慧化」已成為趨勢,因此許多資料都須經過處理之後進行預測才能達到智慧化,所以資料分析就是最後一塊拼圖,令裝置智慧化的重要步驟。

海量資料(Big Data)【稱為巨量資料或大數據】指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊 [1, 2] 。根據 IBM 的說明 [3] ,海量資料有四個特性,亦稱為海量資料 4V ,亦即資料量龐「大」(Volume)、變化飛「快」(Velocity),種類繁「雜」(Variety),以及真偽存「疑」(Veracity)。換言之,海量資料其實就是資料(Data),只是處於現在資訊網路時代,這些資料特性變的又多、又快、又雜,又真偽難分。
海量資料分析的重要性與運用這些海量資料所帶來的效益息息相關。根據 IBM 的介紹 [3] ,效益至少包括能夠更有智慧的管理、能夠更有智慧的工作、能夠提升生活品質,及能夠迎合消費者喜好。換言之,海量資料的運用創造個人與公司的價值,同時改善人類的生活。

海量資料:行動運算的最後一塊拼圖


海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 鐘文章
演講者 : 國網中心 王耀聰

心得:在這資訊發達的世代,人們一天所建立的資料量是大到讓你無法想像的,而資料的來源相當廣泛,例如文字,照片、語音等等,都算是資料的來源,而要如何能有效的處理這些龐大的資料量,則就要依賴一些雲端中心,而這些龐大的資料量又被稱作為海量資料

海量資料含括三種層面: 巨量、即時性及多樣性。 

巨量 – 海量資料的特色就在於: 龐大。 企業資料包羅萬端,很容易便達到數兆位元組,甚至千兆位元組之譜。 即時性 – 海量資料通常具有時效性,一旦串流至企業便須立即使用,方能發揮其最大價值。 多樣性 – 海量資料的範疇不僅止於結構化資料,還包含各類非結構化的資料: 諸如文字、音訊、視訊、點擊串流 (click stream)、日誌檔等等。

最後,主要誰能有效的利用這些海量資料,誰就能成為下一個比爾蓋茲。


海量資料:行動運算的最後一塊拼圖

課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 辛彥德
演講者 : 國網中心 王耀聰

處理海量資料首要為資料整合,將這些跨系統的資料庫轉換成資料倉儲,才能進行資料分析。而三種服務模式所對應的技術為虛擬化技術、資料分析及網頁服務,內涵分別為儲存虛擬化/備援與加密、資料整合/資料探勘、提供API介面/分散式資料庫。
目前電子產品「智慧化」已成為趨勢,因此許多資料都須經過處理之後進行預測才能達到智慧化,所以資料分析就是最後一塊拼圖,令裝置智慧化的重要步驟。整個演講是圍繞著下圖進行介紹,內容包括雲端的起源、趨勢、定義與應用等方面。演講者無介紹太多雲端技術,而是著重在雲端服務上,雲端運算是必須隨時隨地使用任何裝置可存取各種服務,因此以商機而言是在「雲」資料中心提供服務方面。演講者以說故事的方式介紹雲端,雖然可以讓人容易了解他所要傳達的資訊,但資料過多令人無法吸收。

2013年1月13日 星期日

1228

課程: 論文研討(一)

日期 : 2012/12/28

時間 : 13:50 ~ 15:30

學生 : 資傳研一 何秉叡

演講者 : 國網中心 王耀聰
 
海量資料相關的熱門工作包含資料探勘、資料視覺化、資料分析、資料操控及資料鑑識,分別應用在搜尋引擎、將資料用圖說故事、商業智慧、與法律結合的數位鑑識;未來處理海量工作的人必須了解SMAQ (storage、MapReduce及Query),全球多數使用的是自由軟體Hadoop,因使用者規模夠大,可以建構出豐富的海量資料工具庫,目前Yahoo、Facebook、微軟及Oracle等企業皆有使用,因此未來可利用Hadoop建構企業專屬的資料倉儲、商業智慧分析及搜尋引擎。
    最後聽了這麼多雲端資料處理的資訊,如果未來各個領域如果能使用到雲端這塊的技術,應該能夠大幅提升各領域的技術與使用。

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 陳玉霖
演講者 : 海洋大學資訊工程學系 張欽圳



海量資料是什麼?
海量資料含括三種層面: 巨量、即時性及多樣性。
巨量 – 海量資料的特色就在於: 龐大。 企業資料包羅萬端,很容易便達到數兆位元組,甚至千兆位元組之譜。
即時性 – 海量資料通常具有時效性,一旦串流至企業便須立即使用,方能發揮其最大價值。
多樣性 – 海量資料的範疇不僅止於結構化資料,還包含各類非結構化的資料: 諸如文字、音訊、視訊、點擊串流 (click stream)、日誌檔等等。引用來源-IBM

面對排山倒海而來的海量資料,企業要轉化成大智慧,帶來更深入的洞察能力、做出更準確的決策分析,台灣微軟認為,要掌握資料庫系統高可用性(High Availability)、商業智慧(Business Intelligent)及與雲端整合三大優勢,才能協助企業將散落在雲端及專屬系統、各式各樣的海量資料,迅速轉化為能實際運用的分析資訊與市場洞察力,克服海量資料帶來的挑戰。





2013年1月12日 星期六

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 劉浩瑋
演講者 : 國網中心 王耀聰

心得:
海量資料一詞出現於資料探勘的領域
海量資料含括六個維度:
1.      資料複雜度Complexity
2.      資料驗證Validation
3.      資料族系Lineage
4.      資料多樣性Variety
5.      資料數量 Volume
6.      資料增加率Velocity

三個特性:
1.      巨量 – 海量資料的特色就在於: 龐大。 企業資料包羅萬端,很容易便達到數兆位元組(TB),甚至千兆位元組(PB)之譜。 
2.      即時性 – 海量資料通常具有時效性,一旦串流至企業便須立即使用,方能發揮其最大價值。
3.      多樣性 – 海量資料的範疇不僅止於結構化資料,還包含各類非結構化的資料: 諸如文字、音訊、視訊、點擊串流 (click stream)、日誌檔等等。

當雲端可以乘載這些資料的同時,這些以往不被關注的資料,可以被整理出來滿足各式各樣的目的,十分具有商業價值。

海量資料:行動運算的最後一塊拼圖

海量資料:行動運算的最後一塊拼圖

課程: 論文研討(一)


日期 : 2012/12/28

時間 : 13:50 ~ 15:30

學生 : 資傳研一 周書暐

演講者 : 國網中心 王耀聰





2007年,IDC預估

2010年會成長六倍!

(相較2006年)

2006 161 EB

2010 988 EB (預測)


2006 161 EB

2007 281 EB

2008 487 EB

2009 800 EB (0.8 ZB)

2010 988 EB (預測)

2010 1200 EB (1.2 ZB)

2011 1773 EB (預測)

2011 1800 EB (1.8 ZB)

海量資料泛指單一資料集大小介於數十TB至數PB的資料。

多個檔案,容量10TB 一個資料庫,容量10TB 一個檔案,容量10TB


海量資料的六個維度

1.資料複雜度Complexity

2.資料驗證Validation

3.資料族系Lineage

4.資料多樣性Variety

5.資料數量 Volume

6.資料增加率Velocity


用雲掌握資料,加以分析,形成智能給端用

雲端設計新思維:端的智能來自於雲的服務


總觀來講,現代社會的資料量大幅暴增,資料儲存技術以及運算技術也大幅增高,世界超級電腦泰坦也出現,雲端服務的快速收尋與超大量資料庫確切著反映著現代社會的變遷,從以往的3.5磁片到現在的10TB外接式硬碟。

    在接下來的日子裡,如何處理應用規劃管理這些海量資料,會是一個很重要的課題,所以正如同講師所說,資管現在或許大有前途,但總歸一句話,你想得出來就是你的,想不出來在大塊的餅,你也只吃的到芝麻。

2013年1月11日 星期五

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 蕭維廷
演講者 : 國網中心 王耀聰

我們每天建立 2.5 百萬兆位元組的資料 — 數量之多,光是過去兩年所建立的資料就佔當今世界總量的 90%。 這些資料來源廣泛, 像是用於蒐集氣候資訊的感應器、社交媒體網站的貼文、數位圖片與影像、採購交易記錄以及行動電話 GPS 訊號等,不一而足, 這類的資料就是 海量資料。

海量資料含括三種層面: 巨量、即時性及多樣性。 
巨量 – 海量資料的特色就在於: 龐大。 企業資料包羅萬端,很容易便達到數兆位元組,甚至千兆位元組之譜。 
即時性 – 海量資料通常具有時效性,一旦串流至企業便須立即使用,方能發揮其最大價值。 
多樣性 – 海量資料的範疇不僅止於結構化資料,還包含各類非結構化的資料: 諸如文字、音訊、視訊、點擊串流 (click stream)、日誌檔等等。

未來物聯網會產生海量資料,並儲存於雲端的資料中心,透過分析技術來提供行動服務。因此海量資料不只是一項挑戰, 更是絕佳的機會,使企業運作更加靈敏並為過往所無法企及的問題提供解答。

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 林智偉
演講者 : 國網中心 王耀聰

1. 海量資料的定義與內涵
    海量資料為單一資料集,大小介於數十TB至數PB的資料,資料大小已無法用一般軟體來處理,因此海量資料模型強調如何管理資料數量(Volume)、資料增加率(Velocity)與資料多樣性(Variety)。Gartner曾提出資料管理的12維度,歸類為三個向度:

(1)數量控管:Velocity、Volume、Variety、Complexity
(2)權限控管:Classification、Contracts、Technology、Pervasive Use 
(3)品質控管:Perishability、Fidelity、Validation、Linking。海量資料只是終極資訊管理的開端,前述的三個向度都是未來資訊管理系統必須考量的要求。

2.海量資料趨勢
    軟體發展勢必走向智能化,資料(data)經由整理變成知識(Knowledge),知識分析形成智能(Wisdom),以政府來講,這幾年提倡的愛台12項建設, 從e-Taiwan、M-Taiwan、U-Taiwan到「智慧台灣」,台灣軟體發展也是依循這樣的趨勢;雲端運算的智慧來自於群眾的智慧,雲端時代不應只著墨在裝置端,而是要聚焦在那朵雲,掌握及分析雲端資料,形成智能在裝置端使用,套用知識管理模型來看,資料經由整理、轉換、分析,人工智慧應是由經驗值推論,才能提供最好的決策。


3. 海量資料相關技術
    雲端運算的三種服務模式包含Lass (基礎建設,如Amazon.com) 、Pass (分析平台,如Google App Engine)、Sass(智慧服務)。在企業雲端的規劃上,台灣因中小企業特別多,通常企業會先計算出需求的平均值,建置自有的私有雲,超出平均值的部份再租賃公有雲,形成所謂的混合雲(Hybrid Cloud)。未來資訊人員需要管理的資管系統,不僅限於企業內部,而是包含產業上下游相關的部份 。


4.因應策略與成功關鍵
    海量資料首要為資料整合,將這些跨系統的資料庫轉換成資料倉儲,才能進行資料分析。而三種服務模式所對應的技術為虛擬化技術、資料分析及網頁服務,內涵分別為儲存虛擬化/備援與加密、資料整合/資料探勘、提供API介面/分散式資料庫。




    與海量資料相關的熱門工作包含資料探勘、資料視覺化、資料分析、資料操控及資料鑑識,分別應用在搜尋引擎、將資料用圖說故事、商業智慧、與法律結合的數位鑑識;未來處理海量工作的人必須了解SMAQ (storage、MapReduce及Query),全球多數使用的是自由軟體Hadoop,因使用者規模夠大,可以建構出豐富的海量資料工具庫,目前Yahoo、Facebook、微軟及Oracle等企業皆有使用,因此未來可利用Hadoop建構企業專屬的資料倉儲、商業智慧分析及搜尋引擎。

    最後聽了這麼多雲端資料處理的資訊,如果未來各個領域如果能使用到雲端這塊的技術,應該能夠大幅提升各領域的技術與使用。

2013年1月10日 星期四

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 劉孝皇
演講者 : 國網中心 王耀聰
心得報告:
這次演講介紹海量資料的內涵、趨勢、相關挑戰與因應對策。海量資料為單一資料集,大小介於數十TB至數PB的資料,資料大小已無法用一般軟體來處理,因此海量資料模型強調如何管理資料數量(Volume)、資料增加率(Velocity)與資料多樣性(Variety)。Gartner曾提出資料管理的12維度,歸類為三個向度:(1)數量控管:Velocity、Volume、Variety、Complexity,(2)權限控管:Classification、Contracts、Technology、Pervasive Use ,(3)品質控管:Perishability、Fidelity、Validation、Linking。海量資料只是終極資訊管理的開端,前述的三個向度都是未來資訊管理系統必須考量的要求。在趨勢上軟體發展必走向智能化,資料(data)經由整理變成知識(Knowledge),知識分析形成智能(Wisdom),以政府來講,這幾年提倡的愛台12項建設, 從e-Taiwan、M-Taiwan、U-Taiwan到「智慧台灣」,台灣軟體發展也是依循這樣的趨勢;雲端運算的智慧來自於群眾的智慧,雲端時代不應只著墨在裝置端,而是要聚焦在那朵雲,掌握及分析雲端資料,形成智能在裝置端使用,套用知識管理模型來看,資料經由整理、轉換、分析,人工智慧應是由經驗值推論,才能提供最好的決策。雲端運算的三種服務模式包含Lass 、Pass和Sass。在規劃上台灣因中小企業特別多,通常企業會先計算出需求的平均值,建置自有的私有雲,超出平均值的部份再租賃公有雲,形成所謂的混合雲(Hybrid Cloud)。
處理海量資料首要為資料整合,將這些跨系統的資料庫轉換成資料倉儲,才能進行資料分析。而三種服務模式所對應的技術為虛擬化技術、資料分析及網頁服務,內涵分別為儲存虛擬化/備援與加密、資料整合/資料探勘、提供API介面/分散式資料庫。
未來處理海量工作的人必須了解SMAQ (storage、MapReduce及Query),全球多數使用的是自由軟體Hadoop,因使用者規模夠大,可以建構出豐富的海量資料工具庫,目前Yahoo、Facebook、微軟及Oracle等企業皆有使用,因此未來可利用Hadoop建構企業專屬的資料倉儲、商業智慧分析及搜尋引擎。

2013年1月4日 星期五

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 陳怡安
演講者 : 國網中心 王耀聰

說書人講故事

由於行動裝置與電腦運算能力日新月異,因此隨時隨地即可透過網路取得服務的雲端運算概念就強大起來了
因此建立了巨大的雲端運算產業,由個人行動裝置APP到大架構的硬體管理系統,包山包海包尿布

同時,透過大量數據推斷雲端產業的未來前景 - 大美滿

海量資料:行動運算的最後一塊拼圖

課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 王健任
演講者 : 國網中心 王耀聰

目前來說各種家電的網路化及數位化的數度越來越快,相信很快的家中所有的物體都可以經由網路來控制,由於未來所有東西幾乎都可以連上網路,目前的IP已經不夠使用,所以啟用了IPV6,面對如此龐大數量的裝置,必然會產生龐大的資料,所以未來這方面的人才將會非常的搶手,未來處理海量工作的人必須了解SMAQ ,其中代表性的軟體為Hadoop,因為使用者規模夠大,可以建構出豐富的海量資料工具庫。
只要想得出方法有效的使用與管理海量資料,這將會帶來很大的商機

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(一)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一  李金龍
演講者 : 國網中心 王耀聰

心得感想:
演講主要再敘述未來的雲端行動運算中,還有一塊區域是未完善的,從物聯網的崛起、雲端運算、雲端海量的資料、智慧城市應用等等,以資料本身的視角去說明,由物聯網->雲端資料服務中心->開放資料Open Data->Big Data->各類終端設備,在這整個過程中有一塊區域就是Big Data,它的問題會由於越來越多的使用者而產生,根據趨勢使用的空間容量已經成幾何的成長,這個問題也越凸顯出來。















圖片來源: 演講者公開的投影片

2013年1月1日 星期二

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 溫千力
演講者 : 國網中心 王耀聰

心得報告:

目前電子產品「智慧化」已成為趨勢,因此許多資料都須經過處理之後進行預測才能達到智慧化,所以資料分析就是最後一塊拼圖,令裝置智慧化的重要步驟。整個演講是圍繞著下圖進行介紹,內容包括雲端的起源、趨勢、定義與應用等方面。演講者無介紹太多雲端技術,而是著重在雲端服務上,雲端運算是必須隨時隨地使用任何裝置可存取各種服務,因此以商機而言是在「雲」資料中心提供服務方面。演講者以說故事的方式介紹雲端,雖然可以讓人容易了解他所要傳達的資訊,但資料過多令人無法吸收。

2012年12月30日 星期日

海量資料:行動運算的最後一塊拼圖 From WSN to Mobile Computing, Big Data: The Missing Pussle


課程:論文研討(三)
日期:2012/12/28
時間:13:50 ~ 15:30
學生:資傳研二 葉怡婷
演講者:國網中心 王耀聰

心得感想:
雲端運算並不是一項全新的技術,而是一個概念,因著人類所屬的環境資料大量數位化,而造成今日的海量資料,過去電腦的計算和儲存方式,已經無法負荷這樣的情況,因此各國開始推展雲端的概念,並實行於現實中。而雖然現在發展得尚未成熟,但已經可以看到許多改變和趨勢,例如:物聯網的時代來臨、智慧電網的新政策、搜尋關鍵字的熱門度、開放資料的新趨勢。
雲端的重點也不在於技術,而是在商業模式的改變。過去的商業模是習慣軟硬體的買斷以及定點服務,但雲端時代開始則以租賃及行動服務為導向。所以可以知道,雲端是可以隨時隨地使用任何具網路功能的裝置存取各種服務,所以資源是共享的,也可快速的重新部屬,但同時也是一種可被監控和測量的服務。所以,以雲端來說,服務就是他的本質。而這些雲端的提供者,除了有工用雲端、司有雲端、還有社群雲端,服務的對象分別針對中小企業、大型企業以及學術。
所以從上述可知,雲端關鍵的驅動力有三個:1. 因應全球資料爆炸,資料網雲端擺放可試圖解決這個問題。2. 隨時提供個人所需的行動服務。3. 降低企業的經營成本,以租另取代買斷,動態隨需付費。這三個關鍵的驅動力,使得雲端運算成為必然的趨勢。
然而我個人比較好奇的是如何管理海量資料?講者今天的演講回答了我的這個問題:海量的資料挑戰在於如何管理「數量」、「增加率」與「多樣性」。目前資料的數量已經是從TB開始起跳,到PB、EB,可見資料量的龐大。而資料的增加率則可分為批次作業和即時作業。至於資料的多樣性就得靠結構化、半結構化、非結構化資料來區分。以這三種角度來管理海量的資料,使得存放海量資料便不再是夢想。
自從雲端的概念被推出之後,就被非常熱絡的使用,近來系上也請了不少講者、教授來建立我們對雲端的概念,但可以發現都是瑣碎、零散的,然而這次的講者帶來了非常完整的雲端概念,從硬體介紹,到重點的海量資料運算,到現實的應用情況,將我們過去學到的概念全部融會貫通。但也由於這次帶來的資料非常得豐富,一次聽完還真的是有點吃力,可以的話,我會希望這次的演講能夠分成兩次,然後再作更深入的介紹,或許會有更好的成效。

2012年12月28日 星期五

海量資料:行動運算的最後一塊拼圖


課程: 論文研討(三)
日期 : 2012/12/28
時間 : 13:50 ~ 15:30
學生 : 資傳研二 陳冠宏
演講者 : 國網中心 王耀聰

心得報告:

        JAZZ是網路名人,在hadoop的領域裡面享有很高的名譽,今天為我們演講的題目既深又廣,深入淺出,詳細地說道雲端的開始和台灣目前缺少的部分到世界雲端的走向。JAZZ在分析之後說到目前我們台灣最缺乏的部分就是Software as a Service (SaaS) 軟體雲端服務 的供應商,所以題目才會訂為→海量資料:行動運算的最後一塊拼圖。

I. Software as a Service (SaaS) 軟體雲端服務

該服務主要提供消費者能使用服務商運行在雲端基礎設施上的應用程式服務。消費者可透過各種客戶端設備透過WEB瀏覽器等來連線使用。就「軟體即服務」而言,供應者安裝、管理及維護軟體,供應者不一定擁有軟體運作所需的實體基礎架構,消費者均無法接觸基礎架構,只能使用應用程式。

II. Platform as a Service (PaaS) 平台雲端服務

 PaaS用來提供給消費者在雲端基礎設施上部署消費者自行建立或採購的應用程式服務,這些應用程式服務主要使用雲端供應商所支援的開發語言或開發工具來開發。就「平台即服務」而言,供應者為平台管理雲端基礎架構(通常為特定應用程式類型的基礎架構),消費者的應用程式無法觸及平台背後基礎架構。

III. Infrastructure as a Service (IaaS) 架構雲端服務

IaaS則是提供了處理、儲存、網路以及其他雲端基礎設施的計算資源給用戶,藉以讓消費者自行部署或運行自己的軟體與服務,包含作業系統或應用程式等。就此模式而言,供應者維護儲存空間、資料庫、訊息佇列或其他中介軟體,或是虛擬機器所在的主機環境,消費者使用時,將服務當成硬碟、資料庫、訊息佇列或機器,但無法觸及其管理基礎架構。