IoT Multimedia Platform and Advanced Applications

課程: 論文研討(三)
日期 : 2012/10/05
時間 : 13:50 ~ 15:30
學生 : 資傳研二 陳冠宏
演講者 : 陳俊良 教授

心得報告:

        物聯網(Internet of Things, IoT)簡單的說就是“物物相連的網際網路”（亦有人稱Machine to Machine, M2M），一般定義為：通過射頻識別技術(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備，按約定的協議，把任何物品與網際網路連接起來，進行信息交換和通訊，以實現智能化識別、定位、跟蹤、監控和管理的一種網路。

       從定義概念綜觀，應用前景令人不可思議，世界上的萬事萬物，小到手錶、鑰匙，大到汽車、建築，只要嵌入一個微型感應晶片，把它變得智能化，這個物體就可以“自動開口說話”，再藉助無線網路技術，人們就可以和物體“對話”，物體和物體之間也能“交流”，在電影的未來世界中，人不用身分證或是IC卡檢驗身分，而是用瞳孔掃描就知道你是誰；電腦裡面的資料，只要跟電腦說說話，它就會幫你找到最適合的答案；當喝著連鎖店香濃的咖啡，他就像管家一樣知道你的習慣，幫你挑選最喜歡的口味。這些想像的情節可以持續延伸相互牽連，曾經只在電影出現的事情，未來將真實地出現在生活中，而這種透過感應器、網際網路、雲端運算，來實現管理、監控、識別等的功能應用，就是物聯網，可以實現智慧地球的工具。

From Relational Databases to Distributed/Parallel Databases to cloud Databases

課程: 論文研討(一)

日期 : 2012/09/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 簡綺葳
演講者 : 陳良弼 教授

心得感想:

　　這次請到政治大學的教授 - 陳良弼教授(Arbee L.P. Chen)，討論議題主要是在描述資料庫的演進以及雲端資料庫的關聯性，從Relational Databases到平行式處理，再到分散式處理，最後到達Cloud Databases。雲端技術，雲端顧名思義就是在網路發達的時代，能夠利用網路連結到其他硬碟來運算，不需要倚靠自己本機的硬體設備。

　　也提到了Database Scalability 擴展性，當資料庫非常龐大的時候，則需要非常高的費用。並且需要適當的控制，保證數據資料庫的一致性。再來，也提到了NoSQL(Not only SQL)的技術，這是一種不同於傳統關聯式資料庫的管理系統，不只是SQL的意思，也就是說混用關聯式資料庫和NoSQL資料庫來達成最佳的儲存效果；目的是為了解決資料量太過於龐大的需求；只要增加機器數量就能擴充資料庫的容量；簡單說只要新增伺服器設備，就可以自動增加資料庫的容量，從管理角度來看，也可以減少長期維護資料庫的人力；打破Schema欄位架構的限制，NoSQL資料庫改用Key-Value資料模式來解決龐大資料的困難更動。Key-Value模式是將一筆資料的結構簡化到只有一個Key值對應到一個Value值，因為資料和資料之間沒有關聯性，因此可以任意切割或是更動調整；資料的一致性，NoSQL資料庫採用了CAP資料庫理論，CAP理論有三個關鍵，包括資料一致性(Consistent)、可用性(Availability)和中斷容忍性(Partition Tolerance)等；最後，NoSQL的缺點則是考慮到，資料庫本身的功能不夠完整，版本的穩定度也不是那個的良好；另外，因為NoSQL降低了維護的人力成本，但是相對地也必須提高自身人員的技術程度，以隨機應變。

From Relational Databases to Distributed/Parallel Databases to cloud Databases

課程: 論文研討(一)

日期 : 2012/09/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 林智偉
演講者 : 陳良弼

心得報告:
　　分散式資庫是存在不同電腦的同樣的實體位址，paralled Databases可以平行化的操作電腦，New Applications應用程式經由網路有potential的使用者，而且持續一整年，clouddatabase因為他的資料量龐大，所以必須在cloud ，至於SQL Database是很難去放大(scale)，NoSQL database是很容易去放大，database consistency資料庫必須要一致，Relational database 較難scale，transition to NoSQL須要denormalized,NoSQL跟傳統relational database是不一樣的，不止有relational的資料庫，還有資料庫以外的資料儲存模式。

　　NoSQL Driver舉例有facebook、google、twitter等，好處有可以scale到很大，低cost，和schema flexibility分類是屬於keyvalue，column，Document、Graph等大類，google's MapReduce非常受到歡迎，Big data使用了數以千計的cpu可以分散處理大量的計算，每一部電腦只須處理一小部分去做Maping，分散其工作量，每台電腦都處理完後在計算KeyValue出現的次數做加總，最後整合起來。．

　　他的缺點有limitquery capabilities,eventual cousiscency is not intuitive to programers Nostadardization。最後經過演講者的分類與清楚的講解後，對於這些不同總類的資料庫和其分別不同的特性有更深入的了解，在未來能夠更準確的知道自已須要的是哪種類型的資料庫，和其優點與缺點來在更進一步的延深利用。

From Relational Databases to Distributed/Parallel Databases to cloud Databases

課程: 論文研討(一)

日期 : 2012/09/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 王健任
演講者 : 陳良弼 教授

心得感想:


       一開始說明了傳統資料庫的運作原理讓大家回顧。對於一些非專精於此領域的人來說蠻有幫助。
       傳統資料庫對於網路上的海量資料(Big Data)已不敷使用，面對網路上須同時處裡的海量資料，傳統資料庫在處理上可能會因為需要保持資料的一致性，導致處理速度過慢。所以發展出NoSQL的資料庫。NoSQL=Not Only SQL的縮寫與傳統資料庫最大的分別是不使用SQL為查詢語言，且擴充性大，只需要補充一般電腦即可增加伺服器容量，而不必動用到大型伺服器。NoSQL的另外一個優點是資料可能分散存在不同的主機上，當需要時可以直接存取，不用排隊，因沒有鎖定的觀念，所以當需要更改時也可以直接更改。
       雲端技術的運用在未來將會非常的廣泛，現階段網路上產生的海量資料實在太多也太迅速，若是以傳統的方式建立主機和資料庫，其建設的速度可能跟不上資料的成長速度，若是使用雲端技術來建設，可串聯許多的電腦即時支援。不必受限在實體的主機上。離峰的時候也可以減少多餘的資源浪費。
        NoSQL雖然逐漸成為主流但傳統的SQL資料庫還是有它存在的必要性，在需要維持資料一致性運用像是銀行、政府機關等機構、一但資料庫的資料損毀或是不同步，往往會影響很多事。在NoSQL發展的同時，傳統SQL資料庫也需要發展一些新的技術來提升效能。

From Relational Databases to Distributed/Parallel Databases to cloud Databases

課程: 論文研討(一)

日期 : 2012/09/28

時間 : 13:50 ~ 15:30

學生 : 資傳研一 劉健興

演講者 : 陳良弼

    這次演講的重點主要在資料庫SQL的基本介紹和SQL逐漸轉換至NoSQL理由；SQL，全名是結構化查詢語言(Structured Query Language)，以人性化、簡單的指令為賣點，而資料庫的內容在修改時，有所謂資料庫內容正確性的問題，所以在不同的兩個地方資料庫內容時，需要做上鎖的動作以確保資料的正確性，這在處理銀行帳戶金額額這類的資料時特別重要，演講中還有提到另一個有關資料庫要注意的重點是資料庫的正規化，資料庫做過正規化的處理之後可以讓資料庫表格的處理更佳的方便且快速，但傳統的SQL資料庫放到現在資訊爆炸的時代，許多地方已經不符合使用者的需求，所以注重及時，擴增容易的NoSQL便漸漸地發展起來，NoSQL並不注重資料的同步，取而代之的是把即時更新的這項優點擺在第一位，在現在Social Network發展非常盛行的情況下，NoSQL的優勢就完全展現出來，NoSQL的全名為Not Only SQL，也就是說NoSQL並不是把SQL完全捨棄，而是把沒有必要做資料同步的地方做得更加及時，所以一個設計良好的平台可以同時達到資料安全且即時的優點，最後提到了分散式電腦的存取，利用多部電腦，分段同時處理同筆資料，處已完之後再做整合，以達到快速處理資料的效果。
    有關SQL資料庫的介紹在大學時修過一學期，在這次的演講中提到了一些當時上課所講的內容，讓我回想起當時蕭立人老師所講的，關於資料庫的重要概念，而有關NoSQL的部分，一線在網路上的資料流通速度和量來看，是一項必須的概念，能聽到有關NoSQL的內容讓我覺得這次的演講收穫不少。

From Relational Databases to Distributed/Parallel Databases to cloud Databases

課程: 論文研討(一)

日期 : 2012/09/28
時間 : 13:50 ~ 15:30
學生 : 資傳研一 劉孝皇
演講者 : 陳良弼
心得感想:
　　在今天的演講中最令我在意的是NoSQL，因為像Facebook以及Google等為了解決海量資料的存取問題而改用NoSQL來提升效能與擴充彈性，其中常見的NoSQL資料庫分為圖學資料庫(Graph Database)、文件導向的資料庫(Document-Oriented Database)、Key-Value Store分散式資料庫和記憶體快取為主的資料庫，而在解決海量資料時則可採取Key-Value將資料的結構簡化，另外每一筆資料之間沒有關連性，所以可以任意切割或調整，也可以分散到不同的伺服器中建立備份。 不過在使用Key-Value類型的資料庫時就可能發生資料衝突或遺失，因為Key-Value資料庫不像SQL具有交換(transaction)，所以當資料有異動時就可能發生衝突。
　　在網路上找了一下相關的解決方式，雖然有CAP理論，包括資料一致性(Consistent)、可用性(Availability)和中斷容忍性(Partition Tolerance)，然而理論上無法同時兼顧CAP這三種特性，所以NoSQL資料庫通常會選擇其中兩種特性來設計，通常是選擇CP或AP。 NoSQL資料庫會採取Eventually Consistency(資料遲早會一致)的作法，因為NoSQL的分散式設計會將資料分散複製到不同節點中，每個節點各自也能異動資料，然後再彼此同步。
　　Key-Value資料庫是NoSQL中最常見的類型，這類資料最大的特色就是採用Key-Value資料架構，取消了原本關聯式資料庫中常用的欄位架構(Schema)，每筆資料各自獨立，所以可以打造出分散式和高擴充能力的特性。 包括像Google的BigTable、Hadoop的HBase等都是這類型的資料庫，而且Facebook在2008年釋出的分散式資料庫Cassandra可儲存高達120TB的站內信箱(inbox)資料，盡管現在NoSQL還不是很完全，但想必以後會是NoSQL的天下。