Introduction to Distance Metric Learning

課程: 論文研討(三)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研二 楊鈞浩

演講者 : 海洋大學資訊工程學系 張欽圳

 資料探勘是一種資料分析技術，儘管提供了資料多維度分析和決策輔助的功能，但我們需要在現存的大量資料中進行更深一層的分析，將這些資料轉換成有用的資訊和知識，資料探勘的出現就是為了滿足這樣的需求，是近幾年來相當熱門的一個研究領域。資料探勘已有一些成熟的技術並運用在各種不同的應用上，例如銷售管理、生產控制、市場行銷分析等。

資料的相似度測量，可以先將資料量化，並且用不同的測量方式，測量資料彼此間的距離，如果越近就代表資料越相似，如果越遠就代表資料的差異性大。簡單的說就是把『相似』的的東西找出來,介以用來分析一些東西。

Introduction to Distance Metric Learning

課程: 論文研討(三)
日期 : 2012/12/21
時間 : 13:50 ~ 15:30
學生 : 資傳研二 劉浩瑋
演講者 : 海洋大學資訊工程學系 張欽圳

心得：

距離度量演算法
無論是分群還是分類都會利用到距離度量
讓電腦從大量分類或分群好的資料中去學習距離的定義
當新資料加入時可以利用學習出的距離定義將資料進行正確的分類或分群
機器學習理論主要是設計和分析一些讓計算機可以自型學習的演算法
根據根據不同的資料，可以使用不同的測量方式
透過各種函式運算讓機器進行訓練距離測度學習
讓辨識變的更加準確
而這項技術可以放在人臉識別、物體識別、音樂的相似性、手寫識別的應用上

算臉的相似度來辨識喔喔喔~~~!!!

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 朱宏昇

演講者 : 海洋大學資訊工程學系 張欽圳

心得報告:

　今天的主題我想應該是與影像處理較有關係，演講者提到的是距離測度學習。主要是在說根據不同的資料，所以必須使用不同的測量方式。透過各種函式運算讓機器進行訓練距離測度學習，讓辨識變的更加準確。而這項技術可以應用在人臉識別、物體識別、音樂的相似性、手寫識別等領域。

Introduction to Distance Metric Learning

課程: 論文研討(三)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研二 張焜翔

演講者 : 海洋大學資訊工程學系 張欽圳

心得報告：

在機器學習演算法中，無論是分群還是分類，幾乎都會利用距離(Distance metric)作為判斷依據，讓電腦從大量分類或分群好的資料中去學習距離的定義，當新資料加入時可以利用學習出的距離定義將資料進行正確的分類或分群，機器學習是近20多年興起的一門多領域交叉學科，涉及機率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。機器學習理論主要是設計和分析一些讓計算機可以自動「學習」的演算法。機器學習演算法是一類從數據中自動分析獲得規律，並利用規律對未知數據進行預測的演算法。因為學習演算法中涉及了大量的統計學理論，機器學習與統計推斷學聯繫尤為密切，也被稱為統計學習理論。演算法設計方面，機器學習理論關注可以實現的，行之有效的學習演算法。很多推論問題屬於無程序可循難度，所以部分的機器學習研究是開發容易處理的近似演算法。

Maedche & Staab （2001） 針對本體論學習提出一個四階段架構，如上圖所示。第一階段為「引進與再利用」（import and reuse），主要是針對已經存在的本體論進行結構合併或定義映對（mapping）的規則，例如定義出本體的分類規則；第二階段是「萃取」（extract），利用Web的資源支援本體論的學習，進而建構出目標本體論的初步架構，例如根據本體的分類規則進行分類；第三階段是「修整」（prune），針對前兩階段結果進行目標本體論的修正，例如針對分類結果之確認分類架構之合適性並進行修正；第四階段則是「精練」（refine），使修正過的目標本體論更精細與目標主體更適配，例如針對修正過的分類架構建構更準確的分類結果。

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 邱文祥

演講者 : 海洋大學資訊工程學系 張欽圳

資料分群（data clustering）或是分群演算法（clustering algorithms）是一種將資料分類成群的方法，其主要的目的乃在於找出資料中較相似的幾個群聚（clusters），並找出各個群聚的代表點，稱為中心點（centroids）或是原型（prototypes）。使用這些中心點來代表原先大量的資料點，就可以達到兩個基本目標：

• 降低計算量
• 資料壓縮

一般而言，分群法可以大致歸為兩大類：

• 階層式分群法（hierarchical clustering）：群數（number of clusters）可以由大變小，或是由小變大，來進群聚的合併或分裂，最後再選取最佳的群數。
• 分割式分群法（partitional clustering）：先指定群數後，再用一套疊代的數學運算法，找出最佳的分群方式以及相關的群中心。

所有的分群法都有相似的流程，大略可歸納為下列三點：

1. 收集資料
2. 使用某種方法進行分群
3. 測試分群結果
4. 檢測分群結果，如果未達預期效果，則回到步驟二，再一次進行分群

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 鐘文章

演講者 : 海洋大學資訊工程學系 張欽圳

心得:

這次演講主要是讓我們了解一些分類的演算法，利用距離的方式，去判斷彼此間的相似程度或相關性，假設兩之間距離愈小，則表示這兩者可能有較高的相似程度，反之則表示較無相關性或相似度，主要常見的方法有歐氏距離、曼哈頓距離與馬氏距離等。

而我們一般較常使用的則有KNN、SVM或RBF這幾個演算法，但這些主要也都是由距離作為依據，因此在未來的研究方法中，假如要使用到分類，可以將這些方法做為參考，選出一個較適合自己研究的分類法做為分類技術。

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 辛彥德

演講者 : 海洋大學資訊工程學系 張欽圳

根據資料性質的不同，必須此用不同的距離量測方式。當觀察值彼此間的距離值愈小，則表示兩個觀察體在某方面的相似性程度愈高，反之則表示相似性程度愈低。例如：資料集是屬於二元變數資料時，若將資料以連續型的資料來計算距離矩陣並不適當，必須依據各觀察值是否具有變數所定義的屬性來衡量觀察值間的相似程度，以利進行集群分析。資料相似度的比對在很多方面上都有所運用，像是影像辨識，物體辨識，簽名辨識等。希望未來能發展得更好。

1221

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 何秉叡

演講者 : 海洋大學資訊工程學系 張欽圳

在微分幾何中，單詞「度量」也用來稱呼只定義在向量空間上一種結構，它的更適合的術語是度量張量（或黎曼度量或偽黎曼度量）。距離測度即衡量多個樣本之間距離的大小，最常見的是度量空間中的歐氏距離、曼哈頓距離等。但是對於其他類型的多維度數據，由於每個維度的貢獻程度不同、提取維度的量綱有差異等原因，就需要依據數據的特性，採用維度的旋轉等方式來較為準確的表示各自的距離。

    這些條件表達了關於距離概念的直覺想法。例如，在獨特點之間的距離是正數的並且從 x 到 y 的距離同於從 y 到 x 的距離。三角不等式意味著在 x 和 z 之間的距離不大於從 x 到 y 接著從 y 到 z 的距離。歐幾里得在他的著作中聲稱在兩點之間最短距離是直線；這是他的幾何中的三角不等式。

Introduction to Distance Metric Learning

Introduction to Distance Metric Learning

課程: 論文研討(一)
日期 : 2012/12/21
時間 : 13:50 ~ 15:30
學生 : 資傳研一 周書暐
演講者 : 海洋大學資訊工程學系 張欽圳

       

　　已有單類分類算法通常採用歐氏測度描述樣本間相似關係，然而歐氏測度有時難以較好地反映一些數據集樣本的內在分佈結構，為此提出一種用於改善單類分類器描述性能的高維空間單類數據距離測度學習算法，與已有距離測度學習算法相比，該算法只需提供目標類數據，通過引入樣本先驗分佈正則化項和L1範數懲罰的距離測度稀疏性約束，能有效解決高維空間小樣本情況下的單類數據距離測度學習問題，並通過採用分塊協調下降算法高效的解決距離測度學習的優化問題。學習得到的距離測度能容易地嵌入到單類分類器中，仿真實驗結果表明採用學習得到的距離測度能有效改善單類分類器的描述性能，特別能夠改善覆蓋分類的描述能力，從而使得單類分類器具有更強的推廣能力。

        現有一類分類算法通常採用經典歐氏測度描述樣本間相似關係，然而歐氏測度不能較好地反映一些數據集樣本的內在分佈結構，從而影響這些方法對數據的描述能力，提出一種用於改善一類分類器描述性能的高維空間一類數據距離測度學習算法，與已有距離測度學習算法相比，該算法只需提供目標類數據，通過引入樣本先驗分佈正則化項和L1範數懲罰的距離測度稀疏性約束，能有效解決高維空間小樣本情況下的一類數據距離測度學習問題，並通過採用分塊協調下降算法高效的解決距離測度學習的優化問題。學習的距離測度能容易的嵌入到一類分類器中，仿真實驗結果表明採用學習的距離測度能有效改善一類分類器的描述性能,特別能夠改善SVDD的描述能力，從而使得一類分類器具有更強的推廣能力。

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 林智偉

演講者 : 海洋大學資訊工程學系 張欽圳

心得:

    今天的演講者是來自海洋大學資工系的張欽圳老師以距離測度學習（distance metric learning）為主題，會偵對度量這方面的應用方向、發展狀況等做了詳細的介紹。

在數學中，度量（度規）或距離函數是定義在集合的元素之間的距離的函數。帶有度量的集合叫做度量空間。

    度量引發在集合上的拓撲但不是所有拓撲都可以由度量生成。當一個拓撲空間有可以由度量來描述的拓撲的時候，我們稱這個拓撲空間為可度量化的。

    在微分幾何中，單詞「度量」也用來稱呼只定義在向量空間上一種結構，它的更適合的術語是度量張量（或黎曼度量或偽黎曼度量）。距離測度即衡量多個樣本之間距離的大小，最常見的是度量空間中的歐氏距離、曼哈頓距離等。但是對於其他類型的多維度數據，由於每個維度的貢獻程度不同、提取維度的量綱有差異等原因，就需要依據數據的特性，採用維度的旋轉等方式來較為準確的表示各自的距離。

    這些條件表達了關於距離概念的直覺想法。例如，在獨特點之間的距離是正數的並且從 x 到 y 的距離同於從 y 到 x 的距離。三角不等式意味著在 x 和 z 之間的距離不大於從 x 到 y 接著從 y 到 z 的距離。歐幾里得在他的著作中聲稱在兩點之間最短距離是直線；這是他的幾何中的三角不等式。

    在微分幾何中，考慮度量張量，它可以被認為是「無窮小」度量函數。它們被定義為在切空間上的內積，帶有適當的可微性要求。儘管它們不是本文定義的度量函數，它們通過不定積分引發度量函數。帶有度量張量的流形叫做黎曼流形。如果去掉內積空間的的正定性要求，則得到偽黎曼度量張量，它積分為偽半度量。它們用於相對論的幾何研究中，這裡的張量也叫做「不變距離」。

    透過這些分群或分類的演算法，可以讓機器學習，透過Distance metric距離大小讓分群或分類更精準，並且可以過權重分配的方式讓此演算法更準確。

 在應用方面，距離測度可以被使用在人臉識別、物體識別、音樂的相似性、手寫識別等領域。此外，在很多機器學習方法如K近鄰、Suport Vector Machine、徑向基函數網路等方法中，選擇一個好的距離測度方式也能提升模型的學習結果。

Introduction to Distance Metric Learning

課程: 論文研討(一)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研一 劉孝皇

演講者 : 海洋大學資訊工程學系 張欽圳

心得報告：

這次演講是關於資料的分類與分群，在由machine learning中無論是分群還是分類，幾乎都會利用距離(Distance metric)作為判斷依據，讓電腦從大量分類或分群好的資料中去學習距離的定義，當新資料加入時可以利用學習出的距離定義將資料進行正確的分類或分群，其中又分為監督式學習跟非監督式學習。而監督式學習是必須先有一筆已知資料讓機器學習，就是告知這一群資料的每一筆分別屬於哪一類(如adaboost)，非監督式學習則是直接對資料庫進行分群，依照我們預先觀察到的特徵進行相似度比對，當達到一定門檻值的資料聚集在一起(如K-means)。

Introduction to Distance Metric Learning

課程: 論文研討(三)
日期 : 2012/12/21
時間 : 13:50 ~ 15:30
學生 : 資傳研二 吳尚鴻
演講者 : 海洋大學資訊工程學系 張欽圳

心得感想:
這是演講請到海洋資工的張欽圳教授來和我們分享分類。

當在進行資料的分類的時候，我們常常把類型相近的東西分做一堆，例如在整理房間的時候，我們會把書都收好放到書櫃中。剪刀、膠水或是鉛筆、鋼筆等等的文具我們都會集合起來放在同一個抽屜或是筆袋裡面。衣服的話則是放到衣櫃之中，如果勤勞點的話還會分成春夏秋冬四個季節來放。這個例子透露出分類這件事情，無非就是把屬性相近的東西給集合在一起，例如書和書放在一起，文具類的放一起，衣物類的也放在衣櫃中。

 若把這些東西擺到平面圖來看的話，我們把類型相近的東西分做一堆，就可以發現說其實屬性月相同，彼此的距離就越近，如果屬性相異，當然距離也就遠了，所以若要判斷這兩個東西是不是同一個類別，只要觀察他們的"距離"夠不夠相近就可以得知了




然而張教授提到，分群或是分類最重要的無非是找到一條分可以清楚切割的分割線，但是若遇到物件重疊或是相似屬性下的分群的情況，則很難找到分割線，這個時候只要適當的調解權重之後則可以與之再次進行分類，當然張教授也提到，若要清楚區別各個分類，只要讓同個屬性的距離更加靠近，並且讓相異屬效的距離更加遠離，讓分群線可以清楚的把群或是類給區別出來，便是個好的分類。

Introduction to Distance Metric Learning

課程: 論文研討(三)
日期 : 2012/12/21
時間 : 13:50 ~ 15:30
學生 : 資傳研二 陳怡安
演講者 : 海洋大學資訊工程學系 張欽圳


距離測度學習(Distance Metric Learning)

講白了，其實就是比對資料之間的量化相似度(差異性)
兩筆資料(比對物)間距離值愈小，則表示兩筆資料在某方面的相似性程度愈高

不同性質的資料，則有不同的距離量測方式。


常用類型：

歐氏距離(Euclid Distance)
求m維空間中兩個點之間的真實距離。

曼哈頓距離(Taxicab geometry)
兩個點上在標準座標繫上的絕對軸距總和。

馬氏距離(Mahalanobis distance)
表示數據點之間的共變異數距離。


常見測距演算：
KNN(K-nearest neighbor)
一種機械學習方法，而做法為比對測試資料與一群訓練資料中距離最接近K個的資料


SVM(Support Vector Machine)
在n維度空間出相異集合的超平面(hyperplane)，使之將兩個不同的集合分開。


RBF(Radial Basis Function Network)
一種類神經網路，不好解釋

Introduction to Distance Metric Learning

課程: 論文研討(一)
日期 : 2012/12/21
時間 : 13:50 ~ 15:30
學生 : 資傳研一  李金龍
演講者 : 海洋大學資訊工程學系 張欽圳

心得感想:

　　這次演講的主要是在說明資料中的距離概念，其中有提到類別標籤連結資訊，還提到了區域度量和距離度量的一些說明，當然這些講解的內容都還包含了很多公式，其中還有三角不等式、向量的公式等等，當中還提到了計算這些會有個權重值，然後接著就講解利用權重去分類分群的一些方式等等，當中也有提到的SVM、KNNR、CART等分類器。

大致上分類器會用到
1.relevant component analysis 
2.linear discriminant analysis 
3.margin - based approach 
4.generalized iterative relief 

圖片來源: 網路

Introduction to Distance Metric Learning

課程: 論文研討(三)

日期 : 2012/12/21

時間 : 13:50 ~ 15:30

學生 : 資傳研二 溫千力

演講者 : 海洋大學資訊工程學系 張欽圳

心得報告：

   根據資料性質的不同，必須此用不同的距離量測方式。當觀察值彼此間的距離值愈小，則表示兩個觀察體在某方面的相似性程度愈高，反之則表示相似性程度愈低。例如：資料集是屬於二元變數資料時，若將資料以連續型的資料來計算距離矩陣並不適當，必須依據各觀察值是否具有變數所定義的屬性來衡量觀察值間的相似程度，以利進行集群分析。一般常用的距離種類有歐氏距離、曼哈頓距離、馬氏距離等。

    在機器學習演算法中，無論是分群還是分類，幾乎都會利用距離(Distance metric)作為判斷依據，讓電腦從大量分類或分群好的資料中去學習距離的定義，當新資料加入時可以利用學習出的距離定義將資料進行正確的分類或分群，常見的演算法有KNN(K-nearest neighbor)、SVM(Support Vector Machine)與RBF(Radial Basis Function Network)等。

Introduction to Distance Metric Learning

課程：論文研討(三)

日期：2012/12/21

時間：13:50 ~ 15:30

學生：資傳研二 葉怡婷

演講者：海洋大學資訊工程學系 張欽圳教授

心得感想：

目前學界的研究大多是針對某種情況下的分類去做專精的研究，而此次的講者張教授給予了我們在參數權重調整上的一種概念。實驗中，不外乎的就是要蒐集數據，然後觀察數據，再調整權重，以使得數據合乎現實的狀況，從中發掘某些特性會是相對重要的，故而權重較重。然而，有些時候的狀況並不能使用傳統的角度做調整，此時只要將觀念稍微轉一下，或許就能得到很適切的答案。

例如：當一筆數據壓縮後，兩群體資料若有重疊，那麼這就會造成日後區分兩群體時的困難，因此，必須找出條線，讓兩個群體能夠分得非常清楚。如圖1。

圖1：轉向分類

但也有更複雜的情況，則可以拋棄傳統的分類方式，使用空間上的距離計算。將同類的距離減小，不同類的距離加大。如此一來，便可將兩群體的距離拉開。中間不斷地進行找鄰居以及計算距離的跌代。直到兩個群體能夠清楚地分開。如圖2。

圖2：Margin-based approach

這次的演講比較偏重研究方面的權重設定，認真聽應該會蠻有收穫的，但是因為數學公式實在很複雜，讓我聽到一半就已經呈現半放棄狀態，但是大致上的概念還是很淺顯易懂，而且很適用在各類的研究中，值得參考。