Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研二 楊鈞浩

演講者 : 義守資工系 郭忠民 教授


以 Google 來說只要發佈文章就可以搜索的到，因為它所採用的軟體核心技術是PageRank， 如同個別網頁價值的指示器，透過龐大的連結架構來信賴網站獨特地民主性質。當然，Google 會查看票數來源，或是連結網頁接收的票數；同時它也會分析參予投票的網頁。透過「重要的」網頁來參予投票，並且幫助其它的網頁也成為「重要的」網頁資料。

重 要、優質的網站會得到較高的 PageRank，同時 Google 會記住每次所處理的查詢情況。當然，如果查詢出來的網頁結果並不符合您的需求，重要的網頁對您也不具任何意義。
Google是設計來排列雜亂資料的先後順序。只要是有其他連結引用到的網頁，Google 就會收集到它。Google 會分析每個連結與其他網頁的連接方式，利用網際網路開放、龐大的特性產生最相關的搜尋結果。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研二 劉浩瑋
演講者 : 義守大學資工系 郭忠民 教授

心得：
這次的主題是關於圖像搜尋的介紹

以前是以文搜圖

現在有了以圖搜圖後

可以不用煩惱怎樣打關鍵字想要的東東才會跳出來

雖然的命中率還有加強空間...

這功能主要是看圖像紋理

利用一堆神奇的數學公式

只要憑著畫面的圖片就能找到差不多的

另外影像處理技術SIFT(Scale-invariant feature transform)

這是使用電腦演算法來偵測影像中的局部特性

並在空間尺度中尋找極值點提取出位置、尺度、旋轉不變數

而這項技術的應用範圍包括物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。

一堆像的裡面還是有一堆不像的

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 朱宏昇
演講者 : 義守大學資工系 郭忠民 教授

心得報告:

　這次的主題是關於圖像搜尋的介紹，由於不是我的磚們領域，所以只能大概說明所聽到的東西。

　這次提到的是以圖搜圖，就我所知，過去的以文字搜圖要找到自己想要的東西其實並不容易。除非你對於想搜尋的東西有相當的理解並下了正確的搜尋標題，同時還必須有其他人有相同的理解，才有可能搜尋到想要的圖片。而「圖」搜「圖」，搜尋引擎則可以利用圖片特徵進行網路上的圖片比對，並且找出相似的圖片，這樣的準確率也許還有待加強，但是相較於文字搜尋已經準確許多。圖搜圖所應用到的是搜尋穩理特性，所以只要找到相似的圖片及呈現解果。但是依照我使用Google的圖搜圖功能的經驗，我認為圖片的顏色區塊占了滿大的部分的搜尋條件。Google的搜尋引擎若非找到相同圖，則會找尋相似顏色分布的圖片。

　另外演講者提到了一種影像處理技術SIFT(Scale-invariant feature transform)尺度不變特徵轉換，這是使用電腦演算法來偵測影像中的局部特性，並在空間尺度中尋找極值點提取出位置、尺度、旋轉不變數。而這項技術的應用範圍包括物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 劉健興
演講者 : 義守資工系 郭忠民 教授

本次的演講重點在以圖找圖的搜尋技術，著名的搜尋引擎，GOOGLE在這幾年來也有這個嶄新的搜尋方式，而不同於以往以關鍵字找圖的方式，以圖搜圖在搜尋的方法上有一些特別的技術，最基本的是分析圖片紋理來找到相似的圖形，接著再把圖片分成幾個區塊，分成巨觀(顏色分析)和微觀(物件分析)來分析圖片，以圖搜圖不管在現在還是未來都會是一個發展性高的技術，但以目前的現況還是有準確度不足的問題。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 邱文祥
演講者 : 義守大學資工系 郭忠民 教授

SIFT (Scale-Invariant Feature Transform)就是一種電腦視覺的演算法用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數。若找兩影像的關鍵點特徵來比對，可發現越相似的影像，關鍵點特徵符合數越多，藉此來判斷兩影像的相似度。

演講者最後所使用方法使用了bag of words，以4×4區塊分割的方式擷取影像的特徵，還加入巨觀與微觀的概念，

建立出巨觀視覺字典與微觀視覺字典，最後在利用影像檢索來驗證視覺字典。

大致上簡單的圖像看起來結果都還不錯，複雜點的就開始有失誤的情況，所以還有待研究。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研一 鐘文章

演講者 : 義守資工系 郭忠民 教授

心得:

        一開始郭教授先大略的介紹義守大學附近的環境跟他們學校的特色，讓我大概知道義守大學的資訊，然後就開始講他今天的主題，主要內容是以圖片為主，以往我想要搜尋圖片，但又不知道該如何下關鍵字，因此他想了一個技術，利用圖搜圖的方法，因該會讓我們在找圖片時，更加的方便且精準，主要有繳到的技術是SIFT(Scale-invariant feature transform )，這是一種電腦視覺的演算法，用來偵測與描述影像中局部的特徵。

     最後，他們有自己想出一個更好的方法，是以許多區塊來擷取影像內較具代表性的特徵，作為分析的判斷，他們也證明了這個方法比SIFT的方法來的好，在搜尋時，可找到不同類型的照片，雖然他們在實驗結果上，仍會有找到一些不相關的圖，這也是他們正在想改進的部分。

11/16

課程: 論文研討(一)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研一 何秉叡

演講者 : 義守資工系 郭忠民 教授

心得:

關於影像處理還有圖片分析的部分，平常常見的圖片搜尋大部分都是以輸入關鍵字文字來搜尋想要的圖片，但這樣子會產生一些問題，例如所輸入的關鍵字不夠清楚的描述搜尋者想要搜尋的圖片或是表達較不清楚，又或者是可能圖片命名雖然是以該關鍵字命名，實際上卻不是搜尋者想要的圖片。

    所以為了解決這個問題，今天義守大學資訊工程系的郭忠民教授要演講的題目就是關於用「圖片」來搜尋「圖片」的技術與其會產生的問題與分析等等的主題，以解決關鍵字搜尋到不相干的圖片等問題，來提高圖片搜尋的精確率，在以「圖片」搜尋「圖片」的前題，必須先分析圖片的紋理特性，將紋理特性視為visual word，如同將圖片視為文件，以關鍵字進行搜尋感興趣的文件一樣，而visual word該如何表達以及採用的數量多寡界是需要思考的問題。

Bag of Block-Based Visual words for Image Retrieving and Classification 5.資通信與雲端運算發展之探討

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 陳玉霖
演講者 : 義守大學資工系 郭忠民 教授

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 陳玉霖
演講者 : 義守大學資工系 郭忠民 教授

這次教授演講的是關於圖片檢索的作法，這不只跟影像處理有關也跟資料檢索有關，以前找圖片的時候是以他的關鍵字去尋找，這種方法雖然不錯但有時候會找不到我們真正想要的，教授演講的方向就是希望能改善這部分，他是以圖找圖，利用一個圖的特徵去找另一個與他相近的圖，這種技術在google上有但還不是很準確，希望教授能完成如果真的可以完成，這應該會是一個很大的突破。

圖片來源:http://playpcesor.blogspot.com/2009/11/bing-google-photology-googlebing-google.html

Bag of block - Based visual words for Image retrieving and classification

Bag of block - Based visual words for Image retrieving and classification

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:10
學生 : 資傳研一 周書暐
演講者 : 郭忠民 教授　

　

　　這次來的教授是從義守大學來的教授，在從高鐵站載她到學校的途中跟他聊了很多，包括他以前打過籃球呀之類的，更沒想到這麼巧的是，今年的大資盃就辦在義守大學，也正是我們會去參加的比賽之後，不過還不確定有沒有報名，若能成功報名出團去義守大學打排球的話，也算是一種緣分。
　　教授顏講的是對於圖片檢索的一個做法，其中他說到了SIFT，這是我隔壁同學辛彥德之前再動手製作的，但是演講教授說這個做法在對於圖片檢索上，並沒有那麼必要，反倒是利用微觀與巨觀的角度去檢索一張當作收詢的圖片，把該圖片歸類到某一總色系裡面，再由像是圖片中的東西或是地平線的位置來去做有效的查詢到想要照片的功能，反倒不需要做到SIFT對很多個點做方向性的判斷，是個很了不起的研究。
　　也利用了實驗去驗證此效果的方法，雖然會有些微的錯誤率，但幾乎每個研究都不可能達到百分之百的完美，因為對於電腦來說，兩張不一樣的圖畫成了資訊，對電腦看起來就是一樣他就認為是一樣，不像我們人腦一樣能分辨說，這張藍色的是瀑布，這張藍色又有綠草的也是瀑布，對電腦來說有藍又有綠，藍色多了一點綠色多了一點，都是一個很明確的質，所以也才有人做了人工智慧這一塊，但其實這一塊跟演講者這邊不算是完全沒有關係，但真正的去學過之後才了解，所謂的人工智慧，就如同SIRI，是一大堆的資料和RULE，一大堆的決策跟法則，對於電腦單調的處理加上一些"變數"。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)
日期 : 2012/11/16

時間 : 13:50 ~ 15:10
學生 : 資傳研二蕭維廷
演講者 : 義守資工系 郭忠民 教授

對使用者而言，以圖片搜尋圖片往往較易於找到想要搜尋的圖片資料。目前也有許多相關的系統及網站。用圖像來進行搜尋時，必須先利用相關演算法來將圖像進行特徵化。而SIFT (Scale-Invariant Feature Transform)就是一種電腦視覺的演算法用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數。若找兩影像的關鍵點特徵來比對，可發現越相似的影像，關鍵點特徵符合數越多，藉此來判斷兩影像的相似度。

SIFT的作用在：局部影像特徵的描述與偵測可以幫助辨識物體，SIFT 特徵是基於物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。 對於光線、雜訊、些微視角改變的容忍度也相當高。基於這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特徵資料庫中，很容易辨識物體而且鮮有誤認。

因此以4×4區塊分割的方式來擷取影像內容具代表性的特徵，並加入巨觀與微觀的概念，建立出巨觀視覺字典與微觀視覺字典。利用影像檢索來驗證我們訓練的視覺字典，觀察其特徵描述子是否能正確的描述出影像，結果顯示本研究所訓練的視覺字典具有描述能力，也進一步將視覺字典應用在影像分類上。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研二 吳尚鴻
演講者 : 義守大學  資訊工程學系 郭忠民 教授

心得報告:這次演講請到義守資工系的郭忠民郭教授，來和我們分享圖片的檢索及分類。一般來說若我們要執行資料的檢索及尋找，關鍵字往往是搜尋的關鍵，若是關鍵字下的好，電腦在搜尋時多半都會回覆使用者正確的資料。但是有時候電腦在判斷上還是會出錯的，例如當使用者想要找"章魚"的圖片時，返回的資料或許會參雜著"魚"類的圖片，甚至還會回傳熱呼呼的"章魚燒"照片。為了避免餘字彙階段判斷發生歧異導致回傳結果發生錯誤，可以利用"視覺字"來進行圖片的檢索及分類。

所謂的視覺字，並非文字，而是許許多多簡單不複雜的圖片，將這些稱為視覺字的圖片集合起來形成視覺字資料庫，利用資料庫跟需要檢索及分類的圖片進行比對。利用這些圖片的特性來代表物件，進一步的達到檢索與分類的目的。例如；向日葵視覺字多半是以咖啡色的圓型為中心，而周圍為亮黃色或是橘色等特色。利用物件的特性來當作篩選及分類的依據。利用視覺字的檢索及分類確實可以除去搜尋時對於文字的判斷錯誤。

然而比對的方式就是把要檢索的圖片進行分割然後再比對，然而在圖片被分割後，發現這些分割後的各個小圖片其實十分有趣，由於一張圖片中顏色變化量大的地方往往是主角，是主要物件所在之處，所以在分割之後可以把背景及物件分離，這樣我們在物件的判斷及分類上可以更為清楚，而且也可以由背景大略判斷物件可能為何。

雖然對於影像的檢索及分類沒有許多的研究 ，但是聽郭教授說了之後淺顯易懂，沒想到對於圖片的搜索可以利用圖片來當作"關鍵字"搜索，讓我大開眼界，受益良多。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研一 林智偉

演講者 : 義守資工系 郭忠民 教授

心得:

    今天的演講是關於影像處理還有圖片分析的部分，平常常見的圖片搜尋大部分都是以輸入關鍵字文字來搜尋想要的圖片，但這樣子會產生一些問題，例如所輸入的關鍵字不夠清楚的描述搜尋者想要搜尋的圖片或是表達較不清楚，又或者是可能圖片命名雖然是以該關鍵字命名，實際上卻不是搜尋者想要的圖片。

    所以為了解決這個問題，今天義守大學資訊工程系的郭忠民教授要演講的題目就是關於用「圖片」來搜尋「圖片」的技術與其會產生的問題與分析等等的主題，以解決關鍵字搜尋到不相干的圖片等問題，來提高圖片搜尋的精確率，在以「圖片」搜尋「圖片」的前題，必須先分析圖片的紋理特性，將紋理特性視為visual word，如同將圖片視為文件，以關鍵字進行搜尋感興趣的文件一樣，而visual word該如何表達以及採用的數量多寡界是需要思考的問題。

    在這邊講師有提到的技術像SIFT(Scale-invariant feature transform )，這個技術可以幫助辨識物體，是一種電腦視覺的演算法用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數，此演算法由 David Lowe 在1999年所發表，2004年完善總結。

    其應用範圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。此演算法有其專利，專利擁有者為 英屬哥倫比亞大學。SIFT 特徵是基於物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。 對於光線、雜訊、些微視角改變的容忍度也相當高。基於這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特徵資料庫中，很容易辨識物體而且鮮有誤認。

    使用 SIFT特徵描述對於部分物體遮蔽的偵測率也相當高，甚至只需要3個以上的SIFT物體特徵就足以計算出位置與方位。在現今的電腦硬體速度下和小型的特徵資料庫條件下，辨識速度可接近即時運算。SIFT特徵的信息量大，適合在海量資料庫中快速準確匹配。

但在資料庫中，如果資料庫資料量太大，會因為背景太多而導致偵測錯誤，所以在這邊研究不會採用此種方式。

    最後是以分成許多區塊的方式來擷取影像內容具代表性的「特徵」來作分析，比SIFT更有效，並在搜尋時，可找到不同類型的照片，以相似性、差異性來比對。利用影像檢索來驗證訓練視覺字典，觀察其特徵描述子是否能正確的描述出影像，在影像分類這一個領域中是很重要的一環也能得到很好的結果。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研二 張焜翔

演講者 : 義守資工系 郭忠民 教授

心得 :

現今的影像檢索系統，大部份是針對特定的影像資料庫，抽取特徵值用以尋找相近的影像；然而，相同的搜尋方法不一定適用於其他類型資料庫。以顏色特徵值為基礎的搜尋方法，分別應用在黑白、灰階及彩色影像資料庫中，檢索效果有明顯的不同；而以形狀特徵值為基礎者，則適用於前景物體存在且和背景環境差異分明的影像資料庫。有時，使用者又希望直接以影像內容的主觀描述（如影像分類、標的類型、拍攝環境等）來檢索相關影像。

內涵式影像檢索 (Content-based Image Retrieval)

隨著儲存媒介之容量與日俱增，以及數位攝影器材的普及，網際網路上存在著數量龐大的數位影像，如何有效地檢索在資料庫的數位影像，已是多媒體研究的主流之一。傳統的方法是以人工對每張影像指定數個關鍵字，讓使用者鍵入關鍵字來搜尋影像。然而，此種傳統的文字搜尋方法，不僅在註釋關鍵字方面耗費許多的成本，且影像中包含許多紋理 (texture)、形狀或物件空間關係等不易以關鍵字描述的特性。有鑑於此，近年來影像檢索 (image retrieval) 的研究領域，多集中在探討以內涵資訊為基礎 (content-based) 的影像檢索方法。運用影像處理的相關技巧，電腦可以自動從每張影像中擷取許多特徵 (feature)，如顏色的分佈、紋理的變化等，而影像搜尋時，則是尋找資庫中具有類似特徵值的影像。此種內涵式影像檢索方法，不僅可以擷取出許多難以用文字描述的影像特性，而且可以讓電腦自動化去計算特徵值，省去大量的人力成本。

由於影像的顏色與材質分佈，不易以文字描述，現今的查詢方式多要求使用者提供一張範例影像 (example query) 進行檢索。即使如此，由於不同使用者對相同範例影像的認知不同，查詢的結果往往不如人意，因此，現行的影像檢索方法多利用相關回饋 (relevance feedback) 技術，根據使用者回饋的影像，更新範例影像所提供的資訊以及修正影像比對方式，以使查詢結果更符合使用者的需求。 歸納內涵式影像檢索方法，其中不外乎特徵擷取、影像比對與相關回饋三大步驟。

Bag of Block-Based Visual Words for Image Retrieving and Classification

以區塊視覺字典為基礎的影像檢索及分類

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一  李金龍
演講者 : 義守大學  資訊工程學系 郭忠民 教授

心得感想:

以演講者所敘述，有提到的攝取特徵方法

bag of words

是把圖片訓練成眾多的特徵點，再依分類放入字袋中。

SIFT
採樣區域進行檢測、特徵失量生成、特徵匹配搜索等。

CBIR

根據圖像中自動提取的原始特徵（如顏色、形狀、紋理等）的基礎上，從資料庫搜索出相似的圖像進行評估。例如:Google的圖像尋找圖像。

左圖中是bag of words生成與使用的步驟 (以我理解所敘...)

訓練特徵

1.眾多的圖像

2.特徵攝取放入字袋中
3.進行分類

4.分類後的標籤(類別)

特徵分類比對

5.待測的圖像

6.特徵攝取

7.尋找匹配的特徵

8.類別相似度的機率直方圖

左圖是HIFT特徵生成後的特徵描敘子，是以特徵點為中心取16*16的區域採樣，將採樣點與特徵點的相對方向通過高斯加權後歸入包含8個bin的方向直方圖，最後獲得4*4*8的128維特徵描述子。

特徵生成過程中，首先會建構尺度空間，檢測極值點，在把特徵點過濾並精確定位，為特徵點分配方向值，最後再生成特徵描述子。

演講者最後所使用方法使用了bag of words，以4×4區塊分割的方式擷取影像的特徵，還加入巨觀與微觀的概念，

建立出巨觀視覺字典與微觀視覺字典，最後在利用影像檢索來驗證視覺字典。

大致上簡單的圖像看起來結果都還不錯，複雜點的就開始有失誤的情況，所以還有待研究。

圖片來源: 網路

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研一 劉孝皇

演講者 : 義守資工系 郭忠民 教授

心得報告：一般的影像檢索系統是藉由類似特徵查詢到相似影像，而分類系統是影像對每個類別的特徵性質進行比對並分類到適合的類別裡。利用尺度不變特徵轉換(Scale-Invariant Feature Transform, SIFT)擷取特徵點並改良傳統SIFT無色彩特徵資訊後，訓練特徵點產生視覺字(Visual Word)去作為視覺描述子(Visual Descriptors)和比對精確效能的指標，由於SIFT對平滑背景部分無法有效擷取特徵，所以利用區塊特徵(KeyBlock)改善平滑背景部分無擷取特徵點而影響影像的比對。以4×4區塊分割的方式來擷取影像內容具代表性的特徵，與SIFT相比較簡單容易且有效，並加入巨觀與微觀的概念，建立出巨觀視覺字典與微觀視覺字典，巨觀微觀字典以不同比例進行搜索時，可找到不同類型的照片，以相似性、差異性histogram(並非灰階值而是visual word)進行比對。以ARR與ANMRR套用巨微觀不同權重比例的實驗結果顯示此研究所訓練的視覺字典具有描述能力，也進一步將視覺字典應用在影像分類上。雖然有少數結果錯誤，但之後將樣本增加的話相信在影像檢索的準確率能大幅提高。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(一)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研一 王健任
演講者 : 義守大學資工系 郭忠民 教授

以往我們要尋找圖片資料的時候，只能用單純的關鍵字去搜尋，今天演講者說明的是以圖找圖的技術，這技術在GOOGLE上可以看到，只是在GOOGLE使用時，找出不相干圖片的機率蠻大的，而今天的演講者說明了他們所使用的技術與原理，提高了檢出率和檢出序。演講者使用了區塊分割的方法將圖片分成許多小區塊，再來加以比對，以檢索出所需的圖片，檢索又分為巨觀的部分和微觀的部分，兩個部份各取一定的比例去比對，巨觀的部分是用顏色區分，通常是主體外的背景，而微觀的部分指的是圖片的主體內容。

但演講者認為單純的檢索並沒有太大的挑戰性，所以接下來的目標會放在如何有效率地做分類。

心得:
用圖片檢索圖片的方法還不錯，但以目前所見的實用化來說稍嫌不足，找不到目標圖片的機會有點大，希望之後可以更提升檢索的準確度。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)

日期 : 2012/11/16

時間 : 13:50 ~ 15:30

學生 : 資傳研二 溫千力

演講者 : 義守資工系 郭忠民 教授

心得報告：

    當尋找特定圖片時，若是以文字進行搜尋並無法得到想要的圖片，因此研究方向以圖片搜尋圖片，所搜尋到的圖片能接近於使用者想要的結果。要以圖片搜尋圖片，必須先分析圖片的紋理特性，將紋理特性視為visual word，如同將圖片視為文件，以關鍵字進行搜尋感興趣的文件一樣，而visual word該如何表達以及採用的數量多寡界是需要思考的問題。

SIFT可用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數，局部影像特徵的描述與偵測可以幫助辨識物體，對於光線、雜訊、些微視角改變的容忍度也相當高。基於這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特徵資料庫中，很容易辨識物體而且鮮有誤認。但會因為背景而導致偵測錯誤，因此研究不採用SIFT。

研究以4×4區塊分割的方式來擷取影像內容具代表性的特徵，與SIFT相比較簡單容易且有效，並加入巨觀與微觀的概念，建立出巨觀視覺字典與微觀視覺字典，巨觀微觀字典以不同比例進行搜索時，可找到不同類型的照片，以相似性、差異性histogram(並非灰階值而是visual word)進行比對。利用影像檢索來驗證訓練視覺字典，觀察其特徵描述子是否能正確的描述出影像，以ARR與ANMRR的實驗結果顯示此研究所訓練的視覺字典具有描述能力，也進一步將視覺字典應用在影像分類上。

就數據而言，系統在進行搜尋時能得到很好的結果，但是在自己蒐集的圖片資料庫中進行搜索，若是資料庫擴大，增加影像內容更複雜的照片，不曉得是否有一樣的成效。

Bag of Block-Based Visual Words for Image Retrieving and Classification

課程: 論文研討(三)
日期 : 2012/11/16
時間 : 13:50 ~ 15:30
學生 : 資傳研二 陳冠宏
演講者 : 義守資工系 郭忠民 教授

心得報告：

        郭教授提到一個日常生活中常碰到的問題，在我們找圖片的時候，我們都是使用關鍵字來查詢，雖然出來的結果都是跟關鍵字有關，但出來的結果往往跟我們想的差異甚遠，於是他提出了一個解決的方法，利用圖片來當作關鍵字的查詢，比如說我們想找某些類的恐龍，就可以直接用圖片找相似的圖片。

Bag of Block-Based Visual words for Image Retrieving and Classification

課程：論文研討(三)

日期：2012/11/16

時間：13:50 ~ 15:30

學生：資傳研二 葉怡婷

演講者：義守大學 資工系 郭忠民教授

心得：

目前的搜尋都是利用影像本身的特徵做檢索，例如紋理、顏色、形狀。而檢索完之後會再做分類的動作，但目前尚未有好的分類方式，因此，找到的資料往往都不符合使用者的需求。因此，目前希望能夠發展文字的檢索：利用文字描述畫面感受。

常常，人類對於同一張的影像會有類似的感受，因此，對於同一張圖片常常會出現相同的文字敘述，所以，若能夠用這種「文字」的方式做檢索的動作，或許能夠提高查詢成功率。

Bag of  “Word”　提出的方式是，而”Word”指的就是圖片。利用簡單的圖片分塊狀來做比對。然而雖然是利用簡單的分割，但比對方面就顯得簡單許多，所以效果和效率上也會比較優。

而類別的分類比檢索困難，由於特徵的選擇會決定分類項目，因此，在觀察之後，決定利用巨觀和圍觀的方式描述建立字典。巨觀的定義為：大部分，不太會變動的場景或物品。然而，比對之後發現，圍觀的字典裡面包含大部分的巨觀字典，再加上利用word的方式比對，word與word之間並不會有太大的相似性，因此可以透過histogram（直方圖）的方式比對。

實際做過實驗之後發現，他們提出的方法在檢出率（ARR）以及檢出序（ANMRR）都有比傳統的效果好，而且實際分類出來的解果，錯誤率也降低了。

        複雜的問題都是由簡單的問題延伸而來的，因此，通常能夠利用簡單的方式解決，只是一般時候我們都已經陷入在複雜的思考裡。也許，回歸簡單思考會是一個不錯的方式。

Bag of block - Based visual words for Image retrieving and classification

課程: 論文研討(三)
日期 : 2012/11/16
時間 : 13:50 ~ 15:10
學生 : 資傳研二 陳怡安
演講者 : 郭忠民 教授


媒體與影像存在許多問題，諸如分析技術，檢索技術等
其中影像檢索技術，最傳統的方法-以文字檢索效率不彰
因此發展出以圖找圖，圖像資料分類檢索等技術

SIFT:
一個影像特徵擷取技術，其特性可以取得影像前景物件
不過存在諸如，特徵過多，資料量龐大，無法敘述背景(無法敘述全圖)等問題


特別做法：
Based visual words for Image retrieving and classification
搜尋影像特徵，這些特徵取樣後將對類似的特徵進行濃縮並量化，搭配分格取樣取得據有代表性的特徵文字，這些特徵將作為影像視覺特徵文字，經由訓練並取得特徵文字(visual words)所組成的視覺文字字典

字典根據特徵的變化分類為微觀與巨觀兩種，透過這個視覺字典來描述影像，藉此來敘述與比對未知的影像，透過這種方式可以進行影像搜尋獲是相關應用


心得：
嗯，義守大學很大很漂亮