Visual Saliency for Image Segmentation and Object Detection

課程：論文研討(二)
日期：2013/04/26
時間：13:50 ~ 15:30
學生：資傳研一 鐘文章
演講者：中央研究院  劉庭祿研究員

這是一個關於目標影像檢測與顯著影像切割的議題，簡單的說，就是希望可以有效率的對影像的中物件進行標示與追蹤．

利用眼球追蹤觀察使用者關注在哪些區域(Visual Saliency)以產生Saliency map，並且在影像上框出多個window計算是否存在Saliencyobject，最後利用Graph cut將影像前景與背景分割。此研究可利用多張影像可自動進行分割(fully unsupervised)，將影像oversegment分成300~400個superpixel (decompose image)，使用Energy functiony再比較任兩張影像的前景是否相似，以此達到自動分割之目的。

Visual Saliency for Image Segmentation and Object Detection

課程：論文研討(二)
日期：2013/04/26
時間：13:50 ~ 15:30
學生：資傳研一 林智偉
演講者：中央研究院  劉庭祿研究員


心得：

今天的演講是有關於影像處

影像分割技術（Image segmentation）在許多影像處理的工作上扮演著基礎且關鍵的角色，例如物件的識別與辨識（Object recognizing）、影像內容搜尋（Content-based image retrieval）等等之應用，都必須將影像分割為具有某種意義的基本單位，再藉由這些基本單位做更進一步的處理。在近期影像分割技術的發展中，分水嶺分割法（Watershed transform）是一個相當先進的技術，可得到良好的影像分割效果，所以本計畫著重於此一技術的改進及加強。

相較於其他的影像分割方法，分水嶺分割法提供了快速且有效的影像分割，在完成區域分割之後，可保證區域之封閉性；但是，在這個方法中，過度切割(Over-segmentation)的問題常伴隨著發生，造成區域切割的結果過於瑣碎，使得影像分割的成效不彰。利用人類視覺評量系統(Human vision system)針對邊界進行評估，對於間隔差異不顯著的區域進行合併，此法更可容許使用者藉由調整控制參數，動態地修改切割的結果。上述方式可以切割出影像中符合人類視覺的區域，並可使其他影像處理應用能有更進一步的發展。理方面的介紹，

Exploring Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(二)
日期 : 2013/04/26
時間 : 13:50 ~ 15:30
學生 : 資傳研一 朱宏昇
演講者 : 中央研究院  劉庭祿研究員


  這次的演講是關於影像處理的部分，要把影像分為前景與後景，主要提及的是Graph Cut。
Graph Cut是影像處理中對於分隔前景及後景的解決方式。

  近來影像處理成為熱門的項目，而這項自動分割前景後景的處理方式也讓我感到驚嘆! 雖然在結果上也許還會再有更加進步的空間，但是能做到這種程度已經讓人感到不可思議了。

Visual Saliency for Image Segmentation and Object Detection

課程：論文研討(二)
日期：2013/04/26
時間：13:50 ~ 15:30
學生：資傳研一 李金龍
演講者：中央研究院  劉庭祿研究員
心得報告：
    演講首先提到了圖像分割(image co-segmentation)，主在敘述將圖像的顯注區給切割出來。

並也提到了Graph Cuts演算法，把前後的背景切割出來，他的特色為遞迴式(iterative)的求解法，每一個迴圈執行時，皆會產生一個相對應的最小切割問題，並保證可使能量不上升，而迴圈式的求解過程一直持續進行，直到能量無法下降(收斂)為止。
之後也有提到了Maximum flow problem，下圖是一個例子：

圖中S表示來源和目的T，數字表示為數值與容量

應用這一些技術就能達到把圖像中的顯注區找到，但是我覺得這還能有進步的空間，因為結果還並不完美，物件的邊緣沒有很好。




圖片來源: 網路

Exploring Visual Saliency for Image Segmentation and Object Detection

課程：論文研討(二)
日期：2013/04/26
時間：13:50 ~ 15:30
學生：資傳研一 簡綺葳
演講者：中央研究院  劉庭祿研究員

 心得報告：

Graph Cuts 不等於graph cut(如min cut、normalized cut、RatioCut)， 是最近在計算機視覺中研究和應用比較多的energy minimization（能量函數最小化）優化算法，典型的用於stereo matching, image restortion, texture synthesis等應用。

這個優化算法用來解markov Random Field. 有實驗<Comparison of Graph Cuts with Belief Propagation for Stereo, using Identical MRF Parameters>顯示，Graph Cuts比用Belief Propagation更好，比用dynamic programming(只用1D求解), gradient decedent, simulated annealing, etc 要好得更多；特別是使用ab-swap, 和a-expansion的時候。

<Fast Approximate Energy Minimization via Graph Cuts> (Boykov, Veksler and Zabih, PAMI '01)，這篇paper是graph cuts的開山之作，系統介紹瞭如何構造graph和energy term來解stereo disparity, motion等問題，也比較直觀的介紹了a-expansion。

<GRAPH BASED ALGORITHMS FOR SCENE RECONSTRUCTION FROM TWO OR MORE VIEWS> (Kolmogorov's PhD thesis 04), 這篇論文是Kolmogorov的博士論文，實現了Graph CUT用於立體視覺的匹配，它改善了傳統GRAPH CUT計算耗時的缺點，他還因此稱為微軟一員，專門從事GRAPH CUT在圖像處理上的應用。

<What energy functions can be minimized via graph cuts> (Kolmogorov PAMI '04). 本文首先介紹了需要通過graph cut最小化的能量函數的特性。雖然是二進制變量但是很容易推廣到其他方面。詳細描述了通過graphcut最小化的能量函數。並提供了最小化能量函數的通用構建。最後給出了最小化二進制能量函數的必要條件。

Exploring Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(二)
日期 : 2013/04/26
時間 : 13:50 ~ 15:30
學生 : 資傳研一 辛彥德
演講者 : 中央研究院  劉庭祿研究員

本次演講是有關於影像的自動分割前景和背景的方法，其中利用眼球追蹤觀察使用者關注在哪些區域(Visual Saliency)以產生Saliency map，並在影像上框出多個Windows計算是否存在Saliency object，最後利用Graph cut將影像前景與背景分割。此研究可利用多張影像讓電腦自動判斷進行分割(fully unsupervised)，將影像oversegment分成300~400個superpixel (decompose image)，使用Energy functiony再比較任兩張影像的前景是否相似，以此達到自動分割之目的。

Exploring Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(二)
日期 : 2013/04/26
時間 : 13:50 ~ 15:30
學生 : 資傳研一 劉健興
演講者 : 中央研究院  劉庭祿研究員

心得報告：
本次演講是有關於影像的自動分割前景和背景的方法，首先提及Graph Cut，Graph Cut是一種可以將影像前景與背景分割的方法，一般圖都會有點，把點與點之間的每條線賦予權重值，接著對圖中還會再賦予兩個點S(Source)和T(Sink)，圖上的每個點將會依照最小分割原理被分成兩組(S和T)。換句話說：兩點之間的變化愈大＝相似程度愈小＝損失函數E(A) 愈小，也就能夠依照最小切割原理將此兩點之間的線切斷，利用這個方法就可以分出前景及背景。
利用眼球追蹤觀察使用者關注在哪些區域(Visual Saliency)以產生Saliency map，並在影像上框出多個Windows計算是否存在Saliency object，最後利用Graph cut將影像前景與背景分割。此研究可利用多張影像讓電腦自動判斷進行分割(fully unsupervised)，將影像oversegment分成300~400個superpixel (decompose image)，使用Energy functiony再比較任兩張影像的前景是否相似，以此達到自動分割之目的。

Exploring Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(二)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研一 劉孝皇

演講者 :中央研究院  劉庭祿研究員

心得：

首先簡介Graph Cut，這是一種能夠將前景及背景分開的方法。一般圖都會有點，而點和點之間有線，每條線可以賦予權重值，而Graph Cut的圖還會再賦予兩個點S(Source)和T(Sink)，圖上的每個點將會依照最小分割原理被分成兩組(S和T)。也就是說：兩點之間的變化愈大＝相似程度愈小＝損失函數E(A) 愈小，也就能夠依照最小切割原理將此兩點之間的線切斷，這樣就可分出前景及背景。

利用眼球追蹤觀察使用者關注在哪些區域(Visual Saliency)以產生Saliency map，並在影像上框出多個Windows計算是否存在Saliency object，最後利用Graph cut將影像前景與背景分割。此研究可利用多張影像讓電腦自動判斷進行分割(fully unsupervised)，將影像oversegment分成300~400個superpixel (decompose image)，使用Energy functiony再比較任兩張影像的前景是否相似，以此達到自動分割之目的。

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 劉浩瑋

演講者 :中央研究院  劉庭祿研究員

Graph cuts是一種能量優化算法

在計算機視覺領域普遍應用於
1. Image segmentation

2. stereo vision

3. Image matting

Graph Cuts理論最早是出現在流網絡優化領域的

此時的Graph Cuts算法是用來確定網絡流量的最小分割

即尋找一個容量最小的邊的集合

去掉這個集合中的所有邊就可以阻擋這個網絡了

在近幾年圖學概念被用在影像上

使得影像可被建成無向圖的形式

於是graph cut被用來解決電腦視覺、圖像處理以及機器學習(Machine Learning)的問題

其中的問題包括影像分割、影像分類以及影像合成

因此我們可以使用Graph cuts來將物件和背景作切割、過濾出物件

供後續使用之視覺著重點做分析研究

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 蕭維廷

演講者 :中央研究院  劉庭祿研究員

我們可以使用眼球追蹤技術，來了解人們在瀏覽物件時，對哪一部分區塊較有興趣。但要如何將區塊物件過濾出來呢??

Graph cuts是一種十分有用和流行的能量優化算法，在計算機視覺領域普遍應用於前背景分割（Image segmentation）、立體視覺（stereo vision）、摳圖（Image matting）等。Graph Cuts理論最早是出現在流網絡優化領域的，比如說水管網絡，通信傳輸網絡，城市車流網絡等。此時的Graph Cuts算法是用來確定網絡流的最小分割，即尋找一個容量最小的邊的集合，去掉這個集合中的所有邊就可以阻擋這個網絡了。在近幾年影像被建立成圖學概念，使得影像可被建成無向圖，於是graph cut被用來解決電腦視覺、圖像處理以及機器學習(Machine Learning)的問題，其中的問題包括影像分割、影像分類以及影像合成。

因此我們可以使用Graph cuts，一種常用的電腦視覺技術來將物件和背景作切割，過濾出物件，供後續使用之視覺著重點的分析研究。

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 楊鈞浩

演講者 :中央研究院  劉庭祿 先生

 

心得:

當人在瀏覽東西時，對某一部分區塊感到有興趣的時候，在視覺上與注意力就會停留在上面，而我們在試著理解一個圖像顯著區性的區塊時，可以利用人的目光暫留來分析，提高對圖像之理解分析，在技巧上，利用眼球的追蹤技術，來突顯出影像中物件的標示與追蹤，然後使用Graph cut的技術，將影像的物件與背景做為分割，藉以建構一網路流量圖模型的權重，再利用macxflow/min-cut原理將整張影像前景與背景切割出來，而傳統的Graph cut的演算法是以像素為流量圖之節點，所以當原始影像尺寸過大時，傳統方法會造成計算時間冗長，所以比較不錯的方法是想辦法將鄰近顏色像近得像素視為一個節點，再對此結點較少汁流量圖做Graph cut，以減少大量運算的時間，並秀出正確且不錯的結果。

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 張焜翔

演講者 :中央研究院  劉庭祿研究員

人類視覺係統對視覺場景中感興趣區域的抽取是一個視覺注意機製顯著性檢測的過程。在圖像理解的同時若能模擬人類視覺機製提取出圖像中顯著性區域，將會很大程度上提高圖像理解的效率。目前，圖像的顯著性檢測已經廣泛地運用到許多計算機視覺的應用領域中，如目標檢測、場景渲染和視覺界麵設計等。
Graph cut：可在有向圖或無向圖的把節點分割成兩群。最常在解決有向圖中，由源點(source)流向匯點(sink)的流量問題，例如：水管、網路或車流量。在近幾年影像被建立成圖學概念，使得影像可被建成無向圖，因此graph cut被用來解決電腦視覺、圖像處理以及機器學習的問題，其中的問題包括影像分割、影像分類以及影像合成。

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 陳怡安

演講者 :中央研究院  劉庭祿研究員

心得報告：

這是一個關於目標影像檢測與顯著影像切割的議題，簡單的說，就是希望可以有效率的對影像的中物件進行標示與追蹤．

具體方法為，利用眼球追蹤技術找出使用者關注的影像區塊並建立顯著區塊圖，並檢查這些顯著區塊圖中是否存在突出物件．並利用Graph cut技術將影像物件與背景作分割，此研究可以對多張影像自動進行上述的檢測分割流程，並在經由Energy functiony技比較影像之物件是否相似，藉此達到自動分割之目的．

Graph cuts是一種十分有用和流行的能量優化算法，在計算機視覺領域普遍應用於前背景分割（Image segmentation）、立體視覺（stereo vision）、摳圖（Image matting）等。 Graph Cuts理論最早是出現在流網絡優化領域的，比如說水管網絡，通信傳輸網絡，城市車流網絡等。

普通的圖由頂點和邊構成，如果邊的有方向的，這樣的圖被則稱為有向圖，否則為無向圖，且邊是有權值的，不同的邊可以有不同的權值，分別代表不同的物理意義。而Graph Cuts圖是在普通圖的基礎上多了2個頂點，這2個頂點分別用符號”S”和”T”表示，統稱為終端頂點。其它所有的頂點都必須和這2個頂點相連形成邊集合中的一部分。所有Graph Cuts中的邊也分為兩種，一種是普通頂點與相鄰點或者與之有關聯的點之間的連線，一種是剛講的普通頂點和2個終端頂點之間的連線。 Graph Cuts中的Cuts是指這樣一個邊的集合,很顯然這些邊集合包括了上面2種邊，該集合中邊的斷開會導致殘留物件和背景分開，且這些邊的集合中所有權值之和是最小的。藉此達成物件與背景之間的最小切割。

    

無題

課程: 論文研討(四)

日期 : 2013/05/10

時間 : 13:50 ~ 15:30

學生 : 資傳研二 陳怡安

演講者 : 皮托科技公司總經理　陳貞卿

心得報告：

如果今天我去應徵個PG或是RD，職缺需求英文能力是中等或是根本沒寫

到場你要我翻原文書我肯定也是直接走人的

態度這種東西是相對的

不過查了一下，該公司職缺對英文要求確實高也有註明，應徵者被要求翻譯原文書也是可以被接受的

Visual Saliency for Image Segmentation and Object Detection

課程：論文研討(二)
日期：2013/04/26
時間：13:50 ~ 15:30
學生：資傳研一 王健任
演講者：中央研究院  劉庭祿研究員

今天的演講者提到影像處理相關的題目， 雖然我並不是專長在這上面，但大致上還算聽得懂，這次的題目是關於影像自動分割，如何讓電腦判斷該分割的物體和分割的範圍需要下一點功夫，演講著的研究大致上已經趨近完整，也有一些DEMO可以讓我們更加了解他的研究。

Visual Saliency for Image Segmentation and Object Detection

課程: 論文研討(四)

日期 : 2013/04/26

時間 : 13:50 ~ 15:30

學生 : 資傳研二 溫千力

演講者 :中央研究院  劉庭祿研究員

心得報告：

Graph cut：可在有向圖或無向圖的把節點分割成兩群。最常在解決有向圖中，由源點(source)流向匯點(sink)的流量問題，例如：水管、網路或車流量。在近幾年影像被建立成圖學概念，使得影像可被建成無向圖，因此graph cut被用來解決電腦視覺、圖像處理以及機器學習的問題，其中的問題包括影像分割、影像分類以及影像合成。

最大流量問題：Graph cut所使用最大流量最小割定理把圖上的節點相關性高的分割在一起。相關性高的節點能夠互相流通，也就是水管殘留的容量高，反之，相關性低的節點互相流通的流量很低，也就是水管殘留的容量低。最小割就是把殘留的容量低的水管切割，以達到分割兩群，此兩群內的節點之間的相關性高。要找到殘留的容量最低的水管不容易，但找到最大流量時的狀況會為水管殘留的容量最小的時候，於是最大流量最小割定理便先找到最大流量時，切割殘留的容量最低的水管。

    利用眼球追蹤觀察使用者關注在哪些區域(Visual Saliency)以產生Saliency map，並且在影像上框出多個window計算是否存在Saliency object，最後利用Graph cut將影像前景與背景分割。此研究可利用多張影像可自動進行分割(fully unsupervised)，將影像oversegment分成300~400個superpixel (decompose image)，使用Energy functiony再比較任兩張影像的前景是否相似，以此達到自動分割之目的。

Exploring Visual Saliency for Image Segmentation and Object detection

課程：論文研討(四)

日期：2013/04/26

時間：13:50 ~ 15:30

學生：資傳研二 葉怡婷

演講者：中央研究院資訊所　劉庭祿研究員

心得報告：

此次的議題是探討有關視覺顯著影像切割和目標檢測，目前在影像處理系列的研究，物件的標示及追蹤仍舊是一大重點，若能夠準確的標出物件，對於後續的利用及判斷都具有極大的影響。

在正式進入演講的重點之前，劉博士介紹了一個目前在影像處理界常用的技術─Graph Cut，這是一種能夠輕鬆將前景及背景分開的方法。一般的圖都會有點，點和點之間有線（有向無向皆可），每條線可以賦予權重值，而Graph Cut的圖還會再賦予兩個點S（Source）和T（Sink），圖上的每個點將會依照最小分割原理被分成兩組（S和T）。也就是說：兩點之間的變化愈大＝相似程度愈小＝損失函數E(A) 愈小，也就能夠依照最小切割原理將此兩點之間的線切斷，如此一來，即可分出前景及背景。

一般來說，目前在擷取物件時遇到的困難點就是物件的邊緣無法連續或是區塊不完整，在我們自己的研究中，可利用膨脹收縮的方式將影像中的區塊成為一個完整的封閉區塊，而此次議題所使用的方式，是將影像偵測前十次重疊區域最高的地方聯合起來，成為一個較大的區塊。另外，我們的研究使用視覺追蹤系統來了解閱聽者關注的區域，然而此次議題卻是讓電腦自動判斷出閱聽者最有可能觀看的區域。此種方式是利用物體邊界Saliency較高做判斷，因此能夠結合目標檢測和影像切割，使得電腦能夠在沒有任何條件下進行多張圖像的前景（大部分人會看的地方）及背景切割。

依此方式能夠獲得大部分人觀看區域的資訊，但卻並無法使用在特殊的情況下（例如：自閉症閱讀情況、過動兒專注度問題），因此，Eye Tracking，仍有其得利之處。不過若能夠依此方式準確地將大部分閱聽者會看的地方判斷出來，就更能夠節省成本及校正問題。