بازیابی تصاویر بر اساس محتوا بسمه تعالی بازیابی تصاویر بر اساس محتوا توسط: سید حمید امیری - منصور جم زاد

بازیابی تصاویر بر اساس محتوا مقدمه ویژگیهای تصاویر (رنگ – بافت شکل) معیارهای فاصله ترکیب چندین ویژگی بازیابی با استفاده از قطعه بندی

مقدمه محتوای تصاویر اطلاعات زیادی را فراهم می کند. بازیابی تصاویر: مسئله جستجو در یک پایگاه داده از تصاویر پرس و جو با کلمات کلیدی (Query By Keyword) نسبت دادن تعدادی کلمه به هر تصویر برای توصیف محتوای آن این کلمات شاخص بندی تصاویر را انجام می دهند. با داشتن یک کلمه در ورودی، تصاویر مرتبط با آن بازیابی می شوند.

مقدمه پرس و جو برحسب یک نمونه (Query By Example) کاربر در ورودی یک تصویر نمونه را فراهم می کند. سیستم تصاویر مرتبط با ورودی را بازیابی می کند.

بازیابی بر حسب نمونه

ویژگیهای تصاویر ویژگیهای مورد استفاده در سیستمهای بازیابی تصاویر: رنگ بافت شکل شکاف معنایی (semantic gap) عدم انطباق بین اطلاعات فراهم شده توسط بردارهای ویژگی تصاویر و تفسیر معنایی که کاربر در سطح بالا از محتوای تصویر دارد.

رنگ هیستوگرام رنگ به عنوان یک ویژگی کلی از تصویر محسوب می شود. فضای رنگ (RGB، Lab، HSV و...) در بازه های هیستوگرام کوانتیزه می شود. برای رنگ Ci، Hci(I) بیانگر تعداد پیکسلهای با رنگ Ci در تصویر I است. به عبارت دیگر Hci(I) بیانگر میزان possibility پیکسل در تصویر است. هیستوگرام رنگ پرکاربردترین ویژگی مورد استفاده است.

Bin-by-bin comparison مقایسه هیستوگرام ها در مقایسه هیستو گرام ها همواره فرض میشود که تعداد ستون هادر دو هیستوگرام با هم برابر هستند. It is assumed that two histograms have equal number of bins. However, a bin might contain zero, having no data. One simple difficulty of bin by bin comparison is that the bins next to each other have similar colors, and if one histogram does not have the exact correspoinding bin to other histogram, but has a one position shift in its bins, technically two images are very similar in color, but this method of bin-by-bin comparison does not give a good result. Bin-by-bin comparison Sensitive to bin size. Could use wider bins … … but at a loss of resolution Cross-bin comparison How much cross-bin influence is necessary/sufficient?

مقایسه هیستوگرام ها – مشکلات روش مقایسه ستون به ستون It is assumed that two histograms have equal number of bins. However, a bin might contain zero, having no data. One simple difficulty of bin by bin comparison is that The bins next to each other have similar colors, If one histogram does not have the exact corresponding bin to other histogram, but has a one position shift in its bins, technically these two images that are very similar in color, using this method of bin-by-bin comparison will not get a good result.

فاصله Minkowski فاصله Minkowski (Lp) بین دو نقطه P , Q : L1: فاصله Manhattan ، p=1 L2: فاصله اقلیدسی L: Chebyshev distance Manhattan Distance or City Block distance Euclidean Distance

مقایسه شباهت دو تصویر بر مبنای رنگ روشهای مختلفی برای مقایسه دو تصویر بر مبنای شباهت رنگ آندو وجود دارد. اکثر این روشها مقایسه را از طریق مقایسه دو هیستوگرام رنگ انجام میدهند. برای مقایسه دو هیستوگرام ، فاصله آندو از هم محاسبه میشود.

Quadratic Form Distance در سیستم QBIC (Query by Image Content) که توسط شرکت IBM ارائه شده است ، فاصله هیستوگرام دو تصویر I, Q از رابطه زیر محاسبه میشود: سیستم QBIC فرض میکند که تعداد ستون های هر دو هیستوگرام مساوی K است. بعلاوه در این سیستم ماتریس A از قبل ساخته شده است. dhist(I,Q) = ( h(I) - h(Q) )T A ( h(I) - h(Q) ) h(I) : هیستوگرام رنک با K بازه برای یک تصویر در پایگاه داده. h(Q) : هیستوگرام رنک با K بازه برای یک تصویر ورودی. A : ماتریس شباهت K x K شباهت هر دو رنگ موجود در هیستوگرام را به هم نشان میدهد. The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K.

Quadratic Form Distance مثال ماتریس A برای وقتیکه k=6 رنگ داریم. اعداد نزدیک به صفر عدم شباهت زیاد و اعداد نزدیک به 1 شباهت زیاد دو رنگ را نشان میدهند. The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K.

Quadratic Form Distance چون هر تصوير رنگي را به K سطح كوآنايز كرده ايم. بنابراين ماتريس A داراي بعد K×K است. براي هر رنگ در يك سطر شباهت آنرا به همه رنگ ها در ستون هاي 1,2, …, K با محاسبه معيار فاصله دو رنگ كه نرم دو بردار 3 عضوي (RGB, or YUV, YCbCr, …)‌ را محاسبه ميكند بدست مي آوريم. در اينجا فرض شده است كه فضاي رنگ در بازه [0,1] نرمالايز شده تا معيار فاصله نيز در بازه [0,1] نرمالايز بشود. The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K. فاصله دو رنگI, Q در مدل RGB

مقایسه دو هیستوگرام روشهای متعددی برای مقایسه دو هیستوکرام وجود دارد. از طرفی کار آئی روشهای CBIR تا حد زیادی به روش مقایسه دو هیستوگرام با هم دارد. یکی از روشهای موفق مقایسه دو هیستوگرام روش (EMD) Earth Mover Distance است.

(EMD) Earth Mover Distance با فرض اینک یک هیستو گرام توزیع آماری داده ها را نشان میدهد ، روش EMD با پاسخ به این سوال شروع میشود که مینیمم هزینه برای تبدیل یک توزیع به یک توزیع دیگر چقدر است ؟ البته با فرض اینکه دو هیستوگرام دارای تعداد ستون های یکسان هستند. ≠

فاصله Earth Mover (ادامه...) اگر مقداری از ستون اول بر داریم و بر روی ستون دوم قرار دهیم ، هیستوگرام سمت چپ با هیستوگرام سمت راست تبدیل میشود. ≠ The idea of EMD is that if one histogram is to be converted to another histogram, how much would be the cost. It is assumed that two histograms have equal number of bins. Bin number i i+1 i+2 i i+1 i+2

فاصله Earth Mover (ادامه...) = Now, these two histograms become identical این دو هیستوگرام با هم مساوی شدند.

فاصله Earth Mover (ادامه...) فاصله بین ستونی که از آن یک تکه کنده شده تا ستونی که تکه کنده شده بر روی آن قرار داده شده است. fij (amount moved) × (distance moved) = Distance moved, means the distance between the bin from which we have cut a piece, to the bin on which the cut portion is added. The cut potion is added on top of this bin. i j i j dij = distance moved from bin i to bin j

عملکرد EMD P Q (distance moved) × (amount moved) All movements n clusters Q P m clusters (distance moved) × (amount moved) Dij means the distance from bin i from which a portion is removed to bin j, to which the removed portion is added. Fij, is the amount of removed potion. Now , in general case, when P and Q have different number of bins, then to convert P to a similar version of Q, we shall remove a potion from bin I in P and put it on bin j in Q, such that the color of bin j is most similar to the color of bin I in P. Note that here dij is the distance between bins I and j. Since bin I and j represent two colors, then dij is the distnace between the two colors being represented by bins I and j. × (amount moved) The amount moved from bin i to bin j

عملکرد EMD شرط زیر بیانگر این است که انتقال تنها از P به Q صورت می گیرد. n clusters Q P m clusters P’ The amount being moved is non-negative. Q’

عملکرد EMD شرط زیر بیانگر این است که P نمی تواند بیش از موجودی خود انتقال دهد. تکه جدا شده از ستون i در P ممکن است بر روی چند ستون از Q قرار داده شود. چگونه میتوانیم ظرفیت ستون های دریافت کننده در Q که هر یک قسمتی از تکه جدا شده را دریافت میکنند، بدست آوریم. n clusters Q P m clusters P’ It means that the removed amount from bin i in P, might be distributed in more than one bin in Q. How to find the limit of each bin in Q to receive a portion from bin I in P.? Q’

شرط زیر بیانگر این است که Q نمی تواند بیش از موجودی خود دریافت کند: عملکرد EMD شرط زیر بیانگر این است که Q نمی تواند بیش از موجودی خود دریافت کند: محدودیت: حد اکثر مقداری که یک ستون از Q میتواند دریافت کند به اندازه مقدار همان ستون است. یعنی یک ستون از Q حد اکثر میتواند دوبرابر شود. n clusters Q P m clusters P’ The constrain added here that a bin in Q can receive at most the same amount, that is it can become double in size. Q’

عملکرد EMD شرط زیر بیانگر این است که تا جایی که می توان باید کار انتقال را انجام داد. n clusters Q P m clusters P’ Total amount of all bins in P Wpi is the amount of bin i in P, wqj is the amount of bin j in histogram Q. Thus, zigma (wpi) = the sum of all bins in histogram P. Total Amount of all bins in Q Q’

معیار EMD ابتدا تابع هدف زیر را با متغیرهای F و قیدهای ذکر شده بهینه می کنیم: In W(P,Q,F), F is the amount to be removed. EMD(P,Q) is a weighted mean of corresponding distance between bins i and j in two histograms. The EMD method find the minimum F such that all above 4 conditions are satisfied for it. It means that we covert P to Q with minimum amount of portion cuts from P. This minimum amount is seen as F as given in W(P,Q,F) EMD converts to an optimization problem which minimizes F with the constrans (1) to (4). In EMD(P,Q) f*ij is the optimum value found by the above mentioned optimization problem. To solve this optimization problem since all variables are linear, it uses linear programming methods for optimization. فاصله دو هیستوگرام به صورت روبروتعریف می شود:

معیار EMD ابتدا تابع هدف زیر را با متغیرهای W و قیدهای ذکر شده بهینه می کنیم: روش EMP حد اقل F را پیدا میکند بطوریکه 4 شرط فوق بر آورده شوند. یعنی تبدیل P به Q با حد اقل بریدن قسمت هائی از ستون ها در P انجام شود. این حد اقل مقدار توسط پارامتر F در رابطه W(P,Q,F) نشان داده شده است. بنابراین روش EMD یک مسئله بهینه سازی را به یک مسئله minimization تبدیل کرده است. برای حل این مسئله minimization از روش های برنامه ریزی خطی linear programming استفاده میشود. f*ij مقدار حد اقلی است که در این مسئله بهینه سازی پیدا شده است. In W(P,Q,F), F is the amount to be removed. EMD(P,Q) is a weighted mean of corresponding distance between bins i and j in two histograms. The EMD method find the minimum F such that all above 4 conditions are satisfied for it. It means that we covert P to Q with minimum amount of portion cuts from P. This minimum amount is seen as F as given in W(P,Q,F) EMD converts to an optimization problem which minimizes F with the constrans (1) to (4). In EMD(P,Q) f*ij is the optimum value found by the above mentioned optimization problem. To solve this optimization problem since all variables are linear, it uses linear programming methods for optimization.

مقایسه نتایج L1 distance Quadratic form distance Earth Mover Distance Query image 7 most similar images retrieved L1 distance Quadratic form distance Earth Mover Distance توجه کنید که در این روش، در تصاویر بازیابی شده تعداد بیشتری تصویر مشابه تصویر سوال پیدا شده است.

Color layout measure

Color layout measure بجای محاسبه هیستو گرام رنگ دو تصویر و سپس محاسبه فاصله دو هیستو گرام ، میتوانیم تصویر را به قطعات کوچکتر تقسیم کرد و مقایسه را بین قطعات متناظر انجام داد. ساده ترین روش قطعه بندی ، تقسیم تصویر به تعداد ثابت و هم اندازه بلوک است. برای هر بلوک مثلا 32×32 پیکسل یک رنگ میانگین محاسبه میشود. آنگاه مقایسه دو تصویر از روی شباهت رنگ های بلوک های متناظرآنها انجام میشود.

Color layout measure برای مقایسه دو تصویر I & Q ، رنگ هر بلوک از تصویر I با رنگ بلوک متناظرش در تصویر Q مقایسه میشود. فاصله رنگ دو بلوک بر روی همه بلوک ها و یا grid ها محاسبه میشود. The average color in a grid in image Q

Result of image database search in which the query is a painted grid. A tool to select color patches to construct a query image. The Query image. Note at it colors. It contains only 2 main colors (light blue and dark blue) Result of image database search in which the query is a painted grid. The numbers show the overall color distance between two images. Distance close to zero shows the highest similarity.

بافت .... برای بافت دو مسئله مهم است: نحوه نمایش بافت معیار فاصله مناسب بر اساس نمایش مورد استفاده برای نمایش بافت معمولا از بردارهای ویژگی که برای هر پیکسل و یا در یک ناحیه تعریف می شوند، استفاده می شود. ویژگیهای Co-occurrence ویژگیهای Law ویژگیهای Tamura ویژگیهای وابسته به لبه ....

فاصله Pick-and-Click کاربر، بافت مورد نظر را با کلیک کردن بر روی یک پیکسل و یا یک ناحیه انتخاب می کند. بردارهای ویژگی متناظر با ناحیه و یا پیکسل انتخاب شده استخراج می گردند. بردار ویژگی استخراج شده T(Q) با بردارهای ویژگی از قبل محاسبه شده T(i) برای تصاویر پایگاه داده مقایسه می شود: بردارهای ویژگی تصاویر پایگاه داده با همان روشی محاسبه شده اند که بردار ویژگی تصویر Query محاسبه میشود.

Texture feature vector calculated based on Laws texture measures. The query texture Retrieved Image from Database. The number Bellow an image Show the difference Between the feature vector Of query image And that image In database. The most Similar image

بافت فاصله Pick-and-click نمی تواند به صورت اتوماتیک فاصله دو تصویر را محاسبه کند. برای رفع این مشکل می توان، یک grid بر روی تصویر ورودی و تصاویر پایگاه داده قرار داد. سپس بردارهای ویژگی را برای مرکز گرید استخراج کرد. فاصله دو تصویر بر حسب بافت، بر اساس فاصله مرکز گرید های متناظر به صورت زیر تعریف می شود:

فیلتر گابور فیلتر گابور به دلیل خاصیت تفکیک پذیری خوب و چندگانه در حوزه مکان و فرکانس یک ابزار قوی برای تحلیل بافت است. تابع گابور دو بعدی و تبدیل فوریه آن به صورت زیر است: Gabor function Its Fourier transform

× تابع گابور یک بعدی: تابع گابور دو بعدی:

بانک فیلتر گابور موجکهای گابور از طریق گسترش (scale) و چرخش (orientation) موجک مادر (تابع گابور) به دست می آیند: Scale orientation

استخراج بردار ویژگی با استفاده از ضرایب تبدیل فیلتر گابور با اعمال هر یک از فیلترهای گابور بر روی تصویر ورودی و یا یک ناحیه از آن ، تعدادی تصویر فیلتر شده به دست می آید. برای هر تصویر فیلتر شده دو پارامتر میانگین و انحراف معیار محاسبه میشود که به عنوان ویژگی بافت مورد استفاده قرار می گیرند.

نتایج بازیابی تصویر با استفاده از بردار ویژگی مبتنی بر فیلترگابور Query Image 2 Query image 1

شکل فرض کنید که ناحیه متناظر با یک شی در تصویر مشخص شده باشد. Projection Matching: دو هیستوگرام افقی و عمودی تعریف می شود که هر بازه تعداد پیکسلهای متعلق به شکل مورد نظر در جهت افقی و یا عمودی را نگه می دارد.

شکل ویژگیهای Projection Matching: Size invariant: تعداد سطر و ستونهای قرار گرفته در bounding box اطراف شکل باید ثابت باشد. Translation invariant Rotation Invariant: باید محورهای یک بیضی برازش شده در اطراف شکل را به دست آورد و سپس بر اساس آنها شکل را چرخش داد. هیستوگرام های به دست آمده پس از اعمال نرمال سازی های فوق به عنوان ویژگی شکل مورد استفاده قرار می گیرند.

Using Fourier descriptor to describe a shape با داشتن مرز یک شکل می توان از توصیف کننده فوریه برای استخراج ویژگی استفاده کرد. مختصات مرز یک شکل با K نقطه به صورت یک دنباله از اعداد مختلط تبدیل می شود. (s(k), k=0,1,…,K-1) x(k) , y(k) مختصات x,y نقطه k بر روی مرز شکل است. تبدیل فوریه s(k) به صورت زیر است: The inverse DFT of a(u):

Fourier descriptor (ادامه...) اگر تنها از M ضریب ابتدایی تبدیل فوریه (a(0), a(1), …, a(M-1)) برای بازسازی مرز استفاده شود، جزئیات مرز شکل از بین خواهند رفت. هرچه M کوچکتر باشد، جزئیات بیشتری کنار گذاشته می شوند. Compression rate: R = M/K Original image R=30% R=20% R=10%

Fourier descriptor (ادامه...) ضرایب (a0, a1, …, aM-1) به عنوان Fourier Descriptor شناخته می شوند. فاصله توصیف کننده فوریه در تصویر ورودی و تصویر پایگاه داده به صورت زیر تعریف می شود: این فاصله یک معیار مقایسه شباهت برای دو شکل است.

Using Fourier descriptor to describe a shape بعلاوه اگر فرض کنیم مرز شکل با دنباله ای از m نقطه <V0, V1, … , Vm-1> توصیف شود ، میتوان از این m نقطه یک دنباله ای از k بردار واحد بشرح زیر تعریف میشود: توصیف کننده های فوریه برای بردار های واحد فوق از رابطه زیر تقریب زده میشوند.

Fourier descriptor (ادامه...) A user’s query shape Two examples of retrieved images

شباهت کلی شباهت کلی دو تصویر مجموع وزن دار فاصله های رنگ، بافت و شکل خواهد بود: معمولا اهمیت رنگ از بافت بیشتر است. همچنین بافت از شکل اهمیت بالاتری دارد. وزنهای ترکیب بر اساس اهمیت تعریف می شوند. Weight

شباهت بر اساس قطعه بندی فرض کنید که برای هر پیکسل یک بردار ویژگی تعریف شود: بردار رنگ (L, a, b) متناظر با هر پیکسل بردار بافت ضرایب Tamura بردار ویژگی برحسب خروجی فیلتر گابور ... می توان از یک الگوریتم قطعه بندی به عنوان پیش پردازش استفاده کرد. فاصله دو تصویر بر حسب فاصله قطعه های به دست آمده به دست می آید.

قطعه بندی بر اساس رنگ برای قطعه بندی رنگ بسیاری از الگوریتم ها مطرح شده است: MeanShift Graph-based JSEG نتایج MeanShift بر روی تصویر در فضای رنگی (L, a, b):

قطعه بندی بر اساس رنگ یکی از مسائی سخت پیش روی هر الگوریتم قطعه بندی پیدا کردن تعداد و شکل بهینه قطعه ها در هر تصویر برای کاربرد مورد نظر است. بعبارت دیگر تا چه حد میتوانیم از جزئیات موجود در تصویر صرف نظر کنیم.

قطعه بندی بافت برای قطعه بندی بافت می توان از الگوریتم های خوشه بندی مانند K-means استفاده کرد. فرض کنید که تصویر ورودی به بلاکهای 16×16 مجزا تقسیم شود. فیلتر گابور بر روی هر بلاک در چهار جهت و چهار مقیاس اعمال می شود. سپس میانگین و انحراف معیار هر یک از خروجی های فیلتر شده برای یک بلاک به دست می آید. این مقادیر به عنوان بردار ویژگی برای بلاک محسوب می شوند. اندازه بردار ویژگی 32 خواهد بود. (4×4 خروجی برای فیلتر گابور و دو مقدار میانگین و واریانس برای هر خروجی)

قطعه بندی بافت (مثال) می توان با استفاده از خوشه بندی k-means بر روی بردارهای ویژگیهای بلاکها، نواحی مشابه از نظر بافت را به دست آورد. در مثال زیر k=5 است و هر تصویر به پنج ناحیه تقسیم شده است.

فاصله تصاویر قطعه بندی شده برای هر ناحیه تصویر یک بردار ویژگی نماینده تعریف می شود که مساوی میانگین بردارهای ویژگی آن ناحیه است. می توان فرض کرد که مرکز نواحی از یک توزیع گوسی چند متغیره نمونه برداری شده اند: برای تخمین بردار میانگین و ماتریس کواریانس برای n بردار ویژگی در یک ناحیه خواهیم داشت:

فاصله Mahalanobis برای مقایسه دو تصویر، ابتدا بر روی هر یک از آنها یک توزیع گوسی چند متغیره مطابق بخش قبل برازش می کنیم. فرض کنید که پارامترهای توزیع های گوسی در دو تصویر x, y بر مبنای میانگین و کو واریانس آنها به شرح زیر باشند. فاصله دو تصویر x, y به صورت زیر تعریف خواهد شد: معیار فوق حالت خاصی از فاصله Mahalanobis است:

فاصله Mahalanobis (مثال) در صورت استفاده از فاصله اقلیدسی، نقطه B نسبت به C به نقطه A نزدیکتر است. Covariance Matrix: B A C A: (0.5, 0.5) B: (0, 1) C: (1.5, 1.5) Mahal(A,B) = 5 Mahal(A,C) = 4

فاصله Mahalanobis اگر فاصله نقاط زیر تا مرکز نمونه ها را محاسبه کنیم و به هر یک از آنها یک رنگ بر اساس این فاصله نسبت دهیم، شکل زیر را خواهیم داشت:

معرفی چند پایگاه داده Simplicity (WANG): Corel5k شامل 1000 تصویر طبیعی 10 دسته جداگانه با 100 تصویر در هر دسته آدرس: http://wang.ist.psu.edu/docs/related/ Corel5k شامل 5000 تصویر مجموعه جداگانه برای آموزش (4500 تصویر) و تست (500 تصویر) دارای برچسب برای تصاویر آدرس: http://kobus.ca/research/data/index.html

پایگاه داده ها (ادامه ...) UCID IRMA-10000 (تصاویر پزشکی) شامل 1338 تصویر مجموعه تست شامل 262 تصویر دارای برچسب آدرس: http://vision.doc.ntu.ac.uk/datasets/UCID/ucid.html IRMA-10000 (تصاویر پزشکی) شامل 10000 تصویر رادیوگرافی مجموعه آموزش شامل9000 تصویر و تست شامل 1000 تصویر آدرس: http://ganymed.imib.rwth-aachen.de/irma/

معیارهای ارزیابی فرض کنید که یک تصویر به عنوان query داده شود. با استفاده از سیستم بازیابی، n تصویر مشابه را از پایگاه داده بازیابی می کنیم. فرض کنید k تصویر از n تصویر به درستی بازیابی شده باشند. همچنین تعداد کل تصویرهای مرتبط با query در پایگاه داده m باشد. آنگاه برای ارزیابی روش بازیابی تصویر میتوانیم از معیارهای زیر استفاده کنیم: k k Precision= Recall= n m با میانگین گیری بر روی مقادیر precision و recall بدست آمده از تصاویر query مختلف، میانگین precision و میانگین recall برای ارزیابی نهایی سیستم بازیابی به کار می روند.

معیارهای ارزیابی Precision بیانگر میزان دقت سیستم بازیابی است. Recall بیانگر قدرت یادآوری سیستم Precision. This refers to the percentage of retrieved pictures that are relevant to the query. Recall. This pertains to the percentage of all the relevant pictures in the search database which are retrieved.