1. بازیابی تصاویر بر اساس محتوا
بسمه تعالی
بازیابی تصاویر بر اساس محتوا
توسط:
سید حمید امیری - منصور جم زاد

2. بازیابی تصاویر بر اساس محتوا
مقدمه
ویژگیهای تصاویر (رنگ – بافت شکل)
معیارهای فاصله
ترکیب چندین ویژگی
بازیابی با استفاده از قطعه بندی

3. مقدمه محتوای تصاویر اطلاعات زیادی را فراهم می کند.
بازیابی تصاویر: مسئله جستجو در یک پایگاه داده از تصاویر
پرس و جو با کلمات کلیدی (Query By Keyword)
نسبت دادن تعدادی کلمه به هر تصویر برای توصیف محتوای آن
این کلمات شاخص بندی تصاویر را انجام می دهند.
با داشتن یک کلمه در ورودی، تصاویر مرتبط با آن بازیابی می شوند.

4. مقدمه پرس و جو برحسب یک نمونه (Query By Example)
کاربر در ورودی یک تصویر نمونه را فراهم می کند.
سیستم تصاویر مرتبط با ورودی را بازیابی می کند.

5. بازیابی بر حسب نمونه

6. ویژگیهای تصاویر ویژگیهای مورد استفاده در سیستمهای بازیابی تصاویر:
رنگ
بافت
شکل
شکاف معنایی (semantic gap)
عدم انطباق بین اطلاعات فراهم شده توسط بردارهای ویژگی تصاویر و تفسیر معنایی که کاربر در سطح بالا از محتوای تصویر دارد.

7. رنگ هیستوگرام رنگ به عنوان یک ویژگی کلی از تصویر محسوب می شود.
فضای رنگ (RGB، Lab، HSV و...) در بازه های هیستوگرام کوانتیزه می شود.
برای رنگ Ci، Hci(I) بیانگر تعداد پیکسلهای با رنگ Ci در تصویر I است.
به عبارت دیگر Hci(I) بیانگر میزان possibility پیکسل در تصویر است.
هیستوگرام رنگ پرکاربردترین ویژگی مورد استفاده است.

8. Bin-by-bin comparison
مقایسه هیستوگرام ها در مقایسه هیستو گرام ها همواره فرض میشود که تعداد ستون هادر دو هیستوگرام با هم برابر هستند.
It is assumed that two histograms have equal number of bins. However, a bin might contain zero, having no data.
One simple difficulty of bin by bin comparison is that the bins next to each other have similar colors, and if one histogram does not have the exact correspoinding bin to other histogram, but has a one position shift in its bins, technically two images are very similar in color, but this method of bin-by-bin comparison does not give a good result.
Bin-by-bin comparison
Sensitive to bin size.
Could use wider bins … … but at a loss of resolution
Cross-bin comparison
How much cross-bin influence is necessary/sufficient?

9. مقایسه هیستوگرام ها – مشکلات روش مقایسه ستون به ستون
It is assumed that two histograms have equal number of bins.
However, a bin might contain zero, having no data.
One simple difficulty of bin by bin comparison is that
The bins next to each other have similar colors,
If one histogram does not have the exact corresponding bin to other histogram,
but has a one position shift in its bins, technically these two images that are very similar in color,
using this method of bin-by-bin comparison will not get a good result.

10. فاصله Minkowski فاصله Minkowski (Lp) بین دو نقطه P , Q :
L1: فاصله Manhattan ، p=1
L2: فاصله اقلیدسی
L: Chebyshev distance
Manhattan Distance or
City Block distance
Euclidean
Distance

11. مقایسه شباهت دو تصویر بر مبنای رنگ
روشهای مختلفی برای مقایسه دو تصویر بر مبنای شباهت رنگ آندو وجود دارد. اکثر این روشها مقایسه را از طریق مقایسه دو هیستوگرام رنگ انجام میدهند. برای مقایسه دو هیستوگرام ، فاصله آندو از هم محاسبه میشود.

12. Quadratic Form Distance
در سیستم QBIC (Query by Image Content) که توسط شرکت IBM ارائه شده است ، فاصله هیستوگرام دو تصویر I, Q از رابطه زیر محاسبه میشود:
سیستم QBIC فرض میکند که تعداد ستون های هر دو هیستوگرام مساوی K است.
بعلاوه در این سیستم ماتریس A از قبل ساخته شده است.
dhist(I,Q) = ( h(I) - h(Q) )T A ( h(I) - h(Q) )
h(I) : هیستوگرام رنک با K بازه برای یک تصویر در پایگاه داده.
h(Q) : هیستوگرام رنک با K بازه برای یک تصویر ورودی.
A : ماتریس شباهت K x K
شباهت هر دو رنگ موجود در هیستوگرام را به هم نشان میدهد.
The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K.

13. Quadratic Form Distance
مثال ماتریس A برای وقتیکه k=6 رنگ داریم.
اعداد نزدیک به صفر عدم شباهت زیاد و
اعداد نزدیک به 1 شباهت زیاد دو رنگ را نشان میدهند.
The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K.

14. Quadratic Form Distance
چون هر تصوير رنگي را به K سطح كوآنايز كرده ايم. بنابراين ماتريس A داراي بعد K×K است.
براي هر رنگ در يك سطر شباهت آنرا به همه رنگ ها در ستون هاي 1,2, …, K با محاسبه معيار فاصله دو رنگ كه نرم دو بردار 3 عضوي
(RGB, or YUV, YCbCr, …)‌ را محاسبه ميكند بدست مي آوريم.
در اينجا فرض شده است كه فضاي رنگ در بازه [0,1] نرمالايز شده تا معيار فاصله نيز در بازه [0,1] نرمالايز بشود.
The QBIC system has a default for K, that is the number of bins in the histogram. It has also constructed the matrix A of size k*K.
فاصله دو رنگI, Q در مدل RGB

15. مقایسه دو هیستوگرام روشهای متعددی برای مقایسه دو هیستوکرام وجود دارد.
از طرفی کار آئی روشهای CBIR تا حد زیادی به روش مقایسه دو هیستوگرام با هم دارد.
یکی از روشهای موفق مقایسه دو هیستوگرام روش
(EMD) Earth Mover Distance است.

16. (EMD) Earth Mover Distance
با فرض اینک یک هیستو گرام توزیع آماری داده ها را نشان میدهد ،
روش EMD با پاسخ به این سوال شروع میشود که
مینیمم هزینه برای تبدیل یک توزیع به یک توزیع دیگر چقدر است ؟
البته با فرض اینکه دو هیستوگرام دارای تعداد ستون های یکسان هستند. ≠

17. فاصله Earth Mover (ادامه...)
اگر مقداری از ستون اول بر داریم و بر روی ستون دوم قرار دهیم ، هیستوگرام سمت چپ با هیستوگرام سمت راست تبدیل میشود. ≠
The idea of EMD is that if one histogram is to be converted to another histogram, how much would be the cost.
It is assumed that two histograms have equal number of bins.
Bin number i i+1 i i i+1 i+2

18. فاصله Earth Mover (ادامه...)=
Now, these two histograms become identical
این دو هیستوگرام با هم مساوی شدند.

19. فاصله Earth Mover (ادامه...)
فاصله بین ستونی که از آن یک تکه کنده شده تا ستونی که تکه کنده شده بر روی آن قرار داده شده است.
fij
(amount moved) × (distance moved) =
Distance moved, means the distance between the bin from which we have cut a piece, to the bin on which the cut portion is added.
The cut potion is
added on top of this bin. i j i j
dij = distance moved from bin i to bin j

20. عملکرد EMD P Q (distance moved) × (amount moved) All movements
n clusters Q P
m clusters
(distance moved) × (amount moved)
Dij means the distance from bin i from which a portion is removed to bin j, to which the removed portion is added.
Fij, is the amount of removed potion.
Now , in general case, when P and Q have different number of bins, then to convert P to a similar version of Q, we shall remove a potion from bin I in P and put it on bin j in Q, such that the color of bin j is most similar to the color of bin I in P. Note that here dij is the distance between bins I and j. Since bin I and j represent two colors, then dij is the distnace between the two colors being represented by bins I and j.
× (amount moved)
The amount moved from bin i to bin j

21. عملکرد EMD
شرط زیر بیانگر این است که انتقال تنها از P به Q صورت می گیرد.
n clusters Q P
m clusters P’
The amount
being moved is
non-negative. Q’

22. عملکرد EMD
شرط زیر بیانگر این است که P نمی تواند بیش از موجودی خود انتقال دهد.
تکه جدا شده از ستون i در P ممکن است بر روی چند ستون از Q قرار داده شود.
چگونه میتوانیم ظرفیت ستون های دریافت کننده در Q که هر یک
قسمتی از تکه جدا شده را دریافت میکنند، بدست آوریم.
n clusters Q P
m clusters P’
It means that the removed amount from bin i in P, might be distributed in more than one bin in Q. How to find the limit of each bin in Q to receive a portion from bin I in P.? Q’

23. شرط زیر بیانگر این است که Q نمی تواند بیش از موجودی خود دریافت کند:
عملکرد EMD
شرط زیر بیانگر این است که Q نمی تواند بیش از موجودی خود دریافت کند:
محدودیت: حد اکثر مقداری که یک ستون از Q میتواند دریافت کند به اندازه مقدار همان ستون است.
یعنی یک ستون از Q حد اکثر میتواند دوبرابر شود.
n clusters Q P
m clusters P’
The constrain added here that a bin in Q can receive at most the same amount, that is it can become double in size. Q’

24. عملکرد EMD
شرط زیر بیانگر این است که تا جایی که می توان باید کار انتقال را انجام داد.
n clusters Q P
m clusters P’
Total
amount
of all bins
in P
Wpi is the amount of bin i in P, wqj is the amount of bin j in histogram Q.
Thus, zigma (wpi) = the sum of all bins in histogram P.
Total
Amount
of all bins
in Q Q’

25. معیار EMD
ابتدا تابع هدف زیر را با متغیرهای F و قیدهای ذکر شده بهینه می کنیم:
In W(P,Q,F), F is the amount to be removed. EMD(P,Q) is a weighted mean of corresponding distance between bins i and j in two histograms.
The EMD method find the minimum F such that all above 4 conditions are satisfied for it.
It means that we covert P to Q with minimum amount of portion cuts from P. This minimum amount is seen as F as given in W(P,Q,F)
EMD converts to an optimization problem which minimizes F with the constrans (1) to (4).
In EMD(P,Q) f*ij is the optimum value found by the above mentioned optimization problem.
To solve this optimization problem since all variables are linear, it uses linear programming methods for optimization.
فاصله دو هیستوگرام به صورت روبروتعریف می شود:

26. معیار EMD
ابتدا تابع هدف زیر را با متغیرهای W و قیدهای ذکر شده بهینه می کنیم:
روش EMP حد اقل F را پیدا میکند بطوریکه 4 شرط فوق بر آورده شوند.
یعنی تبدیل P به Q با حد اقل بریدن قسمت هائی از ستون ها در P انجام شود.
این حد اقل مقدار توسط پارامتر F در رابطه W(P,Q,F) نشان داده شده است.
بنابراین روش EMD یک مسئله بهینه سازی را به یک مسئله minimization تبدیل کرده است.
برای حل این مسئله minimization از روش های برنامه ریزی خطی linear programming استفاده میشود.
f*ij مقدار حد اقلی است که در این مسئله بهینه سازی پیدا شده است.
In W(P,Q,F), F is the amount to be removed. EMD(P,Q) is a weighted mean of corresponding distance between bins i and j in two histograms.
The EMD method find the minimum F such that all above 4 conditions are satisfied for it.
It means that we covert P to Q with minimum amount of portion cuts from P. This minimum amount is seen as F as given in W(P,Q,F)
EMD converts to an optimization problem which minimizes F with the constrans (1) to (4).
In EMD(P,Q) f*ij is the optimum value found by the above mentioned optimization problem.
To solve this optimization problem since all variables are linear, it uses linear programming methods for optimization.

27. مقایسه نتایج L1 distance Quadratic form distance Earth Mover Distance
Query
image
7 most similar images retrieved
L1 distance
Quadratic form distance
Earth Mover Distance
توجه کنید که در این روش، در تصاویر بازیابی شده تعداد بیشتری تصویر مشابه تصویر سوال پیدا شده است.

28. Color layout measure

29. Color layout measure
بجای محاسبه هیستو گرام رنگ دو تصویر و سپس محاسبه فاصله دو هیستو گرام ،
میتوانیم تصویر را به قطعات کوچکتر تقسیم کرد و مقایسه را بین قطعات متناظر انجام داد.
ساده ترین روش قطعه بندی ، تقسیم تصویر به تعداد ثابت و هم اندازه بلوک است. برای هر بلوک مثلا 32×32 پیکسل یک رنگ میانگین محاسبه میشود.
آنگاه مقایسه دو تصویر از روی شباهت رنگ های بلوک های متناظرآنها انجام میشود.

30. Color layout measure
برای مقایسه دو تصویر I & Q ، رنگ هر بلوک از تصویر I با رنگ بلوک متناظرش در تصویر Q مقایسه میشود.
فاصله رنگ دو بلوک بر روی
همه بلوک ها و یا grid ها محاسبه میشود.
The average color in a grid in image Q

31. Result of image database search in which the query is a painted grid.
A tool to select
color patches to
construct a
query image.
The Query image.
Note at it colors. It contains only 2 main colors (light blue and dark blue)
Result of image database search in which the query is a painted grid.
The numbers show
the overall color
distance between
two images.
Distance close to zero
shows the highest
similarity.

32. بافت .... برای بافت دو مسئله مهم است:
نحوه نمایش بافت
معیار فاصله مناسب بر اساس نمایش مورد استفاده
برای نمایش بافت معمولا از بردارهای ویژگی که برای هر پیکسل و یا در یک ناحیه تعریف می شوند، استفاده می شود.
ویژگیهای Co-occurrence
ویژگیهای Law
ویژگیهای Tamura
ویژگیهای وابسته به لبه
....

33. فاصله Pick-and-Click
کاربر، بافت مورد نظر را با کلیک کردن بر روی یک پیکسل و یا یک ناحیه انتخاب می کند.
بردارهای ویژگی متناظر با ناحیه و یا پیکسل انتخاب شده استخراج می گردند.
بردار ویژگی استخراج شده T(Q) با بردارهای ویژگی از قبل محاسبه شده T(i) برای تصاویر پایگاه داده مقایسه می شود:
بردارهای ویژگی تصاویر پایگاه داده با همان روشی محاسبه شده اند که بردار ویژگی تصویر Query محاسبه میشود.

34. Texture feature vector calculated based on Laws texture measures.
The query
texture
Retrieved
Image from
Database.
The number
Bellow an image
Show the difference
Between the
feature vector
Of query image
And that image
In database.
The most
Similar
image

35. بافت
فاصله Pick-and-click نمی تواند به صورت اتوماتیک فاصله دو تصویر را محاسبه کند.
برای رفع این مشکل می توان، یک grid بر روی تصویر ورودی و تصاویر پایگاه داده قرار داد.
سپس بردارهای ویژگی را برای مرکز گرید استخراج کرد.
فاصله دو تصویر بر حسب بافت، بر اساس فاصله مرکز گرید های متناظر به صورت زیر تعریف می شود:

36. فیلتر گابور
فیلتر گابور به دلیل خاصیت تفکیک پذیری خوب و چندگانه در حوزه مکان و فرکانس یک ابزار قوی برای تحلیل بافت است.
تابع گابور دو بعدی و تبدیل فوریه آن به صورت زیر است:
Gabor
function
Its
Fourier
transform

37. ×
تابع گابور یک بعدی:
تابع گابور دو بعدی:

38. بانک فیلتر گابور
موجکهای گابور از طریق گسترش (scale) و چرخش (orientation) موجک مادر (تابع گابور) به دست می آیند:
Scale
orientation

39. استخراج بردار ویژگی با استفاده از ضرایب تبدیل فیلتر گابور
با اعمال هر یک از فیلترهای گابور بر روی تصویر ورودی و یا یک ناحیه از آن ، تعدادی تصویر فیلتر شده به دست می آید.
برای هر تصویر فیلتر شده دو پارامتر میانگین و انحراف معیار محاسبه میشود که به عنوان ویژگی بافت مورد استفاده قرار می گیرند.

40. نتایج بازیابی تصویر با استفاده از بردار ویژگی مبتنی بر فیلترگابور
Query
Image 2
Query
image 1

41. شکل فرض کنید که ناحیه متناظر با یک شی در تصویر مشخص شده باشد.
Projection Matching:
دو هیستوگرام افقی و عمودی تعریف می شود که هر بازه تعداد پیکسلهای متعلق به شکل مورد نظر در جهت افقی و یا عمودی را نگه می دارد.

42. شکل ویژگیهای Projection Matching:
Size invariant: تعداد سطر و ستونهای قرار گرفته در bounding box اطراف شکل باید ثابت باشد.
Translation invariant
Rotation Invariant: باید محورهای یک بیضی برازش شده در اطراف شکل را به دست آورد و سپس بر اساس آنها شکل را چرخش داد.
هیستوگرام های به دست آمده پس از اعمال نرمال سازی های فوق به عنوان ویژگی شکل مورد استفاده قرار می گیرند.

43. Using Fourier descriptor to describe a shape
با داشتن مرز یک شکل می توان از توصیف کننده فوریه برای استخراج ویژگی استفاده کرد.
مختصات مرز یک شکل با K نقطه به صورت یک دنباله از اعداد مختلط تبدیل می شود. (s(k), k=0,1,…,K-1)
x(k) , y(k) مختصات x,y نقطه k بر روی مرز شکل است.
تبدیل فوریه s(k) به صورت زیر است:
The inverse DFT of a(u):

44. Fourier descriptor (ادامه...)
اگر تنها از M ضریب ابتدایی تبدیل فوریه (a(0), a(1), …, a(M-1)) برای بازسازی مرز استفاده شود، جزئیات مرز شکل از بین خواهند رفت.
هرچه M کوچکتر باشد، جزئیات بیشتری کنار گذاشته می شوند.
Compression rate: R = M/K
Original image
R=30%
R=20%
R=10%

45. Fourier descriptor (ادامه...)
ضرایب (a0, a1, …, aM-1) به عنوان Fourier Descriptor شناخته می شوند.
فاصله توصیف کننده فوریه در تصویر ورودی و تصویر پایگاه داده به صورت زیر تعریف می شود:
این فاصله یک معیار مقایسه شباهت برای دو شکل است.

46. Using Fourier descriptor to describe a shape
بعلاوه اگر فرض کنیم مرز شکل با دنباله ای از m نقطه <V0, V1, … , Vm-1>
توصیف شود ، میتوان از این m نقطه یک دنباله ای از k بردار واحد بشرح زیر تعریف میشود:
توصیف کننده های فوریه برای بردار های واحد فوق از رابطه زیر تقریب زده میشوند.

47. Fourier descriptor (ادامه...)
A user’s query shape
Two examples of retrieved images

48. شباهت کلی
شباهت کلی دو تصویر مجموع وزن دار فاصله های رنگ، بافت و شکل خواهد بود:
معمولا اهمیت رنگ از بافت بیشتر است.
همچنین بافت از شکل اهمیت بالاتری دارد.
وزنهای ترکیب بر اساس اهمیت تعریف می شوند.
Weight

49. شباهت بر اساس قطعه بندی
فرض کنید که برای هر پیکسل یک بردار ویژگی تعریف شود:
بردار رنگ (L, a, b) متناظر با هر پیکسل
بردار بافت ضرایب Tamura
بردار ویژگی برحسب خروجی فیلتر گابور
...
می توان از یک الگوریتم قطعه بندی به عنوان پیش پردازش استفاده کرد.
فاصله دو تصویر بر حسب فاصله قطعه های به دست آمده به دست می آید.

50. قطعه بندی بر اساس رنگ
برای قطعه بندی رنگ بسیاری از الگوریتم ها مطرح شده است:
MeanShift
Graph-based
JSEG
نتایج MeanShift بر روی تصویر در فضای رنگی (L, a, b):

51. قطعه بندی بر اساس رنگ
یکی از مسائی سخت پیش روی هر الگوریتم قطعه بندی پیدا کردن
تعداد و شکل بهینه قطعه ها در هر تصویر برای کاربرد مورد نظر است.
بعبارت دیگر تا چه حد میتوانیم از جزئیات موجود در تصویر صرف نظر کنیم.

52. قطعه بندی بافت
برای قطعه بندی بافت می توان از الگوریتم های خوشه بندی مانند K-means استفاده کرد.
فرض کنید که تصویر ورودی به بلاکهای 16×16 مجزا تقسیم شود.
فیلتر گابور بر روی هر بلاک در چهار جهت و چهار مقیاس اعمال می شود.
سپس میانگین و انحراف معیار هر یک از خروجی های فیلتر شده برای یک بلاک به دست می آید.
این مقادیر به عنوان بردار ویژگی برای بلاک محسوب می شوند.
اندازه بردار ویژگی 32 خواهد بود. (4×4 خروجی برای فیلتر گابور و دو مقدار میانگین و واریانس برای هر خروجی)

53. قطعه بندی بافت (مثال)
می توان با استفاده از خوشه بندی k-means بر روی بردارهای ویژگیهای بلاکها، نواحی مشابه از نظر بافت را به دست آورد.
در مثال زیر k=5 است و هر تصویر به پنج ناحیه تقسیم شده است.

54. فاصله تصاویر قطعه بندی شده
برای هر ناحیه تصویر یک بردار ویژگی نماینده تعریف می شود که مساوی میانگین بردارهای ویژگی آن ناحیه است.
می توان فرض کرد که مرکز نواحی از یک توزیع گوسی چند متغیره نمونه برداری شده اند:
برای تخمین بردار میانگین و ماتریس کواریانس برای n بردار ویژگی در یک ناحیه خواهیم داشت:

55. فاصله Mahalanobis
برای مقایسه دو تصویر، ابتدا بر روی هر یک از آنها یک توزیع گوسی چند متغیره مطابق بخش قبل برازش می کنیم.
فرض کنید که پارامترهای توزیع های گوسی در دو تصویر x, y بر مبنای میانگین و کو واریانس آنها به شرح زیر باشند.
فاصله دو تصویر x, y به صورت زیر تعریف خواهد شد:
معیار فوق حالت خاصی از فاصله Mahalanobis است:

56. فاصله Mahalanobis (مثال)
در صورت استفاده از فاصله اقلیدسی، نقطه B نسبت به C به نقطه A نزدیکتر است.
Covariance Matrix: B A C
A: (0.5, 0.5)
B: (0, 1)
C: (1.5, 1.5)
Mahal(A,B) = 5
Mahal(A,C) = 4

57. فاصله Mahalanobis
اگر فاصله نقاط زیر تا مرکز نمونه ها را محاسبه کنیم و به هر یک از آنها یک رنگ بر اساس این فاصله نسبت دهیم، شکل زیر را خواهیم داشت:

58. معرفی چند پایگاه داده Simplicity (WANG): Corel5k شامل 1000 تصویر طبیعی
10 دسته جداگانه با 100 تصویر در هر دسته
آدرس:
Corel5k
شامل 5000 تصویر
مجموعه جداگانه برای آموزش (4500 تصویر) و تست (500 تصویر)
دارای برچسب برای تصاویر
آدرس:

59. پایگاه داده ها (ادامه ...) UCID IRMA-10000 (تصاویر پزشکی)
شامل 1338 تصویر
مجموعه تست شامل 262 تصویر
دارای برچسب
آدرس:
IRMA (تصاویر پزشکی)
شامل تصویر رادیوگرافی
مجموعه آموزش شامل9000 تصویر و تست شامل 1000 تصویر
آدرس:

60. معیارهای ارزیابی فرض کنید که یک تصویر به عنوان query داده شود.
با استفاده از سیستم بازیابی، n تصویر مشابه را از پایگاه داده بازیابی می کنیم.
فرض کنید k تصویر از n تصویر به درستی بازیابی شده باشند.
همچنین تعداد کل تصویرهای مرتبط با query در پایگاه داده m باشد.
آنگاه برای ارزیابی روش بازیابی تصویر میتوانیم از معیارهای زیر استفاده کنیم: k k
Precision=
Recall= n m
با میانگین گیری بر روی مقادیر precision و recall بدست آمده از تصاویر query مختلف،
میانگین precision و میانگین recall برای ارزیابی نهایی سیستم بازیابی به کار می روند.

61. معیارهای ارزیابی Precision بیانگر میزان دقت سیستم بازیابی است.
Recall بیانگر قدرت یادآوری سیستم
Precision. This refers to the percentage of retrieved pictures
that are relevant to the query.
Recall. This pertains to the percentage of all the relevant pictures
in the search database which are retrieved.