1. Decision Tree

2. تعریف
درختی با درجه دلخواه است که برای دسته بندی نمونه ها استفاده می شود.
هر نود برگ، یک دسته بندی از نمونه ها یا تصمیم را ارائه می کند.
هر نود غیربرگ، یک ویژگی تست یا در واقع یک انتخاب بین چندین آلترناتیو را ارائه می کند.

3. مثال
درخت تصمیم گیری برای کمک به یک موسسه مالی در تصمیم برای اینکه به شخصی وام بدهد یا نه

4. مثالی برای ساخت درخت تصمیم گیری
7 نمونه داریم و 3 ویژگی و نمونه ها در دو کلاس دسته بندی می شوند.
ویژگیها و ارزشهای آنها:
size: small medium large
colour: red blue green
shape: brick wedge sphere pillar
کلاسها:
کلاس yes:
medium blue brick
small red sphere
large green pillar
large green sphere
کلاس no:
small red wedge
large red wedge
large red pillar

5. الگوریتم استنتاج درخت
الگوریتم بر روی مجموعه نمونه های training ِ C عمل می کند.
اگر تمام نمونه ها متعلق به یک کلاس باشند، نود مربوط به آن کلاس را ایجاد کرده و متوقف می شود.
در غیر این صورت یک ویژگی را انتخاب کرده و نود تصمیم گیری مربوط به آن را ایجاد می کند.
و مطابق با ارزشهای آن، نمونه های training ِ C را به چند بخش تقسیم می کند. و به همین ترتیب ادامه می دهد.

6. الگوریتم استنتاج درخت
این الگوریتم با if های تو در تو قابل پیاده سازی است.
if (shape == wedge) return no;
if (shape == brick) return yes;
if (shape == pillar)
{ if (colour == red) return no;
if (colour == green) return yes; }
if (shape == sphere) return yes;

7. خروجی الگوریتم

8. الگوریتم های ساخت Decision Tree
الگوریتم ID3
الگوریتم C4.5
الگوریتم C5
الگوریتم Bagging
الگوریتم Boostering

9. انتخاب ویژگیها در الگوریتم ID3
پیچیدگی درخت بستگی به ترتیب انتخاب ویژگیها دارد.
ID3 از تئوری اطلاعات برای تعیین میزان اطلاع دهندگی ویژگی استفاده می کند.
میزان محتوای اطلاعات پیغام، معکوس احتمال دریافت آن پیغام می باشد.
information1(M) = 1/probability(M)
تعداد بیتهای لازم برای انکود پیغام از رابطه زیر بدست می آید:
Information(M) = -log2 (probability(M))

10. Entropy میانگین میزان اطلاعات در واحد بیت را برای ویژگیها بیان می کند.
-ΣP log2P

11. الگوریتم ID3
ویژگیها را برای اضافه کردن در سطح بعدی درخت با استفاده از محاسبه entropy بررسی کنید.
ویژگیی را انتخاب کنید که entropy را مینیمم کند.

12. مثال (استفاده از الگوریتم ID3)
درخت تصمیم گیری اولیه شامل یک نود با تمام جوابها است.
4 خروجی مثبت و 3 خروجی منفی داریم.
بنابراین احتمال جوابهای مثبت 7/4=0.57 و احتمال جوابهای منفی 7/3=0.43 است.
Entropy:
- (0.57 * log 0.57) - (0.43 * log 0.43) = 0.99
ویژگیهای مختلف را انتخاب کرده و entropy آنها را بدست می آوریم.
سایز: سه ارزش بزرگ، متوسط و کوچک دارد.
4 نمونه با سایز بزرگ داریم که خروجی 2 تای آن مثبت و 2 تای دیگر منفی است. و entropy آن برابر است با:
- (0.5 * log 0.5) - (0.5 * log 0.5) = 1
2 نمونه با سایز کوچک داریم که خروجی یکی مثبت و دیگری منفی است. و entropy آن برابر است با:
1 نمونه با سایز متوسط داریم که خروجی آن مثبت است. و entropy آن برابر است با صفر.
میزان اطلاعات مورد انتظار برای شکستن بر روی سایز برابر است با:
1*4/7+1*2/7+0*1/7=0.86
رنگ: میزان اطلاعات مورد انتظار برای شکستن بر روی آن برابر است با: 0.48
شکل: میزان اطلاعات مورد انتظار برای شکستن بر روی آن برابر است با: 0.3
بنابراین شکل را انتخاب می کنیم.
برای تمام زیر درختها نیز این عمل را تکرار می کنیم.

13. فهرست منابع
Lucas Ballard, “Topics in Machine Learning: Decision Tree Learning”. 9/18/02