lیک الگوریتم یادگیری با استفاده از داده های آموزشی فرضیه ای را بوجود میآورد . قبل از استفاده از این فرضیه ممکن است که لازم شود تا دقت این فرضیه مورد ارزیابی قرار گیرد.
اینکار از دو جهت اهمیت دارد:
1.دقت فرضیه را برای مثالهای نادیده حدس بزنیم.
2.گاهی اوقات ارزیابی فرضیه جزئی از الگوریتم یادگیری است: مثل حرس کردن درخت تصمیم.
روشهای آماری
lدر این فصل سعی میشود تا روشهای آماری مناسب برای حدس زدن دقت فرضیه ها معرفی گردند. مبنای کار در جهت پاسخگوئی به سه سوال زیر است:
1.اگر دقت یک فرضیه برای داده های محدودی معلوم باشد دقت آن برای سایر مثالها چه قدر خواهد بود؟
2.اگر یک فرضیه برای داده های محدودی بهتر از فرضیه دیگری عمل کند احتمال اینکه این وضعیت در حالت کلی نیز صادق باشد چقدر است؟
3.وقتی که داده آموزشی اندکی موجود باشد بهترین راه برای اینکه هم فرضیه را یاد بگیریم و هم دقت آنرا اندازه گیری کنیم چیست؟
کمی داده های آموزشی
lوقتی که داده آموزشی محدود باشد این امکان وجود دارد که این مثالها نشان دهنده توزیع کلی داده ها نباشند
مشکل کمی داده
lوقتی که یادگیری با استفاده از داده های محدودی انجام میشود دو مشکل ممکن است رخ دهند:
Bias in the estimate
دقت یک فرضیه بر روی مثالهای آموزشی تخمین مناسبی برای دقت آن برای مثالهای نادیده نیست. زیرا فرضیه یاد گرفته شده بر اساس این داده ها برای مثالهای آتی بصورت optimistic عمل خواهد نمود. برای رهائی از این امر میتوان از مجموعه داده ها ی تست استفاده کرد.
Variance in the estimate
حتی با وجود استفاده از مجموعه تست این امکان وجود دارد که خطای اندازه گیری شده با خطای واقعی اختلاف داشته باشد
مقدمه ای بر تئوری نمونه برداری
مروری بر بحثهای زیر
میانگین
واریانس
توزیع دوجمله ای
توزیع نرمال
فواصل یک طرفه و دو طرفه
تخمین خطا
سوال: تاثیر اندازه داده های نمونه بر اختلاف بین خطای نمونه و خطای واقعی چیست؟
در واقع پاسخ این سوال را متخصصین آمار داده اند!
میتوان اندازه گیری خطای نمونه را به آزمایشی با نتیجه تصادفی تشبیه کرد. اگر به دفعات نمونه با توزیع احتمال D بصورت تصادفی انتخاب و خطای نمونه برای هر کدام اندازه گیری شود، بعلت متفاوت بودن نمونه ها مقدار خطا نیز متفاوت خواهد بود. نتیجه حاصل از هر آزمایش یک متغیر تصادفی خواهد بود.
چنین آزمایشی را میتوان با استفاده از توزیع دو جمله ای توصیف نمود.
شامل 37 اسلاید powerpoint
دانلود پاورپوینت ارزیابی فرضیه ها