پایان نامه درباره ، نهان، لایههای، پیشبینی، درختهای، گرههای، رگرسیون، دستهبندی

نوید بخشترین زمینههای توسعه بین رشته ای در صنعت اطلاعات است.
2-1-1دستهبندیدر مسائل دستهبندی هدف شناسایی ویژگیهایی است که گروهی را که هر مورد به آن تعلق دارد را نشان دهند. از این الگو میتوان هم برای فهم دادههای موجود و هم پیشبینی نحوه رفتار داده جدید استفاده کرد.

شکل 2-1: معماری یک نمونه سیستم دادهکاوی REF _Ref373614574 r ‎[3]
دادهکاوی مدلهای دستهبندی را با بررسی دادههای دستهبندی شده قبلی ایجاد میکند و یک الگوی پیشبینی کننده را بصورت استقرایی ایجاد مینماید. این موارد موجود ممکن است از یک پایگاه داده تاریخی آمده باشندREF _Ref373615136 r h‎[5].
2-2مدلها و الگوريتمهای دادهکاویدر این بخش قصد داریم مهمترین الگوریتمها و مدلهای دادهکاوی را بررسی کنیم. بسیاری از محصولات تجاری دادهکاوی از مجموعه از این الگوریتم ها استفاده میکنند و معمولا هر کدام آنها در یک بخش خاص قدرت دارند و برای استفاده از یکی از آنها باید بررسی های لازم در جهت انتخاب متناسبترین محصول توسط گروه متخصص در نظر گرفته شود.نکته مهم دیگر این است که در بین این الگوریتم ها و مدل ها ، بهترین وجود ندارد و با توجه به دادهها و کارایی مورد نظر باید مدل انتخاب گردد.
2-2-1 شبکههای عصبیهر شبکه عصبی شامل یک لایه ورودیمیباشد که هر گره در این لایه معادل یکی از متغیرهای پیشبینی میباشد. گرههای موجود در لایه میانی به تعدادی گره در لایه نهانوصل میشوند. هر گره ورودی به همه گرههای لایه نهان وصل میشود.
گرههای موجود در لایه نهان میتوانند به گرههای یک لایه نهان دیگر وصل شوند یا میتوانند به لایه خروجیوصل شوند.
لایه خروجی شامل یک یا چند متغیر خروجی می باشد
هر یال که بین نود هایX,Y میباشد دارای یک وزن است که با Wx,y نمایش داده میشود. این وزن ها در محاسبات لایههای میانی استفاده میشوند و طرز استفاده آنها به این صورت است که هر نود در لایههای میانی (لایههای غیر از لایه اول) دارای چند ورودی از چند یال مختلف میباشد که همانطور که گفته شد هر کدام یک وزن خاص دارند.
هر نود لایه میانی میزان هر ورودی را در وزن یال مربوطه آن ضرب میکند و حاصل این ضربها را با هم جمع میکند و سپس یک تابع از پیش تعیین شده (تابع فعالسازی) روی این حاصل اعمال میکند و نتیجه را به عنوان خروجی به نودهای لایه بعد میدهد.
وزن یالها پارامترهای ناشناختهای هستند که توسط تابع آموزش و دادههای آموزشی که به سیستم داده میشود تعیین میگردند.
تعداد گرهها و تعداد لایههای نهان و نحوه وصل شدن گرهها به یکدیگر معماری(توپولوژی) شبکه عصبی را مشخص میکند.کاربر یا نرم افزاری که شبکهعصبی را طراحی میکند باید تعداد گرهها ، تعداد لایههای نهان ، تابع فعالسازی و محدودیتهای مربوط به وزن یالها را مشخص کند[3].

شکل 2-2: Wx,yوزن یال بین X و Y است[3].
از مهمترین انواع شبکههای عصبی شبکه انتشار به جلو و شبکه انتشار به عقب میباشد که در اینجا به اختصار آنرا توضیح میدهیم.
انتشار به جلو به معنی این است که مقدار پارامتر خروجی براساس پارامترهای ورودی و یک سری وزن های اولیه تعیین می گردد. مقادیر ورودی با هم ترکیب شده و در لایههای نهان استفاده میشوند و مقادیر این لایههای نهان نیز برای محاسبه مقادیر خروجی ترکیب می شوند[3].
انتشار به عقب خطای خروجی با مقایسه مقدار خروجی با مقدار مد نظر در دادههای آزمایشی محاسبه می گردد و این مقدار برای تصحیح شبکه و تغییر وزن یالها استفاده میگردد و از گره خروجی شروع شده و به عقب محاسبات ادامه می یابد.
این عمل برای هر رکورد موجود در بانک اطلاعاتی تکرار می گردد.
به هر بار اجرای این الگوریتم برای تمام دادههای موجود در بانک یک دوره گفته می شود. این دوره ها آنقدر ادامه می یابد که دیگر مقدار خطا تغییر نکند[3].
2-2-2درخت تصميمدرختهای تصمیم روشی برای نمایش یک سری از قوانین هستند که منتهی به یک رده یا مقدار میشوند.
یکی از تفاوتها بین متدهای ساخت درخت تصمیم این است که این فاصله چگونه اندازهگیری میشود. درختهای تصمیمی که برای پیشبینی متغیرهای دستهای استفاده میشوند، درختهای دستهبندی نامیده میشوند زیرا نمونهها را در دستهها یا ردهها قرار میدهند. درختهای تصمیمی که برای پیشبینی متغیرهای پیوسته استفاده میشوند درختهای رگرسیون نامیده میشوند[3].

شکل 2-3: درخت تصمیمگیری REF _Ref373614574 r ‎[3]
الگوریتمهای یادگیری درخت تصمیم:
اغلب الگوریتمهای یادگیری درخت تصمیم بر پایه یک عمل جستجوی حریصانه بالا به پائین در فضای درختهای موجود عمل میکنند.
در درخت تصمیم ID3 از یک مقدار آماری به نام بهره اطلاعات استفاده می شود تا اینکه مشخص کنیم که یک ویژگی تا چه مقدار قادر است مثالهای آموزشی را بر حسب دستهبندی آنها جدا کند[4].
آنتروپی:
میزان خلوص (بی نظمی یا عدم خالص بودن) مجموعهای از مثالها را مشخص میکند. اگر مجموعه S شامل مثالهای مثبت و منفی از یک مفهوم هدف باشد آنتروپیS نسبت به این دسته بندی بولی بصورت رابطه 2-1 تعریف می شودREF _Ref373604892 r h‎[4].
رابطه 2-1
Entropys=-p+*log2p+-p-*log2p-بهره اطلاعات:
بهره اطلاعات یک ویژگی عبارت است از مقدار کاهش آنتروپی که بواسطه جداسازی مثالها از طریق این ویژگی حاصل میشود.
به عبارت دیگر بهره اطلاعات Gain(S,A) برای یک ویژگی نظیر A نسبت به مجموعه مثالهایS بصورت رابطه 2-2 تعریف میشود:
رابطه 2-2 Informationgain=Entropys-v∈ValuesAsvs*Entropysکه در آن Values(A) مجموعه همه مقدار ویژگیهایA بوده و SVزیرمجموعه ای از S است که برای آن A دارای مقدار V است.
در تعریف فوق عبارت اول مقدار آنتروپی دادهها و عبارت دوم مقدار آنتروپی مورد انتظار بعد از جداسازی دادههاست[4].
درختان رگرسیون:
وظیفه یادگیری در درختان رگرسیون، شامل پیش بینی اعداد حقیقی بجای مقادیر دستهای گسسته است. که این عمل را با داشتن مقادیر حقیقی در گرههای برگ خود نشان میدهند. بدین صورت که میانگین مقادیر هدف نمونههای آموزشی را در این گره برگ بدست میآورند. این نوع از درختان، تفسیر آسان داشته و می توانند توابع ثابت تکه ای را تقریب بزنند.
نسخه پیچیدهتر درختان رگرسیون، درختان مدل هستند که عمل رگرسیون را با داشتن مدل خطی در گرههای داخلی یا پایانی نشان میدهند به عبارت بهتر هر گره، توابع رگرسیون خطی دارند. بعداز اینکه درخت رگرسیون کامل ساخته شد، عمل رگرسیون خطی به نمونههای ی که به این گره رسیده اند اعمال میشود و فقط از یک زیرمجموعه از صفات، صفاتی که در زیردرخت دیده خواهند شد برای این کار استفاده میشوند. به دلیل استفاده از زیرمجموعه ای از صفات در هر گره، سربار عمل رگراسیون خطی زیاد نخواهد شد[3].
2-2-3 روش طبقهبندی بيزين2-2-3-1 بيز سادهفرض کنید A1 تاAn ویژگیهایی با مقادیر گسسته باشند این مقادیر برای پیشبینی یک کلاس گسسته C بکار میروند .هدف ما پیش بینی و انتخاب دستهای است که رابطه 2-3 ماکزیمم شود.
رابطه 2-3 PC=c|A1∪A2∪A3∪….∪Anبا استفاده از قانون بیزین رابطه 2-4 را داریم:
رابطه 2-4 =PA1=a1∪….∪An=an|C=c*p(C=c)PA1=a1∪….∪An=an که مخرج کسر برای تصمیمگیری بی تاثیر است زیرا که برای همه مقادیرC یکسان است از طرفی با توجه به استقلال مجموعه ویژگیها رابطه 2-5 را خواهیم داشت:
رابطه 2-5 PA1=a1∪….∪An=an|C=c=PA1=a1C=c*….*pAn=an|C=cدر کل برای مسایل طبقه بندی اگر C به عنوان صفت شاخص در نظر بگیریم هدف حداکثر کردن مقدارpX|Ci*pCi است که x صفات دیگر هستند. از مزایای بیز ساده اجرای راحت و نتایج خوب برای بسیار کاربردهاست و از معایب آن میتوان گفت که شاید همه ویژگیها ازهم مستقل نباشند و وابستگی وجود دارد که در این مورد مدل ضعیف است[4].
2-3-2-2 شبکههای بيزينشبکههای بیزی وابستگیهای شرطی بین متغیرها (ویژگیها) را شرح میدهد. با استفاده از این شبکهها دانش قبلی در زمینه وابستگی بین متغیرها با دادههای آموزش مدل طبقه بندی، ترکیب میشوند. شکل 2-4 یک نمونه شبکه بیزین را نمایش میدهد.
شکل 2-4: شبکه بیزین [4]
مفاهيم اساسی شبکه بيزيندر شبکه بیزین، گرهها، متغیرهایی هستند که هر کدام مجموعه مشخصی از وضعیتهای دوبه دو ناساگاز دارند. کمان ( یال) نشان دهنده وابستگیهای متغیرها به یکدیگر میباشد. برای هر گره توزیع احتمال محلی وجود دارد که به گره وابسته ‌است و از وضعیت والدین مستقل می‌باشد.
فرض مهم در روش بیز ساده استقلال شرطی طبقهها از یکدیگر است اما در عمل این وابستگی بین متغیرها وجود دارد. شبکههای احتمالی بیزین این نوع احتمالها را بررسی میکند. یک شبکه بیزی از دو بخش گراف غیر حلقوی و احتمالهای شرطی تشکیل شده است اگر کمانی از Y به Z وصل شود بدین معناست که Y پدر Z است. هر کمان دانش علل و معلولی بین متغیرهای مرتبط نشان میدهد. هر متغیر A با والدینBn , .. .. ,B2 ,B1 یک جدول احتمال شرطی وجود دارد در این جدول برای هر متغیر رابطه آن با والدینش در نظر گرفته میشود[4].
فرض کنید دادهx با ویژگیx1,x2,…xn است در این صورت رابطه 2-6 احتمال شرطی با

متن کامل در سایت homatez.com