داده کاوی چیست؟

داده کاوی چیست؟


  • 1,261 بازدید

تاریخچه داده کاوی به ده ها سال قبل باز می گردد. ابتدا در اویل دهه سی میلادی صحبت از کشف دانش از پایگاه داده ها صحبت به میان آمد و سپس با آمدن پایگاه داده های رابطه ای این حوزه رشد کرد و مورد توجه محققین و صاحبان صنایع قرار گرفت. با رشد داده ها و عدم پاسخگویی مناسب و صحیح علم آمار، داده کاوی پا به عرصه ظهور گذاشت. 

در سال های اولیه به دلیل توان محاسباتی پایین کامپیوترها استخراج دانش از داده ساعت ها زمان می خواست برای مثال در اوایل دهه 1990 میلادی ایجاد یک مدل رگرسیون لجستیگ 27 ساعت زمان می خواست ولی با پیشرفت تکنولوژی به این مرحله رسیده ایم که این 27 ساعت در عرض چند دقیقه انجام می شود. پیشرفت سخت افزاری باعث شده است داده کاوی در زمان اندکی انجام شود ولی مراحل اصلی داده کاوی نسبت به آن سال ها تغییری نکرده است. همچنان برای یک داده کاوی باید مراحل پیش پردازش، استخراج ویژگی، ایجاد مدل و ارزیابی طی شود درواقع مراحل داده کاوی ثابت بوده است ولی قدرت محاسباتی و سرعت آن برای استخراج دانش بسیار رشد کرده است. در شکل زیر مراحل داده کاوی کلاسیک بیان شده است. همان طور که مشاهده می گردد داده کاوی از مراحل تعریف مساله، مشخص کردن مجموعه داده، پیش پردازش، انتخاب الگوریتم، مدل سازی و ارزیابی و به کارگیری مدل ایجاد شده تشکیل شده است. 

از مهمترین مراحل داده کاوی، مرحله پیش پردازش مجموعه داده است. در سالیان گذشته به دلیل گسترده شدن انواع داده ها، مرحله پیش پردازش داده بسیار پیچیده تر شده است بدین ترتیب که برخی از دانشمندان علم داده معتقدند بیش از 80 درصد زمان لازم برای داده کاوی به مرحله تمیز کردن داده اختصاص می یابد. به خصوص داده های متنی که از شبکه های اجتماعی استخراج می شود بسیار غیر ساخت یافته هستند. در پیش پردازش داده سعی می شود داده برای مراحل انتخاب ویژگی و ایجاد مدل آماده گردد. 

چه چیزی داده کاوی نیست؟

"داده کاوی به تکنیکی گفته می شود که ارتباط ناشناخته بین داده ها را کشف می کند"  این تعریف متعلق به شرکت اوراکل است .در تمام تعاریفی که برای داده کاوی ذکر شده حتما اشاره ای به کشف داده می شود . این حوزه سعی میکند مجموعه داده عظیمی را تحلیل کند و بر اساس آن الگو یا دانش پنهان در داده را کشف کند. به طور مثال در تمام منوهای مربوط به ورزش کلمات خاصی مثل سرمربی ، بازیکن و .... ذکر می شود. داده کاوی با استفاده از تحلیل مجموعه عظیمی از متون می تواند  الگوی استفاده شده در این خبرها را کشف کند. کسب این دانش هدف اصلی داده کاوی است به همین دلیل به  داده کاوی "کشف دانش داده" نیز می گویند . ادعا می شود که با استفاده از داده کاوی می توان به دانشی دست یافت که خود انسان قرن ها بعد این دانش را کسب خواهد کرد .

متن کاوی چیست؟

منظور از طبقه بندی متون چیست؟

انجام پایان نامه در حوزه متن کاوی

 بنابرابن تمرکز اصلی داده کاوی بر روی کشف دانش پنهان داده است. یعنی پیدا کردن نظمهای پیچیده موجود در نهان داده های حجیم . تفاوت داده کاوی با سیستمهای ساده سوال جواب و پایگاه داده نیز در این است به دنبال پیدا کردن طلا در معدن و کشف روابط پیچیده بین داده هاست.  داده کاوی را می توان به فرایند کشف طلا از معدن تشبیه کرد . همانطور که میدانیم فرایند استخراج طلا از معدن حجم عظیمی از فلزاتی که از معادن استخراج می شوند دور ریخته می شوند و بعد از مراحل بسیار طلا از بین این فلزات استخراج می شود. در داده کاوی نیز چنین است ما برای استخراج دانش مورد نظر باید داده های نویز  بسیاری دور ریخته شود به صورت عادی 90% داده ها نویز و 10% داده قابل استفاده وجود دارد . کار داده کاوی نیز استخراج این 10% از 100% داده ها میباشد . 

اگر به پژوهش در حوزه داده کاوی علاقه مند هستید توصیه می شود حتما مجموعه بی نظیر پانصد مقاله فارسی در زمینه داده کاوی  و مجموعه های مشابه آن  و مقالات مرتبط با کاربرد داده کاوی در پیش بینی بیماری را تهیه بفرمایید.

اگر در زمینه داده کاوی در حال تحقیق یا پیاده سازی پروژه یا پایان نامه هستید برای گرفتن مشاوره یا دادن سفارش انجام با ما تماس بگیرید.  آکادمی داده در تلگرام (https://t.me/dataacademyحضور دارد برای ارتباط از طریق ایمیل آدرس جیمیل: dataacademyir@gmail.com می باشد.  

 

افتخار آکادمی داده، همسفر بودن با شما در راه یادگیری علم داده است.