آکادمی داده که به زودی پنجمین سال فعالیت خود را جشن می گیرد سالهاست به دنبال ایجاد محتوای مفید برای علاقه مندان علوم دادهکاوی، متن کاوی و علوم مرتبط با علم داده، مدیریت دانش، هوش تجاری و مباحث مرتبط است. آکادمی داده امیدوار است با این اقدامات بتواند اثری هر چند اندک در افزایش آگاهی علاقه مندان به این حوزه ها داشته باشد. در این سری مقالات آکادمی داده تلاش دارد مقالات جالب، جدید، پر محتوا و اثرگزار را در علوم دادهکاوی، متن کاوی، مدیریت دانش، هوش تجاری و مباحث مرتبط ارایه نماید. در این سری مقالات ابتدا مقدمه و سپس نتیجه گیری مقالات ارایه شده است و سپس فایل پی دی اف مقاله برای دانلود رایگان علاقه مندان توسط آکادمی داده تهیه شده و قابل دانلود است.
چکیده
سازمان ها از انباره داده ها برای مدیریت و یکپارچه سازی داده های ساخت یافته استفاده می کنند. با این وجود، حجم و ساختار داده های تولید شده در دنیای امروزی، اصلی ترین مشکلی است که توان پردازه ی انباره داده های سنتی را مورد چالش قرار می دهد. چرا که مدل های داده ای ساخت یافته برای پردازش داده های غیر ساخت یافته مناسب نیستند. در این مقاله به معرفی گزینه های معماری انباره داده برای پردازش داده های ساخت یافته و غیرساخت یافته پرداختیم. گزینه های معماری عبارتند از: انباره داده سنتی، انباره داده سنتی با تغییر در فرایند ETL، انباره داده سنتی ( مدل ستاره ای مبتنی بر NoSQL)، انباره داده مبتنی بر هدوپ (مبتنی بر ستاره یا کاملا غیر نرمال شده). همچنین بررسی رویکردهای استفاده شده نشان می دهد به دلیل اینکه متدلوژوی خاصی برای طراحی انباره داده های بزرگ وجود ندارد، طراحان انباره داده، اغلب دانشی که در زمینه طراحی انباره داده سنتی دارند را به کار می گیرند. به عبارت دیگر اغلب از مدل داده ای ستاره ای استفاده می کنند که با توجه به ویژگی های داده های بزرگ ممکن است عملکرد مطلوبی مورد تحقق واقع نشود.
نتیجه گیری
انباره داده به عنوان مخزن داده های یک سازمان، منبع داده ای مناسب و بهینه جهت پشتیبانی از تصمیم مورد استفاده قرار می گیرد. ابزارها و مدل های دادهای سنتی انباره داده ها، برای کار با داده های ساختیافته مورد طراحی واقع شده اند. با این وجود امروزه سازمان ها با داده های بزرگ و غير ساخت یافته مواجه هستند که مدل های سنتی انباره داده برای مدیریت و پردازش آنها بهینه نیستند. در این مقاله با توجه به تولید داده های غیر ساخت یافته، گزینه های مختلف معماری انباره داده بررسی شد و ویژگی های هر کدام از آنها تشریح گردید. نتایج بررسی نشان می دهد که دو موضوع برای ساخت انباره داده های بزرگ مطرح است:
1)اینکه چه مدلی برای طراحی انباره داده استفاده شود 2) و از چه ابزاری برای پیاده سازی مدل طراحی شده استفاده شود. در تحقیقات پیشین غالبا از مدل داده ای ستاره ای برای این منظور استفاده شده است همچنین رویکردهای مختلفی برای پیاده سازی انباره داده ها مورد استفاده قرار گرفته است. بر اساس تحقیقات پیشین سیستم های - SQL- on Hadoop به عنوان یک راه حل استاندارد برای طراحی انباره داده بزرگ محسوب می شوند.
این مقاله توسط آکادمی داده تهیه شده است و از طریق لینک قابل دسترسی است. محققین علاقه مند می توانند آن را به صورت رایگان دریافت نمایند.
اگر در حال پژوهش در حوزه داده کاوی هستید، سوالات و اشکالات خود را از طریق تلگرام با آکادمی داده در میان بگذارید. با عضو شدن در کانال تلگرام آکادمی داده از مقالات جدید و دیتاست های منتشر شده مطلع شوید.
مجموعه مقالات فارسی در مورد کلان داده و بیگ دیتا که شامل صد 100 مقاله فارسی در مورد الگوریتم ها و روش های کلان داده و بیگ دیتا است به صورت یکجا نیز از طریق لینک قابل دسترسی هستند.
اگر در زمینه داده کاوی در حال تحقیق یا پیاده سازی پروژه یا پایان نامه هستید برای گرفتن مشاوره یا دادن سفارش انجام با ما تماس بگیرید. آکادمی داده در تلگرام (https://t.me/dataacademy) حضور دارد برای ارتباط از طریق ایمیل آدرس جیمیل: dataacademyir@gmail.com می باشد.