پایان نامه رشته کامپیوتر در زمینه داده بزرگ و بررسی اهمیت و جایگاه داده کاوی

سایت تخصصی هفت برگ بهترین مرجع پایان نامه ، آموزش و ارائه دهنده مقالات تخصصی

بررسی داده بزرگ

قیمت محصول 35000 تومان

آسان خرید کنید

تضمین کیفیت فایل

پشتیبانی 24 ساعته

35000 تومان – خرید

0 خرید

۰دیدگاه

داده بزرگ

رتبه دادن به محصول

جزییات محصول

داده بزرگ  Big Data

داده بزرگ  Big Data اصطلاحی رایج است که رشد و در دسترس بودن داده، چه ساختارمند و چه غیرساختارمند، را توصیف می‌کند. Big Data ممکن است به اندازه اینترنت برای کسب ­و­کار و جامعه مهم باشد. چرا؟ داده‌­های بیشتر به تحلیل ­های دقیق ­تر می ­انجامد. تحلیل ­های دقیق ­تر منجر به تصمیم­ گیر ی­های مطمئن بیشتری شده و تصمیمات بهتر، می ­تواند معنای کارایی بیشتر عملیات، کاهش هزینه­‌ها و کاهش ریسک­‌ها باشد. در سال 2001، تحلیلگر صنعت، داگ لنی (که اکنون با گارتنر کار می­‌کند.) داده بزرگ Big Data را به صورت سه V تعریف کرد: حجم (Volume)، سرعت (Velocity) و تنوع (Variety). از سایت هفت برگ موضاعاتی چون داده کاوی پویا با استفاده از سیستم عامل و بررسی داده کاوی برای دانشجویان رشته کامپیوتر قابل دسترس است.

حجم به عنوان داده بزرگ

فاکتورهای بسیاری به افزایش حجم داده‌ها کمک می­کند. داده‌­های بر پایه تراکنش ذخیره شده در طی سالیان، داده‌های غیرساختارمند سرازیر شده از رسانه‌های اجتماعی؛ مقدار در حال افزایش داده­های ماشین-به-ماشین و سنسور جمع‌آوری شده. در گذشته، حجم انبوه داده یک مسئله ذخیره کردن بود. اما با کاهش هزینه­‌های ذخیره، مسائل دیگری سر بر می­آورند؛ شامل چگونگی تعیین ارتباط در حجم زیاد داده­ها و چگونگی استفاده از علم تجزیه و تحلیل به منظور ایجاد ارزش از داده­‌های مرتبط.

حجم داده بزرگ

سرعت به عنوان داده بزرگ

داده‌­ها با سرعتی بی‌سابقه وارد شده و باید در زمان مناسب به سراغ آن­ها رفت. تگ­های RFID، سنسورها و اندازه­گیری هوشمند، نیاز به سر و کله زدن با جریانات داده را در اولین زمان نزدیک به اکنون را ایجاد می­‌کنند. واکنش سریع به کار با سرعت داده‌ها، چالشی برای بیشتر سازمان­ هاست.

سرعت داده بزرگ

تنوع به عنوان داده بزرگ

داده­ ها به شکل­ های گوناگونی وارد می­شوند. داده ­های عددی ساختاریافته در پایگاه­ های داده سنتی؛ اطلاعات ایجاد شده از برنامه­ های کاربردی کسب ­و­کار؛ اسناد متنی غیرساختاریافته، ایمیل، صدا و تراکنش­ های مالی. مدیریت، ادغام و حاکمیت بر انواع گوناگون داده، چیزی است که بسیاری از سازمان­ ها هنوز با آن درگیرند.

اهمیت  داده بزرگ

مسئله واقعی این نیست که مقدار زیادی داده به دست آورید؛ این است که با آن چه می‌کنید. دیدگاه امیدوارانه این است که سازمان‌ها قادر به تحصیل داده از هر منبعی بوده، داده‌های مرتبط را تهیه کرده و آن را تحلیل کنند تا پاسخ سؤالاتی را بیابند که 1) کاهش هزینه‌ها، 2) کاهش زمان، 3) توسعه محصولات جدید و پیشنهادات جدید، و 4) تصمیم‌گیری هوشمندانه‌تر کسب وکار را مقدور می‌سازند. برای مثال، با ترکیب Big Data و تحلیل‌های قوی، این امکان وجود دارد تا:

  • علت‌های اصلی شکست‌ها، مسائل و نقوص را در لحظه تعیین کرد تا سالانه تا میلیاردها دلار صرفه‌جویی کرد.
  • مسیر وسیله‌های حمل بسته‌های تحویلی را زمانی که هنوز در جاده هستند، بهینه کرد.
  • در چند دقیقه تمام سبد ریسک را دوباره حساب کرد.
  • سریعاً مشتریانی که بیشترین اهمیت را دارند، شناسایی کرد.
  • ……

داده بزرگ به عنوان یک سرویس (Big Data As A Service )

همه کمپانی‌ها قادر نیستند یا اینکه نیازی ندارند که یک انبار داده data warehouse و مرکز پردازشی را ستاپ کنند تا بتوانند تحلیل داده‌ها را امکان‌پذیر کنند و شما نیاز به انجام این کارها ندارید. کمپانی‌های متعددی میتوانند تحلیل‌های با صرفه و مبتنی برابر و ذخیره‌سازی داده‌های بزرگ را فراهم کنند. از این سرویس‌ها با عنوان BDaaS که مخفف big data as a service است یاد می‌شود.

آمار و داده ‏‌کاوی

در داده‏کاوی تلاش می‏‌شود؛ بین آمار و علوم رایانه‌ای رابطه‌ای برقرار گردد. برقراری این ارتباط به دلیل وجود یک سلسله از فرضیات ضمنی و غیر واضح، دشوار بودن تبدیل مفاهیم نظری به الگوریتم‌های رایانه‌ای در مباحث آماری و به دلیل وجود الگوریتم‌های فراوان در متون رایانه‌ای، دشوار است. لذا داشتن درکی درست از مدل‌سازی و الگوریتم‌های محاسباتی برای کارهای داده‌‏کاوی ضروری است.

دیدگاه‌های در مورد داده‌‏کاوی

با توجه به این تعاریف دو تعبیر مختلف از داده‏کاوی وجود دارد. برخی مولفین مانند چتفیلد (1995)، داده‏کاوی را مترادف عبارت کشف دانش و معرفت از پایگاه داده‏ها می دانند. بقیه از جمله فیاد (1996) به داده‏کاوی به عنوان یک مرحله ضروری از فرایند بزرگتر کشف دانش و معرفت از پایگاه داده‏ها که به اختصار KDD می‏‌گویند، اشاره دارند.

دیدگاه KDD

  1. پاکسازی داده‌‏ها: حذف داده‏‌های ناپایدار و مزاحم
  2. یکپارچه سازی داده‌‏ها: ترکیب منابع متعدد ، پراکنده و احیانا ناهمگن داده‌‏ها
  3. انتخاب داده‌‏ها: بازیابی داده‏‌های مربوط به عمل کاوش از پایگاه داده‌‏ها
  4. تبدیل داده‌‏ها: تبدیل داده‏‌ها به اشکالی مناسب برای به کار بردن روش های مختلف
  5. داده‏‌کاوی: مرحله ای ضروری از فرایند KDD است که در آن از روش‌های مختلف آماری و یادگیری ماشین برای استخراج الگوها استفاده می‏‌شود که شامل مراحل زیر است:
  • انتخاب عملیات داده‌‏کاوی (رده‌بندی، خوشه‏بندی، پیش‌بینی، تعیین وابستگی و …
  • انتخاب روش داده‏‌کاوی (شبکه‌های عصبی، درخت تصمیم‏گیری، الگوریتم ژنتیک و …
  • داده‏‌کاوی و جستجو برای یافتن الگوی مناسب
  1. ارزیابی الگوها: شناسایی الگوهای جذاب ارائه دانش، بر اساس معیارهای جذابیت
  2. ارائه دانش: ارائه دانش استخراج شده با استفاده از تکنیک‌های نمایش اطلاعات

دو وظیفه‌ی اصلی برای آماده‌سازی داده‌ها به عنوان داده بزرگ

  1. سازماندهی داده‏ ها به شکل استاندارد به طوری که برای پردازش با داده‏ کاوی و دیگر ابزارهای مبتنی بر رایانه آماده باشد.
  2. مجموعه‌های داده‏‌ها طوری آماده شوند که به بهترین عملکرد روش‌های داده‌‏کاوی منتهی شوند.

اقدامات لازم جهت ارتقای کیفیت داده‏‌ها

1) پاکسازی داده‌‏ها : برای انجام یک داده‏کاوی مطلوب لازم است مقادیر گمشده جایگزین شوند. داده‏های مزاحم شناسایی و به نحوی مناسب با آن‏ها برخورد و ناپایداری ها اصلاح شوند.

2) یکپارچه‏سازی داده‌‏ها : از آنجا که داده‏ها از منابع مختلف جمع آوری می‌شوند. ممکن است دارای ناسازگاری‏هایی مانند تفاوت در مقیاس باشند یا خصیصه‌های مختلف به گونه‌ای با یکدیگر مرتبط باشند که برخی از آن‏ها بر حسب تعدادی دیگر قابل حصول باشند.

3) تبدیل داده‏‌ها : گاهی برای خلاصه‌سازی یا به کارگیری روش‌های تحلیل داده‏ها لازم است به یکی از روش‌های هموارسازی، انبوهش، تعمیم داده و نرمال سازی داده‏ها را به شکل مناسب تبدیل شوند.

4) تخلیص داده ‏ها : برای کاهش داده‏ها از تکنیک هایی مانند کاهش بعد، فشرده‌سازی و مجزاسازی داده‏ها استفاده می‏شود.

ساختار یک سیستم داده‏ کاوی

پس از پیش پردازش داده‏‌ها، نتایج در پایگاه داده یا انبار داده‌ی جدیدی ذخیره می‌شوند. شکل زیر ساختار یک سیستم داده‏کاوی معمول را نشان می‏‌دهد که ورودی آن مخازن بزرگ داده‌‏ها و خروجی آن اطلاعات مورد نیاز کاربر است و پایان کار کشف دانش و معرفت از پایگاه داده‏‌ها تلقی می‏‌شود.

ساختار یک سیستم داده کاوی

مولفه‌های سیستم داده ‏کاوی

الف) پایگاه داده و انبار داده

ب) سرور

ج) پایگاه دانش

د) موتور داده‏کاوی

هـ) واحد ارزیابی الگوها

و) رابط گرافیکی کاربر

معیارهای جذابیت الگو

1) سادگی

2) قطعیت

3) مطلوبیت

 

انواع داده‏ کاوی

داده‏ کاوی در دو نوع هدایت شده و غیر هدایت شده ظاهر می‏‌شود. داده‏‌کاوی هدایت شده، دارای متغیر هدفی خاص و از پیش تعیین شده است که به دنبال الگویی خاص می گردد؛ در حالی که هدف داده‏کاوی غیر هدایت شده، یافتن الگوها یا تشابهات بین گروه‌هایی از اطلاعات، بدون داشتن متغیر هدفی خاص و یا مجموعه‌ای از دسته‌ها و الگوهای از پیش تعیین شده می‌‏باشد.

وظایف داده‏ کاوی

داده‏کاوی با همه‌ی عظمت و بزرگی خود که امروزه در تمامی موضوعات جهان ورود پیدا کرده است شامل شش عمل و وظیفه مهم است که می‌توان بسیاری از مسائل محیط اطراف را در قالب یکی از این شش عمل و وظیفه ی زیر گنجاند:

1) دسته‏‌بندی 2) تخمین 3) پیش بینی 4) گروه بندی شباهت 5) خوشه‏‌بندی 6) توصیف و نمایه سازی

سه مورد اول همگی داده ‏کاوی هدایت شده هستند که هدف آن‏ها یافتن ارزش یک متغیر هدف خاص است. گروه بندی شباهت و خوشه‏ بندی جزو داده‏ کاوی غیر هدایت شده هستند که در آن هدف، یافتن ساختار پنهان درون داده ‏ها بدون توجه به یک متغیر هدف خاص است. نمایه سازی عملی توصیفی است که می تواند هم هدایت شده و هم غیر هدایت شده باشد.

 

قالب:فایل ورد قابل ادیت(تعداد صفحه:31)(حجم فایل:152 KB)

فهرست مطالب

تعریف داده های بزرگ
مقدمه
داده های بزرگ
اهمیت داده های بزرگ
بررسی داده های بزرگ
Analytics
HANA
Apache HADOOP
Big Data As A Service داده های بزرگ به عنوان یک سرویس
Business Intelligence هوش تجاری
clickstream ANALYTICS
Dashboard
DATA MINING
DATA BASE
Massively Parallel Processing
Predictive ANALYSIS
داده کاوی داده های بزرگ
آمار و داده‏ کاوی
نام های دیگر داده‏ کاوی
تعاریف داده ‏کاوی
دو دیدگاه در مورد داده ‏کاوی
آماده سازی و پیش پردازش داده ‏ها
ساختار یک سیستم داده‏ کاوی
معیارهای جذابیت الگو
انواع داده ‏کاوی
وظایف داده‏ کاوی
مراحل فرایند کشف دانش از پایگاه داده ها
انبارش داده ها
انتخاب داده ها
تبدیل داده ها
تفسیر نتیجه
عملیاتهای داده کاوی
تقطیع پایگاه داده ها
تحلیل پیوند

35000 تومان – خرید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

شبکه های اجتماعی

لینک های مفید

جواز های ما

تعداد کاربران 298 عدد
تعداد محصولات 1336 عدد
تعداد نوشته ها 7 عدد