بررسی تکنولوژی داده های بزرگ در شبکه های تلفن همراه پروژه آماده آماده برای تحویل به استاد می باشد
دسته بندی کامپیوتر و IT
بازدید ها 164
فرمت فایل docx
حجم فایل 3.882 مگا بایت
تعداد صفحات فایل 210
12,500 تومان
بررسی تکنولوژی داده های بزرگ در شبکه های تلفن همراه

فروشنده فایل

کد کاربری 1025
کاربر

فصل اول: کلیات تحقیق

1-1. بیان مسئله. 2

1-2. ضرورت تحقیق.. 2

1-3. اهداف تحقیق.. 3

فصل دوم: مروری بر تحقیقات انجام شده و پیشینه تحقیق

2-1. پیشینه تحقیق.. 5

2-2. اهداف کلی موضوع پژوهش.... 5

2-3. نمونه های انجام شده 7

2-4.  اثبات مفهوم. 9

فصل سوم: روش شناسی تحقیق

3-1. معماری راه حل توانایی پیش بینی حادثه. 11

3-1-1. مشکلات مدیریت قدیمی مساله مشتری.. 11

3-1-2. ابزار اولیه. 13

3-1-3.HIVE. 14

3-1-4. JAVA.. 14

3-1-5.APACHE OPENNLP.. 15

3-1-6. SQOOP.. 16

3-2. راه حل تصویرسازی داده 16

3-3. جمع آوری داده 17

3-4. تحلیل و بررسی متن داده ای بزرگ... 18

3-5. کنترل پذیر ساختن داده ها 21

3-6. گروه بندی رخدادها در قالب علائم. 22

3-7. داده کاوی بصری.. 24

3-8. نتایج.. 26

3-8-1. مراحل بعدی.. 29

3-9. آغاز عصر داده های بزرگ... 29

3-10. تعریف و ویژگی های داده های بزرگ... 32

3-10-1. مقدار داده های بزرگ... 34

3-10-2. توسعه داده های بزرگ... 36

3-11. چالش های داده های بزرگ... 38

3-12. تکنولوژی های مربوطه. 42

3-12-1.  ارتباط بین محاسبات ابری و داده های بزرگ... 42

3-12-2.  رابطه بین IoT و داده های بزرگ... 44

3-13. تولید و اکتساب داده های بزرگ... 48

3-13-1.  تولید داده 48

3-13-2. داده های تجاری.. 49

3-13-3.  داده های IoT. 50

3-13-4.  داده های بیوپزشکی.. 51

3-13-5.  تولید داده از دیگر زمینه ها 53

3-14.  اکتساب داده های بزرگ... 54

3-14-1.  جمع آوری داده ها 54

3-14-2.  انتقال داده 59

3-14-3. پیش پردازش داده ها 61

3-15. ذخیره سازی داده های بزرگ... 65

3-15-1.  سیستم ذخیره سازی برای داده های حجیم. 65

3-15-2.  سیستم ذخیره سازی توزیعی.. 67

3-15-3.  مکانیزم ذخیره سازی برای داده های بزرگ... 69

3-16.  تکنولوژی پایگاه داده 70

3-16-1.  پایگاه داده های مقدار کلیدی.. 70

3-16-2.  پایگاه داده ستون گرا 72

3-16-3.  پایگاه داده سند. 76

3-17.  تحلیل سنتی داده ها 81

3-18. روش های تجزیه تحلیل داده های بزرگ... 83

3-18-1. معماری برای تحلیل داده های بزرگ... 85

3-18-2. تحلیلات زمان به هنگام و آفلاین.. 87

3-18-3.  تحلیلات در سطوح متفاوت.. 87

3-18-4. تجزیه تحلیل با پیچیدگی متفاوت.. 88

3-19. ابزارهایی برای کاوش و تحلیل داده های بزرگ... 89

3-20. برنامه ها و کاربرد های داده های بزرگ... 91

3-20-1. کاربرد داده های بزرگ... 92

3-20-2. کاربردهای اصلی داده های بزرگ... 102

3-21. هوش جمعی.. 108

3-22. شبکه هوشمند. 109

فصل چهارم: تحلیل داده ها و نتایج

4-1. کشف دانش جهانی ازداده های بزرگ  با استفاده از ترکیب دو چرخه(دو دوره ای) 113

4-1-1. مقدمه. 113

4-1-2. ریشه های تکنیکی.. 115

4-1-3. پیشرفت های علمی و پارادایم پژوهش علم سیستم های پیچیده مبتنی بر داده های بزرگ... 118

4-2. مفاهیم و مقوله ها 120

4-2-1. دانش جهانی و کشف دانش جهانی از داده های بزرگ... 120

4-2-2.دسته بندی های دانش جهانی.. 123

4-2-3. مقایسه دانش جهانی و دانش ایجاد شده توسط روش های داده کاوی سنتی.. 125

4-3. متدلوژی.. 125

4-3-1. مقایسه پارادایم تحقیق کاوش داده های بزرگ (Big data) و علم سیستم. 125

4-3-2. متدلوژی دو چرخه: یک پارادایم میان رشته ای و واحد برای UKD.. 126

4-3-3. کاوش داده های بزرگ (Big data) چرخه محور 130

4-3-4. کاوش مکانیزم چرخه محور 131

4-3-5. کاوش دو-چرخه محور ترکیب شده 132

4-4. مورد مطالعه: کاوش دانش جهانی از جریان داده ای تجارت و معامله بین المللی.. 133

4-4-1. تصویر کاوش داده های بزرگ (Big data) چرخه محور 133

4-4-2. تصویر کاوش مکانیزم چرخه محور 134

4-4-3. تصاویر کاوش دو-چرخه ترکیب شده 136

4-5. داده کاوی در داده های بزرگ... 139

4-5-1. تاریخچه داده کاوی.. 139

4-5-2. تعاریف و مفاهیم پایه داده کاوی.. 140

4-5-3. انواع روش های داده کاوی.. 141

4-5-4. بررسی فرآیند داده کاوی.. 142

4-5-5. درک حوزه داده کاوی.. 143

4-5-6. اجزای اصلی پیش پردازش داده 145

4-6. شبکه های عصبی مصنوعی.. 154

4-6-1. لایه های شبکه عصبی مصنوعی.. 157

4-6-2. الگوریتم و معماری شبکه های عصبی مصنوعی.. 158

4-6-3. پردازش اطلاعات در شبکه های عصبی مصنوعی.. 162

4-6-4. یادگیری و تعمیم در شبکه های عصبی مصنوعی.. 164

4-6-5. ویژگی های شبکه عصبی.. 165

4-7. درخت تصمیم. 166

4-7-1. روش کار درخت تصمیم. 167

4-7-2. خصوصیات درخت تصمیم. 168

4-7-3. نقاط قوت درخت تصمیم. 168

4-8. بیز ساده 169

4-8-1. دلایل اهمیت بیز ساده 169

4-8-2.  توصیف الگوریتم: 170

4-8-3. خصوصیات بیز ساده: 171

4-8-4.  نقاط ضعف الگوریتم بیز ساده 172

4-9. الگوریتم نزدیکترین همسایه. 172

4-9-1. جستجوی نزدیکترین همسایه. 172

4-9-2. توصیف الگوریتم K-NN.. 174

4-9-3. خصوصیات: 174

4-10. شناسایی بر پایه association rule. 175

4-10-1.  پیش پردازش داده در مرحله پاکسازی.. 175

4-10-2.  استخراج ویژگی.. 175

4-10-3. تکنیک هرس کردن.. 177

4-10-4. شناسایی بر پایه روش ترکیبی rule(AR) 178

4-11.  الگوریتم AR.. 178

4-12. الگوریتم APRIORI 179

4-13. شبکه عصبی.. 179

4-13-1. سیستم تشخیص اتوماتیک... 181

4-13-2. شناسایی برپایه روش ترکیبی الگوریتم ژنتیک و شبکه های عصبی.. 182

4-13-3. استخراج ویژگی ها 182

4-13-4. انتخاب ویژگی ها  Featute selection)  ) 182

4-14. شناسایی بر پایه الگوریتم ماشین بردار پشتیبان(SVM) 183

فصل پنجم: بحث و نتیجه گیری

5-1. جمع بندی و نتیجه گیری.. 186

5-1-1. مسائل باز 189

5-1-2.  تحقیق و پژوهش نظریه ای.. 189

5-1-3. توسعه تکنولوژی.. 190

5-1-4.  مفاهیم عملی.. 191

5-1-5.  امنیت داده 192

5-2. پیشنهادات.. 194

منابع و مآخذ. 198

-----------

 

2-1. پیشینه تحقیق

اصطلاح ابرداده پیش از ابداع شبكه جهانی اینترنت و وب بكار رفته است. این اصطلاح اولین بار توسط شركت تجارتی آمریكایی برای ایجاد و توسعه محصولاتی مبتنی بر ابرالگوها 1 و توصیف مجموعه داده ها توسط جك مایرز و كول جیان در سال 1969 بكار رفت.

كاربرد مكرر این اصطلاح بطور عمده به دهه 1990 و شكل گیری شبكه وب در سال 1993 باز
می گردد. دمپسی و هیری در طرح تحقیقاتی گسترده ای 22 قالب ابرداده ای رایج و مهم را ، بررسی كردند و در گزارش تحقیق خود از انواع قالبهای ابرداده ای شكل گرفته در دهه های 1960 به عنوان اولین قالب های ابرداده ای یاد می كنند.

علاوه بر استفاده از فهرست چاپی، كتابخانه ها از دهه 1960 استفاده از فهرست های ماشین خوان را آغاز كرده اند و آنها را بعنوان استانداردی برای اشتراك اطلاعات بین كتابخانه ها، شناسایی، توصیف، دسترسی موضوعی به منابع و همچنین ذخیره سازی و بازیابی به كار برده اند .

این فهرست ها را می توان نوعی قالب ابرداده ای دانست كه قبل از ظهور وب خلق شدند .

از دیگر قالب های ابرداده ای قبل از ظهور وب، می توان طرح كدگذاری متن و توصیف كدگذاری شده منابع (آرشیوی) را نام برد.

 

2-2. اهداف کلی موضوع پژوهش

محیط جهانی اینتل شامل 95 هزار سرمایه گذار کاربر(مشتری) کامپیوتر شخصی است. یک مشکل گزارش شده در یک کاربر اغلب در صدها یا هزاران کاربر مشابه و همچنین احتمالا در دیگردستگاه ها نیز ظاهر میشود. بیشینه کردن ثبات کاربر بسیار مهم است زیرا خطاها و مشکلات سیستم و برنامه اثرات جدی بروی بهره وری کاربر دارد که باعث ازدست رفتن کارهای ذخیره نشده میشود و هزینه های زیادی بروی فعالیت های فناوری اطلاعات دارد. حل فعالانه مشکلات مشتریان یک هدف بلند مدت برای پشتیبانی IT است و جز کلیدی هدف ما برای کاهش تمام حوادث IT است که تا سال 2013 تا 40 درصد لازم است.

 منظور ما از حوادث مشتری اموری است مانند خطاهای سیستم و برنامه، ابتلا به ویروس، و مشکلات دیگری که استفاده طبیعی را مختل میکند.سیستم های مشتری تقریبا شامل 80 درصد کل حوادث است که آنها را مهمترین حجم کل حوادث  و اولویتی برای اهداف صرفه جویی هزینه در IT میسازد.

سازمان های IT دارای ارزش اطلاعاتی قابل دسترس هستند که آنها را درتشخیص ویافتن علت ریشه ای بسیاری از رخداد های مشتری کمک میکند. منابع اطلاعاتی اولیه عبارتند از گزارش های مشتری ها از حوادث در بخش help و داده های دسترسی(log) رخداد که با ماشین های مشتری تولید میشوند. "رخدادها" اموری هستند که توسط سیستم دسترسی رخداد ویندوز ثبت میشوند. این دسترسی ها تمام رخداد ها از عدم موفقیت در شروع (start) یک جزتا عدم موفقیت در اتمام یک فعالیت را ثبت میکنند. رخدادها در گروه های بحرانی، خطا، اطلاعات و حسابرسی دسته بندی میشوند.

در مقایسه با پزشکی، حوادث مانند شکایت های یک بیمار خاص است و دسترسی های رخداد روزانه مانند گزارش های کامل آزمایشگاهی هستند که تمام جزییات محتمل در نمونه خون را گزارش میکنند. یک تشخیص صحیح معمولا هردو را لازم دارد. چالش تحلیل فعالانه ی دسترسی های رخداد این است که داده دسترسی رخداد میتواند تقریبا 2 هزار دسترسی در روز در ماشین با میانگین 40 رخداد بحرانی باشد. این داده ضرب در 95 هزار مشتری، میتواند به 19 ملیون رخداد در روز و بیش از 300 گیگابایت داده درطول سرمایه گذاری در یک ربع برسد. پیشبینی کردن صحیح داده بیش از یک روزرا لازم دارد. یک سال داده را 1 ترابایت درنظر میگیریم.

قبل از مفهوم مشتری-حادثه-پیشبینی (PoC)، حجم اطلاعات دسترسی رخداد بسیار زیاد بود که بیشترش بی استفاده و تحلیل نشده باقی می ماند. کارمندان پشتیبانی اطلاعات دسترسی رخداد مشتری را تنها برای مدت کوتاهی، که در آن یک حادثه مشتری خاص اتفاق بیفتد، دراختیارداشتند. حتی این تلاش های واکنشی برای مرتبط کردن اطلاعات دسترسی رخداد به یک درخواست کمک کارمند برای یک مشتری خاص نیازمند زمان و تلاش زیاد کارمند بود. این حجم زیاد کار بسیاری از سازمان های IT را از هدف بلند مدت توسعه ظرفیت پیش بینی حوادث قبل از اتفاق افتادن آنها منصرف کرد.

در سال 2009 Intel IT پیشرفت مهمی در حرکت از روش های واکنشی و منفعلانه به سمت روش های فعالانه به دست آورد. ما وسیله ای را برای جمع آوری  داده های خرابی سیستم "صفحه آبی" از هزاران مشتری و تجزیه داده برای شناسایی مشکل ریشه ایی ایجاد کردیم. از طریق این تلاش، ما توانستیم که مشکلات را طبقه بندی و اولویت دهی کنیم. با گسترش راه حل ها برای مشکلات با اولویت بالا، ما تعداد صفحه های آبی را از 5500 در یک هفته به کمتر از 2500 در هفته رساندیم، اغلب باشناسایی ماشین های مشتری که احتمال داشت همان مشکل مشابه را داشته باشند به ما توانایی حل آن مشکلات قبل از اتفاق افتادن را میداد.

باتوجه به موفقیت به دست آمده وبرای ادامه کار بر آن اساس، ما هدفی برای PoC خود مقرر کردیم تا پشتیبانی IT را قادر به مشاهده و حل هرگونه حادثه ی داده شده تنها برای یک بار سازد. ما میخواستیم تا یک راه حل برای هماهنگ کردن حوادث مشتری با دسترسی های رخداد در بین ماشین های مشابه ایجاد کنیم وسپس تحلیل هایی برای تشخیص منبع مشکل انجام دهیم. در آنصورت آن راه حل میتوانست در طی پروژه مانع از تکرار مجدد مشکل شود.

 

3-1. معماری راه حل توانایی پیش بینی حادثه

سه مفهوم حجم، تنوع و سرعت تصمیم مارا برآن داشت تا از یک راه حل داده بزرگ استفاده کنیم. این سه مفهوم ویژگی های ذاتی داده بزرگ هستند. در مورد PoC ما منظور از حجم مقدار داده مورد نیاز برای پردازش است،بیش از 200 ملیون سطر از داده رخداد در طی 5 ماه جمع آوری شد. منظور از تنوع ترکیب داده متنی غیرساختاربندی شده از حوادث با داده رخداد در فرمت XML است، ترکیبی که نیازمند تجزیه بود برای ممکن کردن رابطه و فهم نتایج IT. منظور از سرعت تعدا رو به افزایش رخدادهای دسترسی یافته روزانه است. همچنین به معنی سرعتی است که کارمندان پشتیبانی باید داده رخداد و حادثه را تحلیل و ترکیب کنند تا بتوانند مشکل را تشخیص دهند و اقدام لازم برای جلوگیری از اتفاق افتادن حادثه برای دیگر مشتری ها را انجام دهند.

3-1-1. مشکلات مدیریت قدیمی مساله مشتری :

مدیریت مشکلات مشتری شامل تشخیص علل ریشه ایی حوادث و تعیین دقت آن علل برای حوادث احتمالی  بیشتر میشود که دارای دو هدف اصلی است: جلوگیری از تکرار شدن حوادث و حداقل کردن اثر حوادث که قابل پیشگیری نیستند.

مدیریت قدیمی مساله مشتری بروی تشخیص روند حادثه تمرکز میکند وبه دنبال ایجاد موقعیت برای تحلیل علل ریشه ایی با استفاده از بهترین داده حادثه ممکن است. این فعالیت واکنشی است زیرا که نیازمند این است که کاربر( مشتری درونی) نارضایتی خود را از خدمت نامناسب (نرمافزاری یا سخت افزاری) که تاثیر منفی در بهره وری آنها داشته  از طریق تماس با میز خدمت ابراز نماید. کاربران حوادث مخرب را تجربه میکنند، پشتیبانی IT کمک میکند تا مشکل حل شود. بهره وری کاربر تا زمانی که مشکل حل شود کاهش میابد.

فایل های مرتبط ( 15 عدد انتخاب شده )
پاورپوینت امنیت در شبکه های بی سیم
پاورپوینت امنیت در شبکه های بی سیم

پاورپوینت معرفی جولا و روش نصب آن+تصاویر
پاورپوینت معرفی جولا و روش نصب آن+تصاویر

سوالات و پاسخنامه آزمون مشاوران رشته آموزش مشاوره و مدیریت
سوالات و پاسخنامه آزمون مشاوران رشته آموزش مشاوره و مدیریت

آشنایی با نرم افزار pspice
آشنایی با نرم افزار pspice

مدل بلوغ قابلیت (CMM) برای نرم افزار
مدل بلوغ قابلیت (CMM)  برای نرم افزار

پاورپوینت موتورهای جستجوگر
پاورپوینت موتورهای جستجوگر

پاورپوینت کاربرد شبکه های محلی
پاورپوینت کاربرد شبکه های محلی

پاورپوینت جدول گانت
پاورپوینت جدول گانت

كامپیوتر شناختی كلی از انواع سیستم های كامپیوتری خصوصاً سیستم‌های توزیع شده
كامپیوتر شناختی كلی از انواع سیستم های كامپیوتری خصوصاً سیستم‌های توزیع شده

پاور پوینت آشنایی با سیستم مدیرت محتوای دروپال
پاور پوینت آشنایی با سیستم مدیرت محتوای دروپال

تهیه نرم افزار حقوق و دستمزد - کارشناسی نرم افزار
تهیه نرم افزار حقوق و دستمزد - کارشناسی نرم افزار

شبکه های کامپیوتری و طراحی صفحات وب
شبکه های کامپیوتری و طراحی صفحات وب

ارتباط با پایگاه داده‌های Access در Visual Basic
ارتباط با پایگاه داده‌های Access  در  Visual Basic

سوالات و پاسخنامه آزمون مشاوران رشته آموزش اینترنت و شبکه
سوالات و پاسخنامه آزمون مشاوران رشته آموزش اینترنت و شبکه

سوالات و پاسخنامه آزمون مشاوران نصر بخش عمومی رشته ها
سوالات و پاسخنامه آزمون مشاوران نصر بخش عمومی رشته ها

پشتیبانی از تمامی بانک ها-فایل نیک

بالا