پایان نامه وب کاوی در صنعت‎

شرح مختصر : با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

فهرست :

مقدمه

فصل دوم: داده کاوی

مقدمه ای بر داده کاوی

چه چیزی سبب پیدایش داده کاوی شده است؟

مراحل کشف دانش

جایگاه داده کاوی در میان علوم مختلف

داده کاوی چه کارهایی نمی تواند انجام دهد؟

داده کاوی و انبار داده ها

داده کاوی و OLAP

کاربرد یادگیری ماشین و آمار در داده کاوی

توصیف داده ها در داده کاوی

خلاصه سازی و به تصویر در آوردن داده ها

خوشه بندی

تحلیل لینک

مدل های پیش بینی داده ها

دسته بندی

رگرسیون

سری های زمانی

مدل ها و الگوریتم های داده کاوی

شبکه های عصبی

درخت تصمیم

Multivariate Adaptive Regression Splines(MARS)

Rule induction

Knearest neibour and memorybased reansoning(MBR)

رگرسیون منطقی

تحلیل تفکیکی

مدل افزودنی کلی (GAM)

Boosting

سلسله مراتب انتخابها

داده کاوی و مدیریت بهینه وب سایت ها

داده‌کاوی و مدیریت دانش

فصل سوم: وب کاوی

تعریف وب کاوی

مراحل وب کاوی

وب کاوی و زمینه های تحقیقاتی مرتبط

وب کاوی و داده کاوی

وب کاوی و بازیابی اطلاعات

وب کاوی و استخراج اطلاعات

وب کاوی و یادگیری ماشین

انواع وب کاوی

چالش های وب کاوی

مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان

محتوا کاوی وب

فصل چهارم: وب کاوی در صنعت

انواع وب کاوی در صنعت

وب کاوی در صنعت نفت، گاز و پتروشیمی

مهندسی مخازن/ اکتشاف

مهندسی بهره برداری

مهندسی حفاری

بخشهای مدیریتی

کاربرد های دانش داده کاوی در صنعت بیمه

کاربردهای دانش داده کاوی در مدیریت شهری

کاربردهای داده کاوی در صنعت بانکداری

بخش بندی مشتریان

پژوهش های کاربردی

نتیجه گیری

منابع و ماخذ فارسی

مراجع و ماخذ لاتین و سایتهای اینترنتی

عنوان مقاله : نگاهی بر داده کاوی و کشف قوانین وابستگی

دانلود پایان نامه وب کاوی در صنعت

مفاهیم و کاربرد های داده کاوی پروژه دوره کارشناسی

چکیده:
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ،
نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کردواطلاعات حاصل از این پردازش
را در اختیار کاربران قرار داد .
و ابزارهای گوناگون گزارش گیری معمولی ، می توان SQL با استفاده از پرسش های ساده در
اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی
میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند
نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم
با شند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است .
از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده
شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به
کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های
منطقی را بیان نمایند .
داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل
دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا
براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .
در داده کاوی از بخشی از علم آمار به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر
کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شود . علاوه بر این داده
کاوی با هوش مصنوعی و یادگیری ماشین نیز ارتباط تنگاتنگی دارد ، بنابراین می توان گفت در
5
داده کاوی تئوریهای پایگاه داده ها ، هوش مصنوعی ، یادگیری ماشین و علم آمار را در هم می
آمیزند تا زمینه کاربردی فراهم شود .
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها ،
در حد مگا یا ترابایت ، مواجه باشیم . در تمامی منابع داده کاوی بر این مطلب تاکید شده است .
هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان
داده ها مشکلتر می شود و نقش داده کاوی به عنوان یکی از روشهای کشف دانش ، روشن تر می
گردد .
6
فهرست مطالب
مفاهیم و کاربرد های داده کاوی .......................................................................................................
مفاهیم و کاربرد های داده کاوی .......................................................................................................
چکیده: ........................................................................................................................................... 4
مقدمه: . .......................................................................................................................................... 11
فصل اول – مفاهیم داده کاوی . ..................................................................................................... 14
مدیریت ذخیره سازی و دستیابی اطلاعات ............................................................................... 14
ساختار بانک اطلاعاتی سازمان: ................................................................................................ 15
16................................................................................................ (Data Mining) : داده کاوی
مفاهیم پایه در داده کاوی ......................................................................................................... 18
تعریف داده کاوی .................................................................................................................... 18
تاریخچه داده کاوی .................................................................................................................. 19
مراحل فرایند کشف دانش از پایگاه داده ها . ............................................................................. 21
انبارش داده ها . ......................................................................................................................... 22
انتخاب داده ها ......................................................................................................................... 22
تبدیل داده ها............................................................................................................................ 23
کاوش در داده ها . ..................................................................................................................... 23
تفسیر نتیجه .............................................................................................................................. 24
عملیاتهای داده کاوی . ............................................................................................................... 24
7
مدلسازی پیشگویی کننده ......................................................................................................... 25
تقطیع پایگاه داده ها ................................................................................................................. 26
تحلیل پیوند ............................................................................................................................. 26
تشخیص انحراف ..................................................................................................................... 27
الگوریتم های داده کاوی .......................................................................................................... 27
شبکه های عصبی ..................................................................................................................... 28
درخت های انتخاب ................................................................................................................. 29
استنتاج قانون . ........................................................................................................................... 30
الگوریتمهای ژنتیک .................................................................................................................. 31
مدل فرآیند دو سویه ................................................................................................................ 31
تعریف مساله . ........................................................................................................................... 32
ساختن یک پایگاه داده داده کاوی ............................................................................................ 33
جستجوی داده . ......................................................................................................................... 34
آماده سازی داده برای مدل سازی . ............................................................................................ 35
ساختن مدل داده کاوی ............................................................................................................ 35
تائید اعتبار ساده ....................................................................................................................... 36
ارزیابی و تفسیر؛ تایید اعتبار مدل ............................................................................................ 36
ایجاد معماری مدل و نتایج . ...................................................................................................... 36
سابقه داده کاوی ....................................................................................................................... 38
مفهوم داده کاوی ...................................................................................................................... 40
8
نرمافزارهای دادهکاوی .............................................................................................................. 42
درک قلمرو .............................................................................................................................. 44
استفاده از نتایج . ........................................................................................................................ 44
اکتشاف : .................................................................................................................................. 46
مدل پیش بینی : ....................................................................................................................... 46
تحلیلهای دادگاهی : ................................................................................................................. 46
52...................................................... DM Commercial Tools ابزارهای تجاری داده کاوی
منابع اطلاعاتی مورد استفاده ..................................................................................................... 53
انبار داده ................................................................................................................................... 54
پیشرفت در تکنولوژیهای داده پردازی ...................................................................................... 54
دیتا مارت ................................................................................................................................. 55
انبار داده ها .............................................................................................................................. 56
عناصر داده کاوی ..................................................................................................................... 58
فنون داده کاوی ........................................................................................................................ 59
ابزارهای پرس و جو: ............................................................................................................... 60
فنون آماری:.............................................................................................................................. 60
مصور سازی: . ........................................................................................................................... 60
پردازش تحلیلی پیوسته: ........................................................................................................... 61
یادگیری مبتنی بر مورد: ............................................................................................................ 61
درختان تصمیم گیری: .............................................................................................................. 61
9
قوانین وابستگی: ....................................................................................................................... 61
شبکه های عصبی : . .................................................................................................................. 62
الگوریتم ژنتیکی: ...................................................................................................................... 62
محدودیت های داده کاوی ....................................................................................................... 64
حفاظت از حریم شخصی در سیستمهای دادهکاوی ................................................................. 64
فصل دوم : کاربردهای داده کاوی ................................................................................................. 67
کاربرد داده کاوی در کسب و کار هوشمند بانک ...................................................................... 68
داده کاوی درمدیریت ارتباط بامشتری . ..................................................................................... 69
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی ................................................. 71
کاربردهای داده کاوی در کتابخانه ها . ....................................................................................... 71
داده کاوی و مدیریت موسسات دانشگاهی . .............................................................................. 73
کاربردهای داده کاوی در موسسات دانشگاهی ......................................................................... 73
داده کاوی و مدیریت بهینه وب سایت ها ................................................................................ 74
دادهکاوی و مدیریت دانش ....................................................................................................... 75
کاربرد دادهکاوی در آموزش عالی ............................................................................................ 76
فصل سوم – بررسی موردی 1: وب کاوی .................................................................................... 78
معماری وب کاوی ................................................................................................................... 78
مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان . .......................................... 84
محتوا کاوی وب ...................................................................................................................... 85
فصل چهارم – بررسی موردی 2 : داده کاوی در شهر الکترونیک ................................................. 87
10
زمینه دادهکاوی در شهر الکترونیک ......................................................................................... 90
کاربردهای دادهکاوی در شهر الکترونیک ................................................................................ 91
کشف علایق و انگیزههای شهروندان و تولید سرویسهای شخصیسازی . .................................. 92
تجدید ساختار سایت وب شهر و افزایش کارایی سیستم ......................................................... 93
تقویت برنامهریزیهای دولت و ترویج نوآوری.......................................................................... 95
بهبود تحلیلها و تصمیمات دولت ............................................................................................. 96
چالشهای دادهکاوی در شهر الکترونیک . .................................................................................. 96
کیفیت دادهها ........................................................................................................................... 97
قابلیت انتقال دادهها و استفاده از اطلاعات ............................................................................... 97
چالش برآورد مدلهای دادهکاوی . ............................................................................................. 98
دقت نتایج متدهای دادهکاوی ............................................................................................... 100
پیچیدگی و هزینه زمانی ........................................................................................................ 102
محرمانگی دادهها .................................................................................................................. 102
نتیجه گیری . ............................................................................................................................... 104
مراجع و ماخذ فارسی . ............................................................................................................... 106
مراجع و ماخذ لاتین و سایتهای اینترنتی . ................................................................................... 107
11
مقدمه:
با گسترش فناوری اطلاعات و ارتباطات 1 درجهان و ورود سریع آن به زندگی روزمره مردم مسائل
و ضرورتهای تازهای بهوجودآمدهاست. امروزه انسان توسعه یافته کسی است که به اطلاعات
دسترسی داشتهباشد و دسترسی به اطلاعات نه یک ضرورت،که یک قدرت محسوبمیشود.
دراینمیان شهرها به عنوان مراکز قدرت انسانی و تمدنهای بشری بیش از پیش اهمیتیافتهاند. به
اعتقاد الوین تافلر، مردم کره زمین تا به امروز سه موج اساسی تحول راپشت سرگذاشته اند :
موج اول، موج انقلاب کشاوزی است که زمان آغاز آن برکسی مشخص نیست.
موج دوم، انقلاب صنعتی است که به دنبال اختراع ماشین بخار در سال 1764 آغاز شد.
موج سوم یا انقلاب انفورماتیک است که ازسال 1946 که بشر به ساخت کامپیوتر نائل آمده آغاز
گشتهاست.
اگر در موج دوم سختافزارها به کمک انسانها میآمدند، درموج سوم این نرمافزارها هستند که به
خدمت بشر میشتابند و تفکرات و تصورات آدمی را به شکل کدهای صفر و یک و با کمک امواج
ماهوارهای مبادله میکنند.
در موج سوم، انسان هر روز که بیشتر یاد میگیرد، بیشترمی فهمدکه با حقیقت فاصله دارد. موج
سوم راموج خردورزی نیز لقب داده اند زیرا در این عرصهها، انسانها دیگر فرصت ندارند زیاد با
هم صحبتکنند، همه چیز تعریف شده و برای هر تعریف، یک کد درنظرگرفته شده است.
از سوی دیگر در دنیای به شدت رقابتی امروز، اطلاعات بعنوان یکی از فاکتورهای تولیدی مهم
پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از داده ها توجه بسیاری از افراد دخیل
1 Information and Communication Technology(ICT)
12
در

مهار انحراف(باز کاوی حوادث بعد از رحلت پیامبر اکرم ص)