گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار میرود. برای مقابله با این مشکل، سیستمهای شخصیسازی وب ارائه شدهاند که محتوا و سرویسهای یک وبسایت را با افراد براساس علایق و رفتار گردشی آنها سازگار میکنند. یک مولفهی اساسی در هر سیستم شخصیسازی وب، مدل کاربر آن است. محتوای صفحات یک وبسایت را میتوان به منظور ایجاد مدل دقیقتری از کاربر مورد استفاده قرار داد، اما رویکردهای مبتنی بر کلمات کلیدی نگرش عمیقی از وبسایت ندارند. اخیرا تحقیقاتی برای ترکیب کردن معنای موجود در وبسایت در نمایش کاربران آن انجام شده است. تمامی این تلاشها یا از یک ردهبندی یا واژگان شناختی خاص و دست ساخته و یا از واژگانشناختیهای عمومی مانند WordNet برای نگاشت مشاهده صفحات به عناصر معنایی استفاده میکنند. با این وجود ساختن یک سلسله مراتب از مفاهیم به صورت دستی زمانبر و هزینهبر است. از سوی دیگر منابع معنایی لغوی عمومی از پوشش کم عبارات خاص دامنه رنج میبرند. در این پایان نامه ما قصد داریم که هر دوی این نقصها را برطرف کنیم. دستاورد اصلی ما این است که مکانیسمی برای بهبود نمایش کاربر در وبسایت به صورت خودکار و با استفاده از یک منبع معنایی لغوی جامع معرفی میکنیم. ما از Wikipedia، بزرگترین دایرهالمعارف امروزی به عنوان یک منبع غنی معنایی برای بهبود ساخت خودکار مدل برداری از علایق کاربر بهرهبرداری میکنیم. معماری ارائه شده شامل تعدادی مولفه است که عبارتند از: پیش پردازش اولیه، استخراج مفاهیم دامنهی وب سایت، استخراج کلمات کلیدی از وبسایت، سازندهی بردار کلمات کلیدی و نگاشت کلمات کلیدی به مفاهیم. دستاورد مهم دیگر استفاده از ساختار وب سایت برای محدود کردن خودکار مفاهیم خاص دامنه میباشد.
1- مقدمه 2
1-1- دلایل نیاز به شخصیسازی وب 2
1-1-1- گرانبار شدن اطلاعات 2
1-1-2- نیاز به جذب مشتری پابرجای برای وبسایت 3
1-2- تعریف شخصیسازی وب 3
1-3- فواید سیستم شخصیسازی وب 3
1-4- تفاوت شخصیسازی وب با تطبیق طرح کلی سایت 3
1-5- طبقهبندی عملکردهای اصلی شخصیسازی وب 4
1-6- نیازمندیهای اصلی سیستم شخصیسازی وب 5
1-7- رویکرد های موجود در شخصی سازی وب 6
1-8- نقش وب کاوی کاربرد وب در شخصیسازی وب 7
1-9- نیاز به استفاده از محتوا در شخصیسازی وب 7
1-10- نیاز به استفاده از معنا در شخصیسازی وب 8
1-11- هدف پروژه 9
1-12- نحوهی گردآوری مراجع 9
1-13- رویکرد بکار رفته در تحقیق 10
1-14- ساختار پایان نامه 10
2- مطالب پیش زمینه 12
مقدمه 12
2-1- شخصی سازی وب براساس وب کاوی کاربرد وب 12
2-1-1- آماده سازی و مدلسازی داده 14
2-1-1-1- منابع و انواع داده 15
2-1-1-1-1- داده های کاربرد 15
2-1-1-1-1-1- فرمت های ثبت 16
2-1-1-1-1-2- منابع داده های کاربرد 17
2-1-1-1-2- داده های محتوا 21
2-1-1-1-3- داده های ساختار 22
2-1-1-1-4- داده های کاربران 22
2-1-1-2- آماده سازی و پیش پردازش دادهها 23
2-1-1-2-1- پاکسازی داده ها 23
2-1-1-2-2- شناسایی کاربر 24
2-1-1-2-3- تشخیص مشاهده صفحه 26
2-1-1-2-4- تشخیص جلسه کاربر 26
2-1-1-2-5- تکمیل مسیر 27
2-1-1-2-6- تشخیص تراکنش 28
2-1-1-2-7- پیش پردازش نهایی داده های کاربرد 30
2-1-1-2-8- یکپارچه سازی داده ها از منابع گوناگون 31
2-1-2- کشف الگو از داده های کاربرد وب 32
2-1-2-1- سطوح و انواع تحلیل 32
2-1-2-2- وظایف داده کاوی بر روی داده های کاربرد وب 33
2-1-2-2-1- کاوش قواعد انجمنی 34
2-1-2-2-2- کشف الگوهای ترتیبی 35
2-1-2-2-3- خوشه بندی 40
2-1-3- استفاده از الگوهای کشف شده جهت شخصی سازی وب 43
2-1-4- زمینه های تحقیقاتی شخصی سازی وب 43
2-2- منابع معنایی لغوی 45
2-2-1- فرهنگ لغت 45
2-2-2- فرهنگ های جامع 45
2-2-3- واژگان شناختی و رده بندی 46
2-2-3-2- رده بندی 48
2-2-3-3- واژگان شناختی ها و رده بندی های موجود 49
2-2-3-3-1- واژگان شناختی های مربوط به یک دامنه خاص 49
2-2-3-3-2- واژگان شناختی های عمومی 49
2-2-3-3-2-1- CYC و OpenCYC 50
2-2-3-3-2-2- WordNet 50
2-2-3-3-2-3- دایرکتوری های وب 51
2-2-3-4- زبان های نمایش واژگان شناختی 52
2-2-4- فرهنگ های عمومی 53
2-2-4-1- Wikipedia 53
2-2-4-1-1- نقاط ضعف و قوت Wikipedia 54
2-2-4-1-2- ساختار Wikipedia 55
2-2-4-1-3- انواع اطلاعات معنایی لغوی در Wikipedia 56
3- کارهای انجام شده در زمینه مدلسازی کاربر در شخصی سازی وب با استفاده از محتوای وب 59
مقدمه 59
3-1- تکنیک های مورد استفاده 60
3-1-1- تکنیک tf-idf 60
3-1-2- تکنیک تحلیل معنایی پنهان 60
3-1-3- تکنیک های مربوط به محاسبه ارتباط معنایی دو کلمه 61
3-1-3-1- معیارهای ارتباط معنایی مهم در ساختارهای سلسله مراتبی 61
3-1-3-1-1- رویکردهای مبتنی بر مسیر 61
3-1-3-1-2- رویکردهای مبتنی بر محتوای اطلاعات 62
3-1-3-1-3- رویکردهای مبتنی بر همپوشانی متن 62
3-1-3-2- رویکردهای محاسبه ارتباط معنایی دو کلمه برای روابط غیر رابطه هست 63
3-1-3-3- کارهای انجام شده در مورد محاسبه ارتباط معنایی دو کلمه در Wikipedia 63
3-2- رویکردهای انجام شده در زمینه مدلسازی کاربر در وب سایت با استفاده از محتوای صفحات 64
3-2-1- رویکردهای بر مبنای کلمات کلیدی 65
3-2-2- رویکردهای معنایی 66
3-2-2-1- روش های آماری 66
3-2-2-2- روش های مبتنی بر سلسله مراتب 67
جمع بندی 72
روش پیشنهادی 73
4- روش پیشنهادی 74
4- روش پیشنهادی 74
مقدمه 74
4-1- تعریف مساله 74
4-2- طراحی روش جدید 74
4-2-1- مولفه پیش پردازش اولیه ثبت 75
4-2-2- مولفه استخراج کلمات کلیدی از صفحات وب سایت 75
4-2-3- مولفه استخراج مفاهیم دامنه از وب سایت 78
4-2-4- مولفه سازنده بردار کلمات کلیدی 80
4-2-5- مولفه نگاشت 82
4-6- دیاگرام های UML قسمت های اصلی سیستم 84
4-7- بررسی تطابق طرح پیشنهادی با صورت مساله 85
جمع بندی 86
منایع 87