-
پیش پردازش داده ها : منشاء ایجاد داده های غیر دقیق (inaccurate)
همانطور که در مطلب قبل (پیش پردازش داده ها) بیان کردیم د وجود داده‌های ناقص، غیر دقیق و ناسازگار در پایگاه داده های بزرگ دور از انتظار نیست و معمولا یکی از مشکلات کار با پایگاه داده های بزرگ است. اشنایی با این داده ها و منشاء انها می تواند در پیش پردازش داده ها بیسیار موثر باشد. در این مطلب قصد داریم دلایل ایجاد اینگونه داده‌های نامناسب را بررسی کنیم.
شناسایی دلایل ایجاد هر نوع از داده ها ناقص، غیر دقیق و ناسازگار، یک پیش نیاز برای گام پیش پردازش داده ها می باشد.
در این بخش دلایل ایجاد داده های نادقیق را بررسی میکنیم
ابزارهای جمع آوری داده ممکن است دارای خطا باشند: در بسیاری از حوزه ها ثبت اطلاعات و داده ها توسط ابزارها انجام می شود و اگر ابزارها دچار مشکل بشوند ممکن است داده های دارای خطا و نامعتبر را ثبت کنند. به عنوان نمونه میتوان به داده های هواشناسایی اشاره کرد. فرض کنیدبه علت مشکلی که در دما سنج مورد استفاده به علت ایجاد مشکل دما را با 2 درجه اختلاف نمایش دهد. این امر باعث می شود که اطلاعات نادرست ثبت گردد. ممکن است بزاری که جمع آوری داده را انجام میدهد دقت مورد نظر ما را نداشته باشد.
خطاهای انسانی در ثبت داده: هر چه میزان افرادی که با یک سیستم کار میکنند بیشتر شود احتمال رخ دادن خطای انسانی بیشتر می شود. به عنوان مثال کاربر ممکن است تعداد کالای وارد شده را منفی وارد کند. بخشی زیادی از این گونه خطاها را می توان به کمک برنامه نویسی و کنترل های که روی ورودی داده داریم، رفع کنیم. اما بعضی از انواع خطاها به راحتی قابل تشخصی نیستند. به عنوان مثال یک کاربر ممکن است تاریخ تولد یا شماره تماس خود را اشتباه وارد کند. این نوع خطاها با عنوان خطاهای “خطاهای پنهان” یاد می شوند و از بدترین نوع داده های غیر دقیق هستند، زیرا پی بردن به داده اشتباه بسیار سخت و در بعضی موراد غیر ممکن است.
خطا در انتقال داده: خطاهای انتقال می تواند منشاء ابزاری یا انسانی داشته باشند
منشاء ابزاری: فرض کنید ما قصد داریم دو پایگاه داده را بر روی دو سیستم مختلف با یکدیگر ترکیب کنیم. یکی از اتفاقاتی که هنگام انتقال داده می تواند رخ دهد مشکلات مربوط به بافر است. به عنوان مثال در زمان همگام سازی داده ها، محدودیت های اندازه بافر می تواند باعث ثبت داده نامعتبر گردد.
منشأ انسانی: فرض کنید ما دو تا پایگاه داده داریم که در یکی از آنها جنسیت افراد به صورت “مرد” یا “زن” ذخیره شده است و در پایگاه داده دیگر جنسیت با “0” و “1” ذخیره شده است، صفر به معنای این است که کاربر زن است و یک به معنای این است که کاربر مرد است. هنگام که می خواهیم داده ها را یکسان کنیم (مثلا همه را به قالب “مرد” یا “زن” تبدیل کنیم) ممکن است در تبدیل داده ها خطا رخ دهد.
تا اینجا انواع دلایل مربوط به داده های غیردقیق را بررسی کردیم در مطالب بعدی دلایل به وجود آمدن داده های ناقص و ناسازگار را نیز بررسی خواهیم کرد و پس از آن وارد بحث پیش پردازش داده ها می شویم. و مهمترین فعالیت های حوزه پیش پردازش داده ها را مورد بررسی قرار می دهیم.
منبع
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
پیش پردازش داده ها : منشاء ایجاد داده های ناقص (Incomplete)
همانطور که درقبلا بیان کردیم وجود داده‌های ناقص، غیر دقیق و ناسازگار در پایگاه داده های بزرگ دور از انتظار نیست و معمولا یکی از مشکلات کار با پایگاه داده های بزرگ است.
داده های ناقص بر خلاف داده های غیر دقیق اصلا وجود ندارد. به عبارت دیگر در داده های غیر دقیق ممکن بود داده های نامعتبر درج شوند، ولی در داده های ناقص ممکن است، بخشی از اطلاعات وجود نداشته باشد.
با توجه به اهمیت داده های ناقص در این مطلب قصد داریم مهمترین دلایل به وجود آمدن داده های ناقص را بررسی کنیم:
1.عدم دسترسی به داده ها در هنگام ثبت داده ها: ممکن است داده های که ما به آنها نیاز داریم در زمان ثبت داده‌ها در دسترس نبوده باشد. فرض کنید قرار است برای هر ایرانی یک کارت هوشمند ملی صادر شود و هر فرد برای خودش یک کد اختصاصی خواهد داشت. این طرح قرار است از آخر امسال اجرا شود. سازمان ما برنامه ای دارد که در آن اطلاعات مشتریان ثبت شده است. با توجه به اینکه تا چند وقت دیگر هر فردی یک کد ملی هوشمند خواهد داشت، ما بخشی را به نرم افزارهای شرکت اضافه کرده ایم که کد ملی هوشمند مشتریان را نیز در یافت کند. حال فرض کنید دو سال از اجرای طرح گذشته است. سوال مهم اینجاست که آیا همه مشتریان ما کد ملی هوشمند ثبت شده دارند؟ پاسخ منفی است. مشتریانی قبل از اجرای کارت ملی هوشمند، اطلاعاتشان ثبت شده است این بخش داده ای وجود ندارد. پس داده ناقص در پایگاه داده خواهیم داشت.
2.داده های که در زمان ثبت مهم نبودند ولی بعدا مهم شده: یک مثال واقعی از این نوع داده ها، ثبت اطلاعات در اپراتورهای همراه بود. در ابتدا که افراد برای خرید سیم کارت به اپراتورها مراجعه می کردند اطلاعات کد ملی آنها دریافت نمی شود چون مهم نبود. بعد از گذشت مدتی با توجه به بعضی از سوء استفاده های که از سیم کارتهای خریداری شده می شود. ثبت کد ملی، خریدار سیم کارت اجباری شد. ثبت کد ملی سیم کارت های فروش رفته قبلی یکی از معضلات اپراتورهای همراه بود که راه حل های نیز توسط اپراتورها در پیش گرفته شد تا بتوانن این داده ناقص را کامل کنند.
3.عدم ثبت داده به علت غیر قابل فهم بودن یا اشتباه سخت افزاری: یک شرکت خدماتی را فرض کنید که اطلاعات مشتریان خود را ثبت میکند. بعضی مواقع اطلاعات شناسنامه ای مربوط خریدار (مثلا نام پدر) به دلایلی مانند عجله بخش پذیرش شرکت، ناخوانا بوده اطلاعات شناسنامه ای، همراه نداشتن شناسنامه مشتری و … ممکن است این اطلاعات درج نگردد.
تا اینجا انواع دلایل مربوط به داده های غیردقیق و ناقص را بررسی کردیم در مطلب بعدی دلایل به وجود آمدن داده های ناسازگار را نیز بررسی خواهیم کرد و پس از آن وارد بحث پیش پردازش داده ها می شویم.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
پیش پردازش داده ها : نکات تکمیلی در مورد داده های ناقص، ناسازگار و غیر دقیق
در این قسمت آخرین بخش مربوط به این حوزه پیش پردازش داده ها را ارائه خواهیم دارد
•داده‌های که با سایر داده‌های ناسازگاری دارند باید از مجموعه داده هاحذف شوند.
•در بعضی از مواقع پیشینه (تاریخچه) مربوط به داده‌ها و یا اطلاعات مربوط به زمان تغییرات داده‌ها نیز نگهداری می شود. در صورت عدم نیاز به آنها ، این اطلاعات را حذف کنیم.
•داده‌های که مقادیر گم شده دارند یا به عبارت دیگر برای آنها مقادیری وجود ندارد باید بر اساس سایر ویژگی‌های مرتبط با آنها استنتاج شوند و مقادیر مناسب برای آنها تولید گردد.
اهمیت کاربر استفاده کننده از داده ها : نکته دیگر در مورد داده‌های این است که کیفیت داده های تولید شده بسیار به کسی که می خواهد از آن استفاده کند وابسته است. به عنوان مثال فرض کنید ما اطلاعات مربوط به آدرس مشتریان را در اختیار داریم. فرض کنیددر داده های موجود، اطلاعات آدرس 80 مشتریان وجود دارد و 20 درصد از آدرس مربوط به مشتریان یا دیگر معتبر نیست (مثلا مشتری نقل مکان کرده است) و یا اشتباه ثبت شده است. میزان کیفیت این اطلاعات را می اوانیم از دیدگاه دو دسته متقاضی بررسی کنیم
•تحلیل‌گر بازار: این حجم داده (80 درصد آدرس مشتریان) برای تحلیل گران می تواند حجم مناسبی از داده ها باشد و از لحاظ آنها، این مقدار داده هم کافی است و هم دقیق
•مدیر فروش: از دید مدیر فروش این داده ولی ممکن است ناقص و غیر کاربردی باشد.
در نتیجه در نظر گرفته کسی که به دادها نیاز دارد یک اصل مهم در تعیین داده ها ناقص، ناسازگار و غیر دقیق است.
دوتا معیار دیگر که بسیار به کاربر واسته است به شرح زیر است
1- Believability : به معنای این است که کاربر چقدر باور دارد که داده‌های موجود درست است.
2- Interpretability : اینکه داده های موجود از دید کاربر چقدر قابل فهم است.
از آنجایی که این دو معیار چندان به تکنیک های داده کاوی ارتباطی ندارد در این بخش تنها به آنها اشاره داشتیم.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
چرخه داده کاوی
توی مطالب که تا اینجا در مورد داده کاوی گفتیم هدف ما این بود که یک سری پیش نیاز از داده کاوی رو ارائه بدیم. این پیش نیاز ها برای ادامه مسیر بسیار ضروری است پس نیاز است تا یک نگاهی به اونها داشته باشید.
از اینجا به بعد قصد داریم گام های داده کاوی رو معرفی و بررسی کنیم. در واقع قصد داریم هر یک از گام های داده کاوی رو به صورت جزیی تر همراه با معرفی تکنیک های هر گام و مثال های متنوع بیان کنیم. گام های یا چرخه داده کاوی توی شکل زیر نشان داده شده است
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
یک تفسیر ساده از چرخه داده کاوی (تصویر بالا) به این صورت است
گام اول : معمولا داده های که ما برای داده کاوی نیاز داریم در منابع و پایگاه داده های مختلف وجود دارد. در نتیجه در اولین گام نیاز است تا این داده ها یکپارچه سازی بشن. یکی دیگر از فعالیت های مهم در گام اول پاکسازی داده ها است. معمولا داده ها در منابع اطلاعاتی بزرگ ناقص، غیر دقیق و ناسازگار هستند در نتیجه نیاز است تا داده های معتبر برای فعالیت های بعدی ایجاد گردد. خروجی این گام داده های معتبر و یکپارچه است.
گام دوم : یک نکته مهم در مورد داده ها این است که همیشه، همه داده ها مورد نیاز نیست و بسته به اهدافی که داریم ممکن است بخش های از داده ها مورد نیاز باشد. از این رو گام دوم نیاز است تا تنها داده های مفید و مناسب کارمون رو از بین حجم زیاد داده انتخاب کنیم.
گام سوم : اجرای تکنیک های داده کاوی بر روی داده ها است. خروجی این گام همانطور که بارها گفته ایم یک سری الگو و اطلاعات است که در نگاه اول در حجم بالای داده غیر قابل تشخیص است
گام چهارم : ارزیابی الگوهای استخراج شده در گام سوم ، آخرین گام از داده کاوی می باشد. خروجی این گام اطلاعات مفید و معتبر است که در اختیار تصمیم گیرندگان قرار می گیرد.
منتظر مطالب بعدی باشید.
منبع
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
پیش پردازش داده‌ها : پاکسازی داده، یکپارچه سازی داده، کاهش داده و تبدیل داده
همانطور که توی قول داده بودیم قصد داریم مهمترین تکنیک های پیش پردازش داده‌ها رو با جزییات بیشتری بررسی کنیم. در مطلب قبل چرخه داده کاوی رو معرفی کردیم و گفتیم که پیش پردازش داده‌ها اولین گام در داده کاوی است. در این مطلب مهمترین تکنیک ها پیش پردازش داده ها را معرفی میکنم.
مهمترین فعالیت های که در بخش پیش پردازش داده‌ها انجام می شود عبارت است از 1- پاکسازی داده (data cleaning) ، 2- یکپارچه سازی داده (data integration ) ، 3- کاهش داده (data reduction) و در نهایت تبدیل داده (data transformation)
توی این مطلب یک تعریف مختصر از هر کدوم از 4 مفهوم بالا ارائه میدیم تا یک شناخت کلی از اونا حاصل بشه و در مطالب بعدی هر یک رو به جزییات بیشتر، تکنیک ها و مثل های متنوع بررسی میکنیم
پاکسازی داده (data cleaning)
مهمترین فعالیت های این بخش عبارت است تخمین مقادیر ناموجود در پایگاه داده ها، از بین بردن اختلال (noise) در داده ها، حذف کردن داده های پرت و نامربوط، از بین بردن ناسازگاری در داده ها. نکته مهم این است که هر چه این گام از داده کاوی بهتر انجام شود، خروجی الگوریتم ها و تکنیک های داده کاوی کیفیت بالاتری خواهد داشت
یکپارچه سازی داده (data integration)
در بسیاری از موارد ممکن است داده ها در فایل ها و منابع مختلف نگهداری شوند و در این صورت نیاز است تا داده ها پیش از اجرای تکنیک های داده کاوی با یکدیگر یکپارچه شوند. یکپارچه سازی هم فعالیتی سنگین است و هم چالش های فراوانی را به همراه دارد که در مفصل در مورد آن صحبت خواهیم کرد.
کاهش داده (data reduction)
یکی از مهمترین نکات در داده کاوی این است که ممکن است همیشه، همه داده ها مورد نیاز نباشند و تنها بخشی از داده ها که مورد نیاز است باید مورد پردازش قرار بگیرد. کاهش داده (data reduction) به این مباحث می پردازد.
تبدیل داده (data transformation)
فعالیت های مانند نرمال سازی داده ها و گسسته سازی داده ها در این حوزه جای میگیرند.
تا اینجا با کلیات پیش پردازش داده‌ها آشنا شدید در مطالب بعدی هر یک از بخش ها را با جزییات بیشتری بیان خواهیم کرد. منتظر مطالب بعدی ما باشید.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
پاکسازی داده ها – تخمین داده های ناموجود Missing Values
همانطور که در مطلب قبل بیان کردیم پیش پردازش داده ها دارای 4 گام اصلی می باشد 1- پاکسازی داده (data cleaning)، 2- یکپارچه سازی داده (data integration)، 3- کاهش داده (data reduction) و در نهایت تبدیل داده (data transformation).
پاکسازی داده اولین بخشی که قصد درایم در مورد تکنیک های آن صحبت کنیم. مهمترین فعالیت های این بخش عبارتند از
تخمین داده های ناموجود (Missing Values)
هموار سازی نویز ها (smooth out noise) – این مفهوم رو بیشتر در مثال توضیح خواهیم داد
مشخص کردن داده های پرت (outlier)
تصحیح ناسازگاری ها در داده ها
در چند مطلب آینده هر یک از زیر بخش های مربوط به پاکسازی داده ها را به صوت مفصل بررسی خواهیم نمود.
بخش اول: تخمین داده های ناموجود (Missing Values)
فرض کنید شما حجم زیادی از داده ها دراید اگر بخشی از اطلاعات وجود نداشته باشد چکار خواهید کرد؟ در ادامه راه حل های مقابله با این مشکل را بررسی خواهیم کرد
راه حل اول برای تخمین داده های ناموجود ، حذف داده: ساده ترین تکنیک و روشی که می توانیم در این زمینه از آن استفاده کنیم این است که داده را به صورت کامل از مجموعه داده ای حذف کنیم. این تکنیک بسیار ساده می باشد، اما در استفاده از آن باید بسیار دقت نمود. این تکنیک چه زمانی استفاده خواهد شد.
کاربرد اول: عدم وجود داده های ضروری
داده های که ما با انها سر و کار داریم به دو بخش تقسیم می شود
داده های ضروری و با اهمیت
داده های غیر ضروری
وقتی داده های ضروری ناموجود باشد، با توجه به اهمیت این داده ها اگر تخمین ما درست نباشد ممکن است خروجی تکنیک های داده کاوی را تحت تاثیر قرار بدهد، در نتیجه می تواند تکنیک مناسبی باشد. البته اگر تخمین ما قابل قبول باشد، تکنیک حذف چندان قابل قبول نخواهد بود.
کاربرد دوم: زمانی که داده های ناموجود در یک قلم داده ای زیاد باشد، می توان آن داده را حذف نمود. فرض کنید در یک ردیف از فاکتور فروش، نام کالا و تعداد کالای فروش رفته ناموجود است. در این مورد بهتر است آن قلم داده ای را از فاکتور فروش حذف کنیم. چون تعداد داده های ناموجود زیاد است، حذف داده می تواند تکنیک مناسبی باشد.
تکینک حذف وقتی زیاد انجام شود ممکن است کل داده ها را تحت تاثیر قرار دهد و در نتیجه خروجی داده کاوی را ناکارآمد کند. در نیتجه در استفاده از این روش باید دقت نمود که خروجی داده کاوی را تحت تاثیر قرار ندهد. در کل حذف داده ها چندان روش کار آمدی نمی باشد.
روش دیگری نیز برای تخمین داده های ناموجود ، ارائه شده است که در مطالب بعدی به آنها می پردازیم.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
قبل از اینکه مطلب رو ادامه بدیم، ابتدا یک نگاه بندازیم ببینیم دقیقا ما کجا هستیم. در چرخه داده کاوی ما در گام پیش پردازش هستیم. و داریم تکنیک های مربوط به تخمین داده های گم شده یا داده های ناموجود رو بررسی می کنیم. دسته بندی کلی تکنیک های پیش پردازش داده به صورت زیر است
پاکسازی داده
- تخمین داده های ناموجود
- هموار سازی نویز ها
- مشخص کردن داده های پرت
- تصحیح ناسازگاری ها در داده ها
یکپارچه سازی داده
کاهش داده
تبدیل داده
ما توی مطلب قبل روش حذف داده رو بررسی کردیم. در این مطلب روش های دیگری را مورد بررسی قرار می دهیم.
روش دوم تخمین داده های گم شده، تعیین داده ها توسط کاربر: در بعضی موارد می توان داده های گم شده را با کمک کاربر تعیین نمود.
این تکنیک دو عیب بزرگ دارد
زمانبر بودن
انجام این تکنیک برای داده های حجیم تقریبا غیر ممکن است.
نکته مهم در این بخش آن است کسی که دارد داده ها را پر میکند باید شناخت و اشراف کامل به داده داشته باشد. فرض کنید تاریخ خروج کالا برای بعضی از کالاها در فاکتورهای ما ثبت نشده است. کسی که می تواند در این حوزه به ما کمک کند مسئول انبار است. اما چگونه؟ با یک مثال چگونگی انجام کار را بیان میکنیم.
نمونه 1 : فرض کنید یک مشتری خاص داریم که در یک بازه زمانی خاص کالاها را از انبار ما تحویل می گیرد و این را انباردار می داند. مثلا مشتری شماره 1، تحویل کالاهای خود را در آبان ماه انجام میدهد در نتیجه اگر کالا توسط مشتری شماره 1 تحویل گرفته شده باشد، انبار دار می تواند این داده را پر کند.
نمونه 2 : فرض کنید انبادار بر اساس تجربه زمان های خروج کالاهای خاص می داند. به عبارت دیگر می داند که چه کالای در چه بازه زمانی توسط مشتریان درخواست می شود. به عنوان مثال بخاری 2 ماه شروع فصل سرما بیشترین فروش خود را دارد در نتیجه اگر زمان خروج بخاری مشخص نباشد انباردار می تواند با کمک تجربه خود داده ها را تکمیل نماید.
همانطور که بیان شد پر کردن داده های ناموجود با این روش هم زمانبر است و هم در حجم بالا تقریبا غیر ممکن.
در مطالب بعدی سایر روش های تخمین داده های ناموجود را بررسی می کنیم.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
قبل از اینکه مطلب رو ادامه بدیم، ابتدا یک نگاه بندازیم ببینیم دقیقا ما کجا هستیم. در چرخه داده کاوی ما در گام پیش پردازش هستیم. و داریم تکنیک های مربوط به تخمین داده‌های گم شده (داده های ناموجود) یا داده های ناموجود رو بررسی می کنیم. دسته بندی کلی تکنیک های پیش پردازش داده به صورت زیر است
- پاکسازی داده
- تخمین داده های ناموجود
- هموار سازی نویز ها
- مشخص کردن داده های پرت
- تصحیح ناسازگاری ها در داده ها
- یکپارچه سازی داده
- کاهش داده
- تبدیل داده
ما توی مطالب قبلی روش حذف داده و تعیین داده ها توسط کاربر رو بررسی کردیم. در این مطلب روش های دیگری را مورد بررسی قرار می دهیم.
روش سوم : استفاده از یک مقدار کلی و ثابت برای داده های ناموجود.
یکی دیگر از تکنیک های مربوط به پر کردن داده های ناموجود (داده‌های گم شده ) قرار دادن یک مقدار ثابت برای همه آن ها است. مثلا فرض کنید همه داده های غیر موجود را با یک مقدار مانند “نشناخته” یا Unknown پر کنیم. این روش بسیار ساده است، ولی چندان کارآمدی نیست، به همین خاطر کمتر از آن استفاده می شود.
روس چهارم: استفاده از معیارهای مرکزیت (مانند میانه، میانگین و …)
این روش را میتوان بهبود یافته روش سوم دانست. در این روش یکی از معیارهای مرکزیت مانند میانگین، میانه، مد و یا هر معیار مرکزیت دیگری برای داده محاسبه می‌گردد و مقدار حاصله برای تمام داده‌های گم شده استفاده می‌گردد.
یکی از محدودیت های این روش آن است که تنها در بین داده‌های عددی قابل استفاده است و داده‌های غیر عددی نمی‌توانند از آن استفاده کنند.
یک نمونه از استفاده از این روش به شرح زیر است:
فرض کنید بر اثر اشتباه انسانی تعدادی از قیمت‌های فروش “کالای شماره 1” از فاکتورهای سال گذشته پاک شده است. این روش می‌تواند در این مورد کاربرد داشته باشد. روش کار به این صورت است
میانگین سالانه: میانگین قیمت کالای شماره 1 را در فاکتورهای سال گذشته محاسبه میکنیم و مقدار به‌دست آمده را برای فاکتورهای که قیمت کالای شماره 1 را ندارند وارد میکنیم. با توجه به نوع مسئله این روش می‌تواند یک نمونه قابل قبول باشد.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
منتظر سایر مطالب مرتبط با Missing Values باشید.
-
قبل از اینکه مطلب رو ادامه بدیم، ابتدا یک نگاه بندازیم ببینیم دقیقا ما کجا هستیم. در چرخه داده کاوی ما در گام پیش پردازش هستیم. و داریم تکنیک های مربوط به تخمین داده های گم شده (داده های ناموجود) یا داده های ناموجود رو بررسی می کنیم. دسته بندی کلی تکنیک های پیش پردازش داده به صورت زیر است
- پاکسازی داده
- تخمین داده های ناموجود
- هموار سازی نویز ها
- مشخص کردن داده های پرت
- تصحیح ناسازگاری ها در داده ها
- یکپارچه سازی داده
- کاهش داده
- تبدیل داده
ما توی مطالب قبلی روش حذف داده ، تعیین داده ها توسط کاربر ، استفاده از یک مقدار کلی و ثابت برای داده های ناموجود و استفاده از معیارهای مرکزیت (مانند میانه، میانگین و …) رو بررسی کردیم. در این مطلب سایر روش های رو را مورد بررسی قرار می دهیم.
روش پنجم: استفاده از معیارهای مرکزیت (مانند میانه، میانگین و …) داده های دسته بندی شده. این روش رو میشه بهبود روش چهارم دونست (اطلاعات در مورد روش چهرام در این مطلب). در روش چهام اگر یک مقدار وجود نداشت، میانگین تمامی مقادیر موجود را حساب می کردیم و به جای مقدار نا موجود قرار می دادیم. در این روش سعی میکنیم که نزدیک‌ترین نمونه ها به مقدار ناموجود رو انتخاب کنیم و بر اساس اون مقدار رو مشخص کنیم. با یک مثال توضیح می دیم.
فرض کنید ما صاحب یک کارخانه هستیم که تعدادی ربات بخشی از فعالیت های کارخانه را انجام می دهند. بعضی از ربات ها وظیفه جابجا کردن قطعات سنگین را بر عهده دارند، بعضی از ربات ها جوشکاری انجام می دهند و بعضی از ربات ها برشکاری انجام میدهند. هر ربات تعدادی قطعه دارد که پس از مدتی از کار می افتند و باید تعویض شوند. قصد داریم تحلیل را برای بازه های خرید این قطعات ارائه بدهیم به طوری که همیشه قطعه یدک در کارخانه وجود داشته باشد تا کار مختل نشود. در این تحلیل ما نیاز داریم تا طول عمر قطعات را داشته باشیم. متأسفانه طول عمر بعضی از قطعات استفاده شده در دست نیست و به علت خطای انسانی از بین رفته است. خوب حالا ما برای تخمین طول عمر دوتا کار می تونیم بکنیم (فرض کنید طول عمر قطعه 1 روی می خواهیم تخمین بزنیم)
استفاده از روش چهارم: طول عمر تمام قطعه 1 ها رو توی همه ربات ها حساب کنیم و میانگین اون رو برای مقادیر ناموجود قطعه 1 بزاریم.
استفاده از روش پنجم: ابتدا میاییم ربات ها رو سه دسته کنیم. ربات های حمل بار، ربات های جوشکار و ربات ها برش کار. برای هر کدوم از این دسته ها میانگین طول عمر قطعه 1 رو جداگانه حساب کنیم و مقادیر ناموجود رو بر اساس اینکه ماب کدوم ربات بوده مقادیر میانگین متناظر اون رو بزاریم. این کار رو به این دلیل انجام میدیم که تخمین ما دقیق تر باشه. از اونجای که ما سه دسته ربات داریم و هر کدام فعالیت های مختلفی انجام می دهند. از این ممکن است طول عمر یک قطعه در سه نوع ربات یکسان نباشد.
روش ششم : استفاده از محتمل ترین مقدار (the most probable value) برای پر کردن برای داده های گم شده . the most probable value رو میشه بهترین مقدار نیز ترجمه کرد. در این روش از تکنیک های مانند رگرسیون regression، استنتاج، درخت تصمیم گیری و … استفاده می شود.
به عنوان مثال فرض کنید ما میزان خرید یک مشتری را ندارد قصد دارین آن را حدس بزنید، می تواند از درخت تصمیم گیری یا استنتاج مبتنی بر شبکه بیزین استفاده کرد. (در مورد این مفاهیم و شیوه محاسبه اونا بعدا بیشتر توضیح می دیم)
ما 6 روش تعیین داده های گم شده رو معرفی کردیم، توی مطلب بعدی یک مقایسه خواهیم داشت روی این 6 روش و معایب و مزایایی هر کدوم رو بیان می کنیم.
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
-
تا اینجا ما 6 تا تکنیک های تعیین داده های گمشده (Missing Values) رو معرفی کردیم ،توی این مطلب قصد داریم مقایسه ای رو بین این تکنیک ها انجام بدیم و مزایا و معایب هر کذوم رو بررسی کنیم.
حذف داده
تعیین داده ها توسط کاربر
استفاده از یک مقدار کلی و ثابت برای داده های ناموجود
استفاده از معیارهای مرکزیت (مانند میانه، میانگین و …)
استفاده از معیارهای مرکزیت (مانند میانه، میانگین و …) داده های دسته بندی شده
استفاده از محتمل ترین مقدار (the most probable value)
تکنیک های اول و سوم کمترین پردازش را برای تعیین داده گمشده را دارند و پردازش چندانی نیز برای تخمین داده های گمشده انجام نمی شود.
تکنیک دوم : این تکنیک بیشترین دخالت انسانی را به همراه دارد و در حجم بالای داده ناکارآمد است.
تکنیک های 3 تا 6 : در این تکنیک ها چون از الگوریتم های تخمین استفاده میکنیم، ممکن است مقدار تخمین زده شده درست نباشد. در بین این تکنیک ها، تکنیک 6 از همه محبوب تر و پر استفاده تر است و معمولا بهترین تخمین را نیز ارائه می دهد.
تکنیک های 4 تا 6 : در مقایسه با تکنیک های اول و دوم، در این تکنیک های از اطلاعات موجود در منابع اطلاعاتی استفاده می شود تا بتوانیم بهترین تخمین را برای داده های گمشده بزنیم.
تکنیک های 3 تا 6 : در حالت کلی مقادیر پیشنهادی بهتر و بهتر خواهند بود ولی محاسبات آن نیز پیچیده تر و سنگین تر می شود.
در یک بررسی کلی می توان گفت، بهترین تکنیک برای تعیین داده های گشمده ، تکنیک استفاده از محتمل ترین مقدار است. البته نیاز پردازشی این تکنیک از سایر تکنیک ها بیشتراست اما مقدار تخمین زده شده بیشترین دقت را دارد.
یک نکته مهم رو دقت داشته باشید که عدم وجود داده همیشه به معنای missing value نیست. به عنوان مثال فرض کنید شما به “شماره گواهینامه رانندگی” مشتریان خود نیاز دارد، وقتی این داده وجود نداشته باشید به معنای missing value نیست ممکن است داده اصلا وجود خارجی نداشته باشد. مثلا سن فرد کمتر از سن قانونی برای دریافت گواهی نامه رانندگی باشد.
در اینجا تکنیک های تخمین داده های گمشده به پایان رسید و در گام بعدی بخش دوم تکنیک های پاکسازی داده ها (هموار سازی نویزها) را مورد بررسی قرار خواهیم داد.
- پاکسازی داده
- تخمین داده های ناموجود
- هموار سازی نویز ها
- مشخص کردن داده های پرت
- تصحیح ناسازگاری ها در داده ها
- یکپارچه سازی داده
- کاهش داده
- تبدیل داده
منبع (اطلاعات بیشتر)
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
