غولهاي جست‌وجو براي پاكسازي وب همكاري مي كنند
ر
سه غول اينترنتي گوگل، ياهو و مايكروسافت در يك همكاري نادر اعلام كردند از استاندارد وب جديدي پشتيباني مي كنند كه به ميليونها ناشر وب امكان مي دهد صفحه‌هاي تكراري را از وب سايتشان حذف كنند.
به گزارش سرويس فن‌آوري اطلاعات خبرگزاري دانشجويان ايران (ايسنا)، در نتيجه اين اقدام، موتورهاي جست وجو مي توانند صفحه‌هاي وب بيشتري را پيدا و ايندكس كرده و نتايج جست و جوي خود را جامع تر كنند.
بسياري از ناشران وب بويژه كساني مانند شركتهاي تجارت الكترونيك كه سايتهاي حجيم دارند آدرسهاي URL متعددي دارند كه همگي مربوط به يك صفحه وب است. اين امر موتورهاي جست وجو را سردرگم كرده و گاهي موجب مي شوند آنها يك صفحه وب را به دفعات ايندكس گذاري كنند.
بنابر برخي ارزيابي‌هاي انجام گرفته، در حدود20 درصد از آدرسهاي URL در وب ممكن است تكراري باشند.
تمامي موتورهاي جست و جو فن آوريهايي براي شناسايي صفحات تكراري طراحي كرده‌اند كه كم وبيش موثر بوده‌اند. استاندارد جديد كه به Canonical Link Tag معروف است برطرف كردن اين مشكل را براي ناشران وب و موتورهاي جست‌وجو راحت تر خواهد كرد.
استاندارد وب جديد در صورتي كه موتور جست و جو صفحه ديگري با محتواي مشابه بيابد به آن نشان مي دهد چه صفحه اي را بايد ايندكس كند.
