اقا این robots.txt یعنی چه؟
مثلا این
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
چی باید گذاشت توش چه فایده ای داره؟
Printable View
اقا این robots.txt یعنی چه؟
مثلا این
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
چی باید گذاشت توش چه فایده ای داره؟
سلام
با استفاده از این فایل شما نحوه و محدوده دسترسی موتورهای جستجو و رباتهای اینترنتی به وب سایت تون رو معین می کنید. هر موتور جستجو در هر مراجعه به وب سایت اول به دنبال فایل robots.txt می گردد و در صورتی که چیزی پیدا نکند به گردش و خزش آزاد و نا محدود خود در سایت شما ادامه خواهد داد و مطالب رو ایندکس خواهد نمود. در واقع بیشتر استفاده امنیتی داره.
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
فایل robots.txt سایت کاخ سفید آمریکا:
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
پس نگذاریم بهترهنقل قول:
نوشته شده توسط sa3er
سرچ بهتر میشه