فايل Robots.txt چيست و چه كاري انجام مي دهد؟
فايل Robots.txt چيست؟
پرونده Robots.txt مانند مجوز ربات ها است. وقتي ربات ها مي خواهند در صفحات سايت پيمايش كنند ، ابتدا پرونده Robots.txt را مي خوانند. در اين فايل ، با چند دستور ساده مشخص مي كنيم كه ربات كدام صفحات را مي تواند بررسي كند و كدام صفحات را نبايد بررسي كند.
مانند تصوير زير ، جايي كه ما اجازه دسترسي به پوشه اي به نام عكس را نداريم و اجازه دسترسي به صفحه اي به نام files.html را نداريم.
همانطور كه گفتيم ، مهمترين رباتهاي موجود در اينترنت رباتهاي موتور جستجوي گوگل هستند ، بنابراين در ادامه مقاله ، هر جا كه مي گوييم ربات ، به ربات هاي گوگل مراجعه مي كنيم.
البته ، ربات هاي ديگر به ارائه دهندگان خدمات اينترنتي مختلف تعلق دارند. پس از خواندن اين مقاله ، مي توانيد هر نوع ربات را فقط با دانستن نام آن محدود و كنترل كنيد.
چرا بايد يك پرونده Robots.txt داشته باشيم؟
صاحبان وب سايت و وب مسترها مي توانند ورود ربات ها به وب سايت را به طرق مختلف كنترل كنند. دلايل مختلفي براي كنترل وجود دارد.

به عنوان مثال ، همه صفحات سايت از اهميت يكساني برخوردار نيستند. اكثر مديران وب سايت علاقه مند نيستند كه داشبورد وب سايتشان توسط موتورهاي جستجو ايندكس شود و به صورت عمومي در دسترس عموم قرار گيرد ، يا اينكه برخي از صفحات در سايت هاي آنها محتواي قابل قبولي ندارند و بنابراين ترجيح مي دهند توسط ربات ها خزيده نشوند. يا اگر وب سايتي با هزاران صفحه داريد و كل سايت به طور مكرر بازديد مي شود ، احتمالاً نمي خواهيد كه منابع سرور (پهناي باند ، قدرت پردازش و ...) براي بازديدهاي متوالي ربات ها به مصرف برسد.
اينجاست كه فايل Robots.txt وارد عمل مي شود.
در حال حاضر ، هدف اصلي پرونده خزنده محدود كردن تعداد بيش از حد درخواست براي بازديد از صفحات وب است. اين بدان معني است كه اگر روبات ها بخواهند روزانه ششصد صفحه را بررسي كنند ، با نوشتن يك دستور ساده در پرونده ربات ، جلوي آنها را خواهيم گرفت تا بفهميم چه كسي مسئول آن است!
آيا مي توان با استفاده از يك فايل Robots.txt يك صفحه را از نتايج جستجو حذف كرد؟
تا همين اواخر ، اگر مي خواستيد يك صفحه كاملاً از ديد ربات هاي گوگل دور باشد و حتي در نتايج جستجو نيز نشان داده نشود ، استفاده از دستور noindex در همان پرونده امكان پذير بود ، اما اكنون داستان كمي پيچيده تر شده است. موتور جستجوي Google كمك زيادي به حذف يك صفحه از نتايج جستجو نمي كند.
گوگل گفت براي حذف صفحات از نتايج جستجو بهتر است از روش هاي ديگري به غير از پرونده Robots.txt استفاده كنيد. البته اكنون مي توان از اين پرونده براي استخراج پرونده هايي مانند تصاوير ، فيلم ها يا صدا از نتايج جستجو استفاده كرد ، اما براي صفحات وب مناسب نيست.
در اينجا چند روش جايگزين براي حذف صفحه از نتايج جستجوي Google وجود دارد.
با ربات هاي گوگل آشنا هستيد
گوگل موتورهاي جستجوي بسياري دارد كه با دنبال كردن پيوندهاي بين صفحات ، وب سايت ها را به طور خودكار اسكن كرده و صفحات را پيدا مي كنند.
در اينجا ليستي از مهمترين رباتهاي Google وجود دارد كه بايد بدانيد:
AdSense - روباتي كه براي بررسي صفحاتي كه تبليغات مربوطه را نشان مي دهند استفاده مي شود
Googlebot Image - باتي كه تصاوير را يافت و آنها را بازرسي مي كند
Googlebot News-A bot براي فهرست بندي سايت هاي خبري استفاده مي شود
Googlebot Video-Googlebot Video
Googlebot-اين ربات صفحات وب را شناسايي و نمايه مي كند. داراي دو نوع ميز كار و تلفن هاي هوشمند است
اين ربات ها به طور مداوم صفحات وب را اسكن مي كنند. در صورت لزوم مي توانيد هر دستكاري را محدود كنيد.
تعداد ربات هاي خزنده كه گاهي از وب سايت شما بازديد مي كنند به عوامل مختلفي بستگي دارد. در طول روز ، هرچه محتواي وب سايت شما بيشتر باشد ، تغييرات مهمتري در وب سايت شما ايجاد مي شود و ربات هاي موتور جستجو بيشتر از وب سايت شما بازديد مي كنند. به عنوان مثال ، در يك وب سايت خبري كه دائماً اخبار را به روز مي كند ، ربات ها مي توانند صفحات را سريعتر خزيده و فهرست نمايند.
در كنسول جستجو بخشي به نام "Crawl Statistics" وجود دارد كه تعداد دفعات مشاهده صفحه سايت در هر روز را نشان مي دهد. در همان صفحه مي توانيد حجم بارگيري شده توسط ربات و زمان بارگيري صفحه را مشاهده كنيد.
چرا پرونده robots.txt مهم است؟
اين پرونده به چند دليل مهم است:
1 ترافيك ربات را در وب سايت مديريت كنيد
مديريت ترافيك ربات ها از آن جهت مهم است كه سرور ميزبان وب شما مشغول پردازش و بارگيري صفحات ربات ها نيست. از طرف ديگر ، بيشتر سرورها يا ميزبان هاي وب از نظر پهناي باند و ترافيك محدود هستند. به همين دليل ، مصرف ترافيك براي روبات ها مقرون به صرفه نيست.
2 از نمايش صفحات يا پرونده ها در نتايج جستجوي Google جلوگيري كنيد
اگر در پرونده ربات مشخص كنيد كه ربات هاي گوگل اجازه دسترسي به صفحات را ندارند ، اين صفحات به هيچ وجه بررسي نمي شوند ، اما هيچ تضميني وجود ندارد كه صفحه در نتايج جستجوي Google نشان داده نشود. رباتها مي توانند صفحه را با كمك يك پيوند داده شده در همان صفحه و همان پيوند لنگر متن ، فهرست كنند. در حال حاضر بهترين روش براي حذف صفحات از نتايج جستجو افزودن دستور noindex در بالاي صفحات است. اگر از وردپرس استفاده مي كنيد ، افزونه هايي براي اين كار وجود دارد ، در غير اين صورت بايد از طراحي وب سايت خود بخواهيد تا توانايي افزودن اين كدها يا دستورات را به عنوان هر صفحه ارائه دهد.
برچسب: ،
ادامه مطلب

