Semalt: Darodar Robots.txt-ni qanday blokirovka qilish
Robots.txt fayli - bu oddiy veb-fayl, unda veb-brauzerlar yoki botlar saytni qanday aylantirishi kerakligi haqida ko'rsatmalar mavjud. Ularning qo'llanilishi ko'pgina optimallashtirilgan veb-saytlarda keng tarqalgan qidiruv tizimlari botlarida yaqqol ko'rinadi. Robotlarni istisno qilish protokoli (REP) ning bir qismi sifatida robots.txt fayli veb-sayt tarkibini indeksatsiyalashning muhim tomonini tashkil etadi va shu bilan serverga foydalanuvchi so'rovlarini mos ravishda tekshirishga imkon beradi.
Semaltning katta mijozlar muvaffaqiyati bo'yicha menejeri Julia Vashneva, bog'lanish qidiruv tizimini optimallashtirish (SEO) tomoni ekanligini tushuntiradi, bu sizning uyingizdagi boshqa domenlardan trafikni olishni o'z ichiga oladi. Bog'lanish sharbatini uzatish uchun "ergashish" havolalari uchun veb-saytingizga robots.txt faylini kiritish kerak, bu sizning serveringiz saytingiz bilan qanday ishlashini ko'rsatuvchi sifatida ishlaydi. Ushbu arxivdan ba'zi bir foydalanuvchi agentlarining o'zini tutishiga ruxsat berish yoki taqiqlash bo'yicha ko'rsatmalar mavjud.
Robots.txt faylining asosiy formati
Robots.txt faylida ikkita muhim satr mavjud:
Foydalanuvchi-agent: [foydalanuvchi-agent nomi]
Taqiqlash: [URL satrini tekshirib bo'lmaydi)
To'liq robots.txt faylida ushbu ikki qator bo'lishi kerak. Biroq, ularning ba'zilari foydalanuvchi-agentlar va ko'rsatmalarning bir nechta satrlarini o'z ichiga olishi mumkin. Ushbu buyruqlar ruxsat berish, taqiqlash yoki ishlov berishni kechiktirish kabi jihatlarni o'z ichiga olishi mumkin. Odatda har bir darsni ajratib turuvchi chiziq mavjud. Buyruqlarning har biriga ruxsat beradi yoki taqiqlaydi, ayniqsa, robots.txt uchun bir nechta chiziqlar bilan ajratilgan.
Misollar
Masalan, robots.txt faylida quyidagi kodlar bo'lishi mumkin:
Foydalanuvchi-agent: darodar
Taqiqlash: / plagin
Taqiqlash: / API
Taqiqlash: / _ sharhlar
Bunday holda, bu blokdagi robots.txt fayli bo'lib, Darodar veb-brauzerining veb-saytingizga kirishini cheklaydi. Yuqoridagi sintaktikada kod veb-saytning plaginlar, API va sharhlar kabi jihatlarini bloklaydi. Ushbu bilimlardan robotning matnli faylini samarali bajarishdan ko'plab foyda olish mumkin. Robots.txt fayllari ko'plab funktsiyalarni bajarishi mumkin. Masalan, ular quyidagilarga tayyor bo'lishi mumkin:
1. Barcha veb-qidiruv vositalarining veb-sayt sahifasiga kirishiga ruxsat berish. Masalan;
Foydalanuvchi-agent: *
Taqiqlash:
Bunday holda, veb-saytga kirish uchun so'ralgan har qanday veb-qidiruv vositasi foydalanuvchining barcha tarkiblariga kirishi mumkin.
2. Ma'lum bir papkadan ma'lum bir veb-tarkibni blokirovka qiling. Masalan;
Foydalanuvchi-agent: Googlebot
Taqiqlamaslik: / example-subfolder /
Googlebot foydalanuvchi-agent nomini o'z ichiga olgan bu sintaksis Google-ga tegishli. U botni www.ourexample.com/example-subfolder/ satridagi har qanday veb-sahifaga kirishni cheklaydi.
3. Muayyan veb-sahifadan ma'lum bir veb-brauzerni to'sib qo'ying. Masalan;
Foydalanuvchi-agent: Bingbot
Taqiqlash: /example-subfolder/blocked-page.html
Bing bot-foydalanuvchi-agenti Bing veb-qidiruv vositalariga tegishli. Ushbu turdagi robots.txt fayli Bing veb-brauzerining www.ourexample.com/example-subfolder/blocked-page satriga ega ma'lum bir sahifaga kirishini cheklaydi.
Muhim ma'lumotlar
- Sizning robts.txt faylingizni hamma ham ishlatmaydi. Ba'zi foydalanuvchilar buni e'tiborsiz qoldirishga qaror qilishlari mumkin. Bunday veb-brauzerlarning aksariyati troyanlar va zararli dasturlarni o'z ichiga oladi.
- Robots.txt fayli ko'rinishi uchun u yuqori darajadagi veb-sayt katalogida mavjud bo'lishi kerak.
- "Robots.txt" harflari katta-kichiklikni hisobga oladi. Natijada, siz ularni biron bir tarzda o'zgartirmasligingiz kerak, shu jumladan ba'zi jihatlarni kapitallashtirish.
- "/Robots.txt" jamoat mulki hisoblanadi. Har qanday odam har qanday URL manziliga qo'shganda ushbu ma'lumotni topishi mumkin. Siz shaxsiy ma'lumotlarni saqlashingiz kerak bo'lgan muhim ma'lumotlarni yoki sahifalarni indekslashingiz shart emas.