Sebelum saya membahas inti dari judul artikel ini, saya akan menjelaskan apa itu Robot.txt. Yang saya sanggup dari banyak sekali sumber Robot.txt merupakan sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari ibarat google, yahoo, dan bing.
Kaprikornus robots.txt sangat bersahabat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Lalu bagaimana cara kerja pada robot.txt itu sendiri?
Ketika situs kalian berdomain namadomain.com maupun yang masih memakai blogspot.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada ketika robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi ialah robots.txt.
Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html jikalau kalian sudah mendaftarkan domain pada blog kalian, dan untuk yang masih memakai blogspot kalian cukup setting yang berada di settingan akun blogspot blog tersebut.
File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melaksanakan tugasnya.
Sama halnya dengan website, Blog juga mempunyai file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt. Di bawah ini ialah salah satu rujukan robot.txt bawaan blogspot.
Bila kalian ingin mencoba nya silahkan kalian copy settingan di atas dan ganti cop4sberita.blogspot.com dengan nama blog kalian.
Di bawah ini saya akan menjelaskan masing - masing dari isi robot.txt tersebut.
Lihat rujukan ibarat gambar di bawah ini.
Itu lah Cara Setting Robot.txt Dan Tag Tajuk Robot Khusus Bawaan Blogspot yang sanggup saya bagikan pada artikel kali ini. Semoga artikel ini sanggup bermanfaat buat teman blogger yang sedang mencari Cara setting robot.txt dan tajuk robot khusus di blogspot. Selamat mencoba!
Kaprikornus robots.txt sangat bersahabat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Lalu bagaimana cara kerja pada robot.txt itu sendiri?
Ketika situs kalian berdomain namadomain.com maupun yang masih memakai blogspot.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada ketika robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi ialah robots.txt.
Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html jikalau kalian sudah mendaftarkan domain pada blog kalian, dan untuk yang masih memakai blogspot kalian cukup setting yang berada di settingan akun blogspot blog tersebut.
File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melaksanakan tugasnya.
Sama halnya dengan website, Blog juga mempunyai file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt. Di bawah ini ialah salah satu rujukan robot.txt bawaan blogspot.
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://kerjaonline-copydanpaste.blogspot.com//feeds/posts/default?orderby=UPDATED Bila kalian ingin mencoba nya silahkan kalian copy settingan di atas dan ganti cop4sberita.blogspot.com dengan nama blog kalian.
Di bawah ini saya akan menjelaskan masing - masing dari isi robot.txt tersebut.
- User-agent: Mediapartners-Google
Berfungsi sebagai Mediapartners-Google yaitu ibarat AdSense. - Disallow:
Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs. - User-agent: *
Ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan aba-aba ‘*’). - disallow: /search
Melarang crawler untuk menjelajah url yang mempunyai awalan urlbloganda.com/search. - allow: /
Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow. - Sitemap:
Ini ialah sitemap dari situs Anda yang diberitahukan kepada crawler semoga gampang ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.
Lalu bagaimana bara mengaktifkan dan setting Robot.txt?
- Log in ke blogger dengan akun blogger anda.
- Klik setelan -> Preferensi penelusuran / Search preferences.
- Pada tab perayap dan pengindeksan pilih robot.txt.
- Dan masukkan settingan robot.txt bawaan blogspot yang sudah saya sertakan aba-aba di atas.
- Lalu klik simpan
Lihat rujukan ibarat gambar di bawah ini.
Lalu Bagaimana Cara setting Tag Tajuk Robot Khusus?
- Masih di sajian setelan -> Search preferences / Preferensi penelusuran.
- Dibagian paling bawah ada sajian Custom robots header tags. Klik edit.
- Pilih Yes/Ya.
- Akan muncul kotak settingan, samakan setingan ibarat gambar dibawah ini:
Note : Settingan robot.txt dan tajuk robot khusus di atas berdasarkan saya sudah cukup SEO. Karena saya sendiri memakai settingan tersebut pada blog ini. Kaprikornus saya rasa tidak ada salah nya jikalau kalian mencoba nya.
Itu lah Cara Setting Robot.txt Dan Tag Tajuk Robot Khusus Bawaan Blogspot yang sanggup saya bagikan pada artikel kali ini. Semoga artikel ini sanggup bermanfaat buat teman blogger yang sedang mencari Cara setting robot.txt dan tajuk robot khusus di blogspot. Selamat mencoba!
