Cara Mudah Membuat File Robot txt. Robot.txt adalah file berformat text dengan extension (txt) yang berfungsi sebagai pengaturan perintah yang ditujukan kepada mesin pencari ( search engine) mengenai mana konten yang boleh atau tidak dibolehkan untuk dirayapi.
Perlu diketahui bahwa semua file, baik gambar, tulisan maupun video yang berada di blog maupun website itu akan dirayapi oleh search engine kemudian ditampilkan dihasil pencarian sehingga rawan terjadi double file (duplikat) yang terindex di hasil pencarian. Seperti diketahui, mesin pencari tidak menyukai semua jenis duplikat. Nah tujuan file robot.txt adalah untuk meminimalkan berbagai jenis duplikat seperti : duplikat konten, duplikat meta description, dan duplikat title.
Setiap blog memiliki permasalahan duplikat perayapan yang berbeda, sehingga penambahan robot.txt nya juga tentu berbeda – beda juga. jadi anda harus hati – hati didalam menambah robot.txt karena akibatnya bisa fatal. bukannya kualitas blog anda menjadi lebih bagus secara SEO tetapi blog anda malah bisa hilang dari peredaran mesin pencari.
Adapun Cara Mudah Membuat File Robot txt, adalah sebagai berikut :
Untuk Platform Blogspot :
Permasalahan yang paling sering terjadi pada platform blogspot adalah duplikat konten dimana munculnya 2 artikel pada versi desktop dan mobile. untuk itu Wongcungkup akan memberi contoh robot.txt pada masalah tersebut.
- Buka dasbord blog ==>> setelan ==>> preferensi penelusuran ;
- Arahkan kursor pada robot.txt khusus ==>> edit ==>> pilih ya pada aktifkan robot.txt, lalu masukkan kode berikut :
User-agent: Googlebot
Disallow: /search
Disallow: /?m=0
Disallow: /*?m=0
Sitemap: Nama Url blog anda/feeds/posts/default?orderby=UPDATED- Simpan perubahan.
Robot.txt diatas hanya untuk mengatur agar artikel desktop saja yang terindex dan menyembunyikan index artikel mobile. anda bisa menambahkan sesuai kebutuhan di blog anda.
Untuk Platform WordPress :
- Buat kode robot.txt di cpanel dengan nama robot.txt, File teks ini nantinya harus disimpan dalam ASCII atau UTF-8 encoding, bagi yang belum faham kode, sebaiknya penambahan robot.txt dengan menggunakan bantuan aplikasi pihak ketiga seperti plugin yoast seo atau wordpress robot.txt dengan begitu anda tinggal memasukkan kode pada plugin tersebut ;
- Berikut ini kode robot.txt standart wordpress :
User-agent: *Disallow: /wp-admin/Sitemap:Nama Url blog anda/sitemap_index.xml- Simpan perubahan ;
- Anda dapat menambahkan kode sesuai dengan permasalahan blog anda.
Setelah anda selesai membuat robot.tx, langkah selanjutnya adalah menguji apakah robot.txt anda sudah benar. Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.
Adapun cara menguji robot.txt adalah sebagai berikut :
- Buka alat penguji robot.txt ini : https://www.google.com/webmasters/tools/robots-testing-tool
- Klik pilih properti ==>> klik blog yang akan diuji, bila blog anda belum tercantum silahkan tambahkan properti ;
- Selanjutnya klik ujicoba, apabila kesalahan dan peringatan bernilai 0 (nol), berarti penambahan robot.txt anda sudah benar ;
- Selesai.
Demikian Artikel dari Wongcungkup tentang Cara Mudah Membuat File Robot txt, Semoga artikel ini bermanfaat.
salam,
Ternyata cara membuat File Robot txt ini tidak sesulit yang dibayangkan ya mas..
Langkah-langkahnya cukup simpel dan bisa dengan cepat direalisasikan..
Blog saya udah ada file robot txt-nya belum ya? Saya mau cek dulu ya mas…
bayar
piye kabare
alhamdulillah waras wareg sam
Tadi saya cek blog saya, tampilannya seperti ini mas, artinya apa ya?
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: alamat situssaya/sitemap.xml
mediapartners untuk pengguna google adsense
disallow untuk file yg tidak boleh ditelusuri
allow untuk file yg boleh ditelusuri
kurang lbh seperti itu mas
Maaf komen yang tadi ada link-nya mas, mohon di delete aja, mksh…
sudah saya edit dong
terimakasih terimakasih, mas yanto baik deh 😀
bayar
kalo inget. 🙂
Caranya mudah banget kang untuk mebuat file robot txt bila kita mengikuti tutorial di atas, dan yang paling penting kita harus hati-hati agar tidak mudah dari mesin pencarian ya kang. Terimakasih atas tutorilanya bisa langsung di coba nih.
betul itu
jangan sampai blog kita malah menurun kualitas SEO nya karena salah penerapan robot.txt
Duplikat konten bisa menurunkan seo blog ya mas, untung template yg saya pakai sdh dilengkapi untuk menangkal terjadinya duplikat konten
malah sangat signifikan pengaruhnya mas
punya sya masih tak kosongin dri dlu mas robot txt nya di settingan blog, takut salah klo diisi hikhik.. tpi nanti tak coba ah tips nya
lbh baik dikosongin aja kalau masih blm faham mas
iya kang, takut salah terus postingan malah gak ke indek di google lagi hihihii
betul betul betul
Saya malah belum pernah tahu hal ini, terima kasih untuk ilmunya, saya lihat dulu blog saya kalau gitu
waduh salah ketik alamat blog, maafkan saya
saya maafin
file robot waduh baru dengar tentang ini mas . saya takut utak atik blog
jangan lupa pegangan kalau takut mas
iya bener mas mesti pegang erat-erat
mudah buat yang baca artikelnya secara lengkap mah.
saya tebang baca judul langsung kesini jeh, tetep aja susah bikin file robot txt nya…huh
saya maklum
pasti karena faktor U
hahaha yg jelas mas u itu apa
wah, singkat padat, ngena lagi wkwkwkk (kaboor)
dah ngilang orangnya
kaburrrrrr
Aku nggak berani otak-atik itu bos. Nggak ngerti soalnya
nggak papa
nggak didenda koq
blogku rasanya belum dikasih robot txt ini
tapi mungkin juga sudah
gimana yo cara mengecek apakah sudah dikasih robot txt atau belum
udah saya cantumin di link cek diatas
ok
lebih baik di kosongin atau dipasang mas?
lbh baik dikosongin aja kalau masih blm faham mas
saya ga pernah utak atik robot. txt ga paham. tapi kalo sudah dijelaskan mas yanto. kayanya sih bisa di ikuti nih mas
mari kita ikuti bersama mang
bayar
mas yan kan ada tuh yang website beri mobile dan dekstop. misalkan m dot detik…
www dot detik…
nah kalo begitu duplikat g mas
eh kedetek spam 🙂
gak mas,itu hanya untuk mempermudah pengguna versi mobile dan desktop.
tp yg terdeteksi di search engine cuman satu
Masih sidikit bingung juga sih sebenarnya sama robot ini. Tapi ntar dipraktekin lagi deh. Makasih om ilmunya
sama2 mas
Mantap Djiwa nih informasinya
Ilmu yang apik
Supaya di search engine mau menarik
Gambarku di blog ke halaman Google yang terbaik
Tentu tips mu ini aku petik…
semoga bermanfaat
untuk sahabat
kalau saya baru tahu manfaatnya dan juga baru dengar, makasih mas atas pembahasannya sangat detail sekali
semoga bermanfaat mas
assalamualaikum,
selamat siang sam, menyapa setelah sekian lama 🙂
gimana kabar…
belajar lagi ngeblog, disuguhi robot txt, siap
semoga bermanfaat untuk semuanya
si robot memang perlu diterapkan di blog
saya pakai plugint yoast seo, tapi untuk bagian File Robot txt, saya masih kurang faham,..soalnya saya baru migrasi dari blogspot
wah patut di coba nih jurusnya gan
terima kasih banyak
mas yanto nih jarang update sekarang nih. sepertinya sedang sibuk banget. mungkin mas yanto sedang nyalon 2019 nanti
Disallow: /?m=0 itu kan akses mobile, kan sekarang jamannya mobile
itu artinya bukan memblokir,tapi agar tidak timbul duplikat konten walaupun diakses pada perangkat mobile koq
jadi m nya muncul dipenelusuran
biasanya yang di dis itu hanya /search saja
robot .txt ternyata berpengaruh juga ya gan,,thanks infonya gan
terima kasih tutorialnya,, saya coba dulu,,, mudah mudahan berhasil, tidak ada masalah sama pencarain google
Pelajaran yang sangat berharga terima kasih ya tutorial nya.. semoga saja berhasil
banyak pencerahan nih dari masta, terimakasih banyak
iya bnyak pencerahan setelah liat artikel ini
Thanks mas atas informasinya, apakah robot.txt sama ya dengan sitemap.xml? soalnya saya sudah pakai sitemap.xml.
beda mas,kalau sitemap itu daftar isi blog
Ini dia yang selama ini saya cari dari mulai pertama kali saya blogging. eh adanya disini toh… makasih ya gan, sukses selalu, tapi maaf nih gan apakah tidak berbahaya buat blog kita jika misalnya ada kesalahan scrift ? makasi gan ditunggu balasannya ya…
udah ada penjelasannya diatas tuh
ulasan nya detail banget makasih agan
mas kalau laman / arsip di blogger di index ke webmaster itu masuknya duplikat konten gk ya?
kalau arsip masuk duplikat konten mas
mas kalo pengaturan tag tajuk robot nya gimana itu mas
kalo robot txt udah di isi
bermanfaat untuk nambah ilmu
salam kenal mas, perdana saya mampir di sini
pakai default aja mas
ok deh kalo begitu
soalnya saya masih awam soal beginian hehehehe
Untuk Pengaturan Robot Txt ini, apakah ada pengaruh nya untuk SEO Kang Mas..?
Mohon Petunjuknya ya mas..
Terimakasih,
Salam Hangat dari Tahitian Noni Jakarta 🙂
udah dijelaskan diartikel tuh
Makasih Kang Mas Yanto Cungkup, Berarti Robot.TXT ini bisa menghindari Duplikat konten ya kang mas..
Untuk All In One Seo Pak apakah sama dengan Yoast Kang Mas..??
Mohon Pencerahannya ya mas 🙂
Terimakasih 🙂
fungsi kedua plugin tersebut sama aja mas,tinggal kesukaan aja mana yg mau dipakai
Makasih banyak ya mas atas infonya..
Ditunggu artikel menarik lainnya ya mas.
Sangat membantu saya yang baru belajar 🙂
Sehat dan Sukses Terus buat Kang Mas Yanto ya. Amin