Cara Mudah Membuat File Robot txt

Cara Mudah Membuat File Robot txt. Robot.txt adalah file berformat text dengan extension (txt) yang berfungsi sebagai pengaturan perintah yang ditujukan kepada mesin pencari ( search engine) mengenai mana konten yang boleh atau tidak dibolehkan untuk dirayapi.

Perlu diketahui bahwa semua file, baik gambar, tulisan maupun video yang berada di blog maupun website  itu akan dirayapi oleh search engine kemudian ditampilkan dihasil pencarian sehingga rawan terjadi double file (duplikat) yang terindex di hasil pencarian. Seperti diketahui, mesin pencari tidak menyukai semua jenis duplikat. Nah tujuan file robot.txt adalah untuk meminimalkan berbagai jenis duplikat seperti : duplikat konten, duplikat meta description, dan duplikat title.

Setiap blog memiliki permasalahan duplikat perayapan yang berbeda, sehingga penambahan robot.txt nya juga tentu berbeda – beda juga. jadi anda harus hati – hati didalam menambah robot.txt karena akibatnya bisa fatal. bukannya kualitas blog anda menjadi lebih bagus secara SEO tetapi blog anda malah bisa hilang dari peredaran mesin pencari.

Cara Mudah Membuat File Robot txt

Adapun Cara Mudah Membuat File Robot txt, adalah sebagai berikut :

Untuk Platform Blogspot :

Permasalahan yang paling sering terjadi pada platform blogspot adalah duplikat konten dimana munculnya 2 artikel pada versi desktop dan mobile. untuk itu Wongcungkup akan memberi contoh robot.txt  pada masalah tersebut.

  1. Buka dasbord blog ==>> setelan ==>> preferensi penelusuran ;
  2. Arahkan kursor pada robot.txt khusus ==>> edit ==>> pilih ya pada aktifkan robot.txt,  lalu masukkan kode berikut :
  3. User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=0
    Disallow: /*?m=0
    Sitemap: Nama Url blog anda/feeds/posts/default?orderby=UPDATED
  4. Simpan perubahan.

Robot.txt diatas hanya untuk mengatur agar artikel desktop saja yang terindex dan menyembunyikan index artikel mobile. anda bisa menambahkan sesuai kebutuhan di blog anda.

Untuk Platform WordPress :

  1. Buat kode robot.txt di cpanel dengan nama robot.txt, File teks ini nantinya harus disimpan dalam ASCII atau UTF-8 encoding, bagi yang belum faham kode, sebaiknya penambahan robot.txt dengan menggunakan bantuan aplikasi pihak ketiga seperti plugin yoast seo atau wordpress robot.txt dengan begitu anda tinggal memasukkan kode pada plugin tersebut ;
  2. Berikut ini kode robot.txt standart wordpress :
  3. User-agent: *Disallow: /wp-admin/Sitemap:Nama Url blog anda/sitemap_index.xml
  4. Simpan perubahan ;
  5. Anda dapat menambahkan kode sesuai dengan permasalahan blog anda.

Setelah anda selesai membuat robot.tx, langkah selanjutnya adalah menguji apakah robot.txt anda sudah benar. Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Adapun cara menguji robot.txt adalah sebagai berikut :

  1. Buka alat penguji robot.txt ini : https://www.google.com/webmasters/tools/robots-testing-tool
  2. Klik pilih properti ==>> klik blog yang akan diuji, bila blog anda belum tercantum silahkan tambahkan properti ;
  3. Selanjutnya klik ujicoba, apabila kesalahan dan peringatan bernilai 0 (nol), berarti penambahan robot.txt anda sudah benar ;
  4. Selesai.

Demikian Artikel dari Wongcungkup tentang Cara Mudah Membuat File Robot txt, Semoga artikel ini bermanfaat.

salam,


About Yanto Cungkup 551 Articles
saya hanya manusia biasa yang berusaha berguna bagi sesama dan terbuka untuk menjalin persahabatan dengan siapa saja.

79 Komentar

  1. Ternyata cara membuat File Robot txt ini tidak sesulit yang dibayangkan ya mas..
    Langkah-langkahnya cukup simpel dan bisa dengan cepat direalisasikan..
    Blog saya udah ada file robot txt-nya belum ya? Saya mau cek dulu ya mas…

  2. Tadi saya cek blog saya, tampilannya seperti ini mas, artinya apa ya?

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: alamat situssaya/sitemap.xml

  3. Caranya mudah banget kang untuk mebuat file robot txt bila kita mengikuti tutorial di atas, dan yang paling penting kita harus hati-hati agar tidak mudah dari mesin pencarian ya kang. Terimakasih atas tutorilanya bisa langsung di coba nih.

  4. mas yan kan ada tuh yang website beri mobile dan dekstop. misalkan m dot detik…
    www dot detik…
    nah kalo begitu duplikat g mas

  5. terima kasih tutorialnya,, saya coba dulu,,, mudah mudahan berhasil, tidak ada masalah sama pencarain google

  6. Thanks mas atas informasinya, apakah robot.txt sama ya dengan sitemap.xml? soalnya saya sudah pakai sitemap.xml.

  7. Ini dia yang selama ini saya cari dari mulai pertama kali saya blogging. eh adanya disini toh… makasih ya gan, sukses selalu, tapi maaf nih gan apakah tidak berbahaya buat blog kita jika misalnya ada kesalahan scrift ? makasi gan ditunggu balasannya ya…

  8. mas kalo pengaturan tag tajuk robot nya gimana itu mas
    kalo robot txt udah di isi
    bermanfaat untuk nambah ilmu
    salam kenal mas, perdana saya mampir di sini

  9. Untuk Pengaturan Robot Txt ini, apakah ada pengaruh nya untuk SEO Kang Mas..?
    Mohon Petunjuknya ya mas..
    Terimakasih,
    Salam Hangat dari Tahitian Noni Jakarta 🙂

  10. Makasih Kang Mas Yanto Cungkup, Berarti Robot.TXT ini bisa menghindari Duplikat konten ya kang mas..
    Untuk All In One Seo Pak apakah sama dengan Yoast Kang Mas..??
    Mohon Pencerahannya ya mas 🙂
    Terimakasih 🙂

Leave a Reply

Alamat email Anda tidak akan dipublikasikan.


*


Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.