Cara Mudah Membuat File Robot txt

By | 30/09/2017 at 13:18 pm

Cara Mudah Membuat File Robot txt. Robot.txt adalah file berformat text dengan extension (txt) yang berfungsi sebagai pengaturan perintah yang ditujukan kepada mesin pencari ( search engine) mengenai mana konten yang boleh atau tidak dibolehkan untuk dirayapi.

Perlu diketahui bahwa semua file, baik gambar, tulisan maupun video yang berada di blog maupun website  itu akan dirayapi oleh search engine kemudian ditampilkan dihasil pencarian sehingga rawan terjadi double file (duplikat) yang terindex di hasil pencarian. Seperti diketahui, mesin pencari tidak menyukai semua jenis duplikat. Nah tujuan file robot.txt adalah untuk meminimalkan berbagai jenis duplikat seperti : duplikat konten, duplikat meta description, dan duplikat title.

Setiap blog memiliki permasalahan duplikat perayapan yang berbeda, sehingga penambahan robot.txt nya juga tentu berbeda – beda juga. jadi anda harus hati – hati didalam menambah robot.txt karena akibatnya bisa fatal. bukannya kualitas blog anda menjadi lebih bagus secara SEO tetapi blog anda malah bisa hilang dari peredaran mesin pencari.

Cara Mudah Membuat File Robot txt

Adapun Cara Mudah Membuat File Robot txt, adalah sebagai berikut :

Untuk Platform Blogspot :

Permasalahan yang paling sering terjadi pada platform blogspot adalah duplikat konten dimana munculnya 2 artikel pada versi desktop dan mobile. untuk itu Wongcungkup akan memberi contoh robot.txt  pada masalah tersebut.

  1. Buka dasbord blog ==>> setelan ==>> preferensi penelusuran ;
  2. Arahkan kursor pada robot.txt khusus ==>> edit ==>> pilih ya pada aktifkan robot.txt,  lalu masukkan kode berikut :
  3. User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=0
    Disallow: /*?m=0
    Sitemap: Nama Url blog anda/feeds/posts/default?orderby=UPDATED
  4. Simpan perubahan.

Robot.txt diatas hanya untuk mengatur agar artikel desktop saja yang terindex dan menyembunyikan index artikel mobile. anda bisa menambahkan sesuai kebutuhan di blog anda.

Untuk Platform WordPress :

  1. Buat kode robot.txt di cpanel dengan nama robot.txt, File teks ini nantinya harus disimpan dalam ASCII atau UTF-8 encoding, bagi yang belum faham kode, sebaiknya penambahan robot.txt dengan menggunakan bantuan aplikasi pihak ketiga seperti plugin yoast seo atau wordpress robot.txt dengan begitu anda tinggal memasukkan kode pada plugin tersebut ;
  2. Berikut ini kode robot.txt standart wordpress :
  3. User-agent: *Disallow: /wp-admin/Sitemap:Nama Url blog anda/sitemap_index.xml
  4. Simpan perubahan ;
  5. Anda dapat menambahkan kode sesuai dengan permasalahan blog anda.

Setelah anda selesai membuat robot.tx, langkah selanjutnya adalah menguji apakah robot.txt anda sudah benar. Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Adapun cara menguji robot.txt adalah sebagai berikut :

  1. Buka alat penguji robot.txt ini : https://www.google.com/webmasters/tools/robots-testing-tool
  2. Klik pilih properti ==>> klik blog yang akan diuji, bila blog anda belum tercantum silahkan tambahkan properti ;
  3. Selanjutnya klik ujicoba, apabila kesalahan dan peringatan bernilai 0 (nol), berarti penambahan robot.txt anda sudah benar ;
  4. Selesai.

Demikian Artikel dari Wongcungkup tentang Cara Mudah Membuat File Robot txt, Semoga artikel ini bermanfaat.

salam,

79 thoughts on “Cara Mudah Membuat File Robot txt

  1. Maman Achman

    Ternyata cara membuat File Robot txt ini tidak sesulit yang dibayangkan ya mas..
    Langkah-langkahnya cukup simpel dan bisa dengan cepat direalisasikan..
    Blog saya udah ada file robot txt-nya belum ya? Saya mau cek dulu ya mas…

    Reply
  2. Maman Achman

    Tadi saya cek blog saya, tampilannya seperti ini mas, artinya apa ya?

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: alamat situssaya/sitemap.xml

    Reply
    1. Yanto Cungkup Post author

      mediapartners untuk pengguna google adsense

      disallow untuk file yg tidak boleh ditelusuri

      allow untuk file yg boleh ditelusuri

      kurang lbh seperti itu mas

      Reply
  3. Indra Kusuma Sejati

    Caranya mudah banget kang untuk mebuat file robot txt bila kita mengikuti tutorial di atas, dan yang paling penting kita harus hati-hati agar tidak mudah dari mesin pencarian ya kang. Terimakasih atas tutorilanya bisa langsung di coba nih.

    Reply
  4. Maya

    Saya malah belum pernah tahu hal ini, terima kasih untuk ilmunya, saya lihat dulu blog saya kalau gitu

    Reply
  5. Mang Lembu

    mudah buat yang baca artikelnya secara lengkap mah.

    saya tebang baca judul langsung kesini jeh, tetep aja susah bikin file robot txt nya…huh

    Reply
  6. mangs abdul

    mas yan kan ada tuh yang website beri mobile dan dekstop. misalkan m dot detik…
    www dot detik…
    nah kalo begitu duplikat g mas

    Reply
  7. Anisayu

    Ilmu yang apik
    Supaya di search engine mau menarik
    Gambarku di blog ke halaman Google yang terbaik
    Tentu tips mu ini aku petik…

    Reply
    1. Yanto Cungkup Post author

      itu artinya bukan memblokir,tapi agar tidak timbul duplikat konten walaupun diakses pada perangkat mobile koq

      jadi m nya muncul dipenelusuran

      Reply
  8. mas ganteng

    terima kasih tutorialnya,, saya coba dulu,,, mudah mudahan berhasil, tidak ada masalah sama pencarain google

    Reply
  9. Deri Gunawan

    Thanks mas atas informasinya, apakah robot.txt sama ya dengan sitemap.xml? soalnya saya sudah pakai sitemap.xml.

    Reply
  10. bibi

    Ini dia yang selama ini saya cari dari mulai pertama kali saya blogging. eh adanya disini toh… makasih ya gan, sukses selalu, tapi maaf nih gan apakah tidak berbahaya buat blog kita jika misalnya ada kesalahan scrift ? makasi gan ditunggu balasannya ya…

    Reply
  11. Info loker

    mas kalau laman / arsip di blogger di index ke webmaster itu masuknya duplikat konten gk ya?

    Reply
  12. Adi Stia Utama S

    mas kalo pengaturan tag tajuk robot nya gimana itu mas
    kalo robot txt udah di isi
    bermanfaat untuk nambah ilmu
    salam kenal mas, perdana saya mampir di sini

    Reply
  13. Tahitian Noni Jakarta

    Untuk Pengaturan Robot Txt ini, apakah ada pengaruh nya untuk SEO Kang Mas..?
    Mohon Petunjuknya ya mas..
    Terimakasih,
    Salam Hangat dari Tahitian Noni Jakarta 🙂

    Reply
  14. Tahitian Noni Jakarta

    Makasih Kang Mas Yanto Cungkup, Berarti Robot.TXT ini bisa menghindari Duplikat konten ya kang mas..
    Untuk All In One Seo Pak apakah sama dengan Yoast Kang Mas..??
    Mohon Pencerahannya ya mas 🙂
    Terimakasih 🙂

    Reply

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

This site uses Akismet to reduce spam. Learn how your comment data is processed.