Cara Mudah Membuat File Robot txt

Cara Mudah Membuat File Robot txt. Robot.txt adalah file berformat text dengan extension (txt) yang berfungsi sebagai pengaturan perintah yang ditujukan kepada mesin pencari ( search engine) mengenai mana konten yang boleh atau tidak dibolehkan untuk dirayapi.

Perlu diketahui bahwa semua file, baik gambar, tulisan maupun video yang berada di blog maupun website  itu akan dirayapi oleh search engine kemudian ditampilkan dihasil pencarian sehingga rawan terjadi double file (duplikat) yang terindex di hasil pencarian. Seperti diketahui, mesin pencari tidak menyukai semua jenis duplikat. Nah tujuan file robot.txt adalah untuk meminimalkan berbagai jenis duplikat seperti : duplikat konten, duplikat meta description, dan duplikat title.

Setiap blog memiliki permasalahan duplikat perayapan yang berbeda, sehingga penambahan robot.txt nya juga tentu berbeda – beda juga. jadi anda harus hati – hati didalam menambah robot.txt karena akibatnya bisa fatal. bukannya kualitas blog anda menjadi lebih bagus secara SEO tetapi blog anda malah bisa hilang dari peredaran mesin pencari.

Cara Mudah Membuat File Robot txt

Adapun Cara Mudah Membuat File Robot txt, adalah sebagai berikut :

Untuk Platform Blogspot :

Permasalahan yang paling sering terjadi pada platform blogspot adalah duplikat konten dimana munculnya 2 artikel pada versi desktop dan mobile. untuk itu Wongcungkup akan memberi contoh robot.txt  pada masalah tersebut.

  1. Buka dasbord blog ==>> setelan ==>> preferensi penelusuran ;
  2. Arahkan kursor pada robot.txt khusus ==>> edit ==>> pilih ya pada aktifkan robot.txt,  lalu masukkan kode berikut :
  3. User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=0
    Disallow: /*?m=0
    Sitemap: Nama Url blog anda/feeds/posts/default?orderby=UPDATED
  4. Simpan perubahan.

Robot.txt diatas hanya untuk mengatur agar artikel desktop saja yang terindex dan menyembunyikan index artikel mobile. anda bisa menambahkan sesuai kebutuhan di blog anda.

Untuk Platform WordPress :

  1. Buat kode robot.txt di cpanel dengan nama robot.txt, File teks ini nantinya harus disimpan dalam ASCII atau UTF-8 encoding, bagi yang belum faham kode, sebaiknya penambahan robot.txt dengan menggunakan bantuan aplikasi pihak ketiga seperti plugin yoast seo atau wordpress robot.txt dengan begitu anda tinggal memasukkan kode pada plugin tersebut ;
  2. Berikut ini kode robot.txt standart wordpress :
  3. User-agent: *Disallow: /wp-admin/Sitemap:Nama Url blog anda/sitemap_index.xml
  4. Simpan perubahan ;
  5. Anda dapat menambahkan kode sesuai dengan permasalahan blog anda.

Setelah anda selesai membuat robot.tx, langkah selanjutnya adalah menguji apakah robot.txt anda sudah benar. Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Adapun cara menguji robot.txt adalah sebagai berikut :

  1. Buka alat penguji robot.txt ini : https://www.google.com/webmasters/tools/robots-testing-tool
  2. Klik pilih properti ==>> klik blog yang akan diuji, bila blog anda belum tercantum silahkan tambahkan properti ;
  3. Selanjutnya klik ujicoba, apabila kesalahan dan peringatan bernilai 0 (nol), berarti penambahan robot.txt anda sudah benar ;
  4. Selesai.

Demikian Artikel dari Wongcungkup tentang Cara Mudah Membuat File Robot txt, Semoga artikel ini bermanfaat.

salam,


About Yanto Cungkup 501 Articles

saya hanya manusia biasa yang berusaha berguna bagi sesama dan terbuka untuk menjalin persahabatan dengan siapa saja.

79 Komentar

  1. Ternyata cara membuat File Robot txt ini tidak sesulit yang dibayangkan ya mas..
    Langkah-langkahnya cukup simpel dan bisa dengan cepat direalisasikan..
    Blog saya udah ada file robot txt-nya belum ya? Saya mau cek dulu ya mas…

  2. Ini dia yang selama ini saya cari dari mulai pertama kali saya blogging. eh adanya disini toh… makasih ya gan, sukses selalu, tapi maaf nih gan apakah tidak berbahaya buat blog kita jika misalnya ada kesalahan scrift ? makasi gan ditunggu balasannya ya…

  3. Untuk Pengaturan Robot Txt ini, apakah ada pengaruh nya untuk SEO Kang Mas..?
    Mohon Petunjuknya ya mas..
    Terimakasih,
    Salam Hangat dari Tahitian Noni Jakarta 🙂

Leave a Reply

Alamat email Anda tidak akan dipublikasikan.


*