Mencegah website anda terindex google atau mesin pencari lainnya dengan robots.txt

Karena sesuatu hal terkadang kita ingin agar website kita tidak terindex oleh google atau mesin pencari lainnya yaitu dengan membuat file robots.txt. Hal ini diperlukan misalnya ketika kita sedang dalam proses pembuatan website, atau karena ingin menyembunyikan folder/file tertentu agar orang lain tidak bisa menemukannya melalui mesin pencari. Caranya anda buat file robots.txt di root […]
Updated: 27 Oktober 2020
Bagikan:
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

Karena sesuatu hal terkadang kita ingin agar website kita tidak terindex oleh google atau mesin pencari lainnya yaitu dengan membuat file robots.txt. Hal ini diperlukan misalnya ketika kita sedang dalam proses pembuatan website, atau karena ingin menyembunyikan folder/file tertentu agar orang lain tidak bisa menemukannya melalui mesin pencari.

Caranya anda buat file robots.txt di root folder website anda dan isi dengan command sesuai keinginan anda, sebagai contoh:
1. Command ini berfungsi untuk mencegah semua jenis bot (program) dari mesin pencari untuk mengindex semua file anda (root dan turunannya).

User-agent: *
Disallow: /

2. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder administration

User-agent: *
Disallow: /administration/

3. Command ini berarti mencegah bot dari google ntuk mengindex semua file anda (root dan turunannya).

User-Agent: googlebot
Disallow: /

4. Command ini berarti mencegah bot dari google ntuk mengindex semua file gambar anda (root dan turunannya).

User-agent: Googlebot-Image
Disallow: /

5. Command ini berarti mencegah semua jenis bot mesin pencari kecuali google untuk mengindex semua file yang berada di folder root dan turunannya, bot dari google boleh mengindex kecuali untuk folder cgi-bin dan privatedir

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /privatedir/

6. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder root dan turunannya, tetapi utk bot alexa (ia_archiver) diperbolehkan, karena disallow nya dikosongkan yang fungsinya spt tombol on/off

User-agent: *
Disallow: /
User-agent: ia_archiver
Disallow:

Sebagai tambahan informasi, kita bisa menggunakan syntax allow untuk mengijinkan indexing, tapi tidak semua mesin pencari mengenali command tersebut, jadi sebaiknya gunakan disalow yang dikosongkan saja seperti contoh terakhir.

Dan ini ada contoh robots.txt untuk wordpress (copas dari diskusi di situs wordpress di sini)

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~

Semoga bermanfaat.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

11 comments on “Mencegah website anda terindex google atau mesin pencari lainnya dengan robots.txt”

  1. Konten Adalah Raja Dan Backlink Adalah Ratu... Sebuah Blog Tidak Akan Pernah Bagus Jika Tidak Di Dukung Artikel Yang Berkualitas...

    1. utk yg
      User-agent: *
      Disallow: /search
      Allow: /

      semua bot ga blh masuk ke folder /search, ex: domainku.com/search
      utk yg
      User-agent: Mediapartners-Google
      Disallow:

      bot Mediapartners-Google (crawler utk adsense/iklan) boleh lihat semua folder
      tapi, klo dua2nya digabung itu berarti khusus bot Mediapartners-Google dia boleh masuk folder /search, sementara yg lainnya ga boleh lihat folder /search, kira2 gitu mas dani

  2. mau tanya ini artinya apa ya
    User-agent: *
    Disallow: /*

    krn saya mau buat agar domain.com/blabla kagak keindex tapi yg ke index domain.com/article/blabla ... apa yg diatas sudah benar

    1. sdh benar kok mas, itu artinya smua bot tdk mengindex apa2, mungkin yg blabla itu terindex krn sdh dibuat sblm robots.txt ada, jd keburu terindex, klo mau dihapus dr catatan google bisa dari cek pke webmaster toolsnya google, atau bisa jadi ada kemungkinan lainnya

ARTIKEL TERBARU
Cara Membuat Menu Di Luar Kanvas dengan Oxygen Builder
Artikel ini menjelaskan tentang cara pembuatan menu di luar kanvas pada website yang menggunakan CMS WordPress dan plugin Oxygen Builder
Baca selengkapnya....
Konversi Website ke Oxygen Builder (Studi Kasus)
Apakah anda ingin mengkonversi website yang menggunakan Oxygen Builder? Berikut contoh kasus dan peningkatan kinerja hasil optimasinya.
Baca selengkapnya....
Bagaimana Cara Membuat Slider Dinamis dengan Flickity di Oxygen Builder Repeater?
Tutorial ini menjelaskan cara membuat slider dinamis menggunakan flickity yang digabungkan dengan elemen Oxygen Builder Repeater.
Baca selengkapnya....
PAKET LENGKAP PEMBUATAN WEBSITE
Digitalizer menawarkan jasa pembuatan website untuk company profile, toko online, event organizer, lembaga pendidikan ataupun bidang lainnya. Anda tidak perlu memikirkan tentang domain, webhosting/server, DNS, email, desain, development, security serta masalah teknis lainnya. Cukup siapkan content website anda saja, sisanya kami yang mengerjakannya.
Semua paket pembuatan website sudah termasuk maintenance 1 tahun!
HOT LINK!
logo digitalizer
© 2020 - 2021 Digitalizer My ID - Allright Reserved