Setting dan Mengenal Robot.Txt pada Blogger Webmaster


Robot.txt yang berada di webmaster tool adalah sebuah root (akar) pada sebuah situs. untuk mempelajari tentang file robots txt blog belajar berbagi akan mengupas dan menyajikannya untuk anda simak hingga tuntas, sehingga anda akan disulap untuk menjadi seorang yang mengenal dan memahami  robot.txt pada webmaster tools sampai menjadi mahir dalam menguasainya. tentu dengan syarat harus melahap tulisan ini sampai tuntas.

Robot TXT Google Webmaster

Sebelum anda mengetahui lebih jauh robot.txt, sebaiknya anda mendaftarkan situs anda di webmaster tools. jika sudah mendaftar pada webmaster tools, silahkan terbang ke perayapan » penguji robots.txt

Contoh Defauld Robot.Txt

Secara defauld robot.txt yang ada di webmaster tools milik belajar berbagi seperti dibawah ini
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://imoul.blogspot.com/sitemap.xml

Keterangan: 
User-agent: Mediapartners-Google: adalah sebagai perintah mengizinkan robots craw adsense untuk mengindeks seluruh website atau blog yang relevan dan tidak ada kaitannya dengan google search engine. jika anda sudah memiliki adsense maka jangan pernah menghapusnya karena sangat menguntungkan bagi situs anda.

Disallow: artinya tidak ada batasan halaman untuk dirayapi oleh google

User-agent: *: seluruh search engine atau mesin pencari yang diwakili oleh tanda * tersebut

Disallow: /search: melarang robots google untuk merayapi labels yang berawalan /search contohnya http://imoul.blogspot.co.id/search/label/AdSense

Allow: /: memberiarkan robots google merayapi seluruh halaman situs website/blog anda

Sitemap: adalah sebuah alamat feed blog anda yang berisikan url-url halaman yang sudah anda buat misalnya judul postingan blog. untuk mengetahuinya silahkan rubah http://imoul dengan nama situs anda yang diakhiri /sitemap.xml

Fungsi dari Robot.Txt

Ada 3 buah fungsi robot.txt yang saya pelajari langsung dari google webmaster tools diantaranya adalah file non gambar » file gambar dan file sumber daya.

  • Non Gambar robot.txt hanya digunakan untuk mengontrol lalu lintas perayapan dan jangan menyia-nyiakan lalu lintas ini karena dapat mengakibatkan overload atau kelebihan perayapan yang tidak penting untuk dirayapi oleh google. 
  • robot.txt bisa mencegah file gambar yang muncul di hasil pencarian google akan tetapi robot txt tidak mencegah halaman yang ditautkan oleh pengguna lain yang ngelink ke file gambar anda tersebut
  • File sumber daya berfungsi untuk memblokir file gambar yang menurut anda tidak penting. 

Untuk mengetahui keseluruhan tentang robot.txt webmaster seperti mempelajari tentang file robots.txt, membuat file robot.txt, menguji dengan penguji robots.txt, mengirim robots.txt yang diperbaharui di google, sebaiknya saya rekomendasikan kepada anda untuk membaca dan mempelajari seluruh tentang robot.txt yang ada di webmaster tools.

Untuk setting robot txt pada blog silahkan anda login ke blogger anda » setelan » Preferensi penelusuran » robot.txt khusus

Aktifkan konten robots.txt khusus? jadikan Ya dan masukan kode dibawah ini dan klik simpan perubahan

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://imoul.blogspot.com/sitemap.xml

Lalu pada Tag tajuk robot khusus, Aktifkan tag tajuk robot khusus? jadikan Ya dan ikuti perintahnya dibawah ini

Setting dan Mengenal Robot.Txt pada Blogger Webmaster

Pada bagian Beranda conteng All;
Laman Arsip dan Penelusuran: conteng noindex, nofollow, noarchive
Default untuk Pos dan Laman: conteng All
Setelah selesai klik simpan perubahan

Karena waktu berbuka puasa sebentar lagi, maka saya akhiri tulisan tentang cara setting dan mengenal robot.txt pada blogger webmaster. semoga bermanfaat dan happy blogging





Anda Berada di Label Webmaster


14 comments:

  1. thx infony gan leh uga nih

    ReplyDelete
    Replies
    1. jangan lupa minum aer gan kalo haus. jangan minum aer comberan gan

      Delete
  2. trims sangat bermanfaat
    http://www.moniqueadv.com/p/gambar-neon-box.html

    ReplyDelete
  3. thanks gan bermanfaat. cuma saya bingungnya site map saya aja blm terindex. itu gmn gan?
    mampir juga ya gan wwww.tokobungasurabayaonline.com thanks

    ReplyDelete
  4. Makasih ya gannn penjelasan yang mudah di mengerti... Good

    ReplyDelete
  5. Maaf gan saya mau tnya nih, saya udh melkukan semua tutorial yg agan sampaikan. Tapi jumlah artikel yg di cekal robots.txt tak kunjungi hilang atau berkurang.

    Apkah saya harus mlkukan proses submit file robotstxt saya.

    Tapi yg saya bingungkan, jika mlkukan proses submit file robots.txt kan nti ada 3 tahapan tuh:
    1. Download file robots.txt ( sdh saya download)
    2. Upload file robots.txt ( disini yg saya bingungkan) saya hrus upload dmn ? Karena saya blm punya hosting CPanel

    Mohon blz k email saya
    Bandi.vanhoutten@gmail.com

    ReplyDelete
  6. masi berlaku kah cara ini gan? mohon infonya. tks

    ReplyDelete
  7. mind...
    maksudnya untuk bagian
    Disallow: /search

    itu ada yang di buat
    Disallow: /p/about.html

    bedanya apa dan bagusnya di buat yang gimana?
    Mohon mind jawabannya

    ReplyDelete
  8. makasih sekarang bulan puasa 1440 h 2019.sy skrg mengalami kesulitan saat posting karena artikel tak tampil jumlah artikel 5 yang 4 sudah muncul yg ke 5 artikel berbeda jadi agak susah dirayapin

    ReplyDelete
  9. Makasih Gan.,
    https://lixmedia.blogspot.com
    https://arabitzone.blogspot.com

    ReplyDelete

Silahkan berikan komentar anda sesuai dengan konten yang saya bahas diatas. komentar yang tidak relevan, spam, maka tidak akan saya publikasikan di blog belajar berbagi ini.

Belajar Berbagi Home