Link tidak bisa di akses oleh Crawler Google

Google memang tak henti - henti memberikan layanan yang terbaik untuk penggunanya. Bagi kamu yang suka ngeblog mungkin sudah pada tahu tentang layanan google yang satu ini. Ya, google webmaster tool. Google webmaster tool ini merupakan layanan dari google yang bisa digunakan untuk memanage blog atau website yang kita miliki. Dari situ kita bisa melihat performa situs atau blog secara lebih detail.

Kebetulan aku juga baru mencoba layanan google yang satu ini. Nah, ketika aku melihat performa halaman blog di Google webmaster tool, aku melihat beberapa kesalahan crawler di blog aku. Beberapa link di blog tidak dapat dijelajahi oleh Google karena dibatasi oleh robot.txt.

Sebagai pengguna baru, namanya juga baru ngeblog hal tersebut cukup membingungkan buat aku. Aku ingat-ingat lagi, apa jangan-jangan aku telah membuat robot.txt pada blog tanpa aku sadari? Aku emang pernah mencoba robot.txt diuji di Google webmaster tool, dan berhasil. Pada waktu itu aku tidak memeriksa robot.txt itu seperti apa. Belakangan baru aku tahu bahwa robot.txt berisi perlindungan, semacam tanda berhenti untuk crawler agar tidak mengakses 'sesuatu' pada halaman tersebut, yang dijabarkan dalam robot.txt itu.

Itu membuatku merasa menyesal, Rasanya aku telah membuat kesalahan dan tidak tahu apa yang harus dilakukan untuk memperbaikinya. Bahkan ketika aku mencoba untuk mengubah robot.txt itu disebutkan bahwa Google tidak akan menyimpan perubahan itu. Ini berarti bahwa aku tidak dapat berbuat apa-apa tentang hal itu. Satu-satunya cara untuk mengedit atau menghapusnya adalah aku harus mempunyai akses, akses penuh ke halaman tsb pada root directorinya, itu berarti bahwa aku harus memiliki domain atau hosting sendiri. Hal yang Mustahil karena saya hosting di blogger yang notabene adalah blog gratisan dengan akses yang terbatas.

Tapi ... setelah mencari-cari informasi lebih jauh tentang robot.txt itu. Aku menemukan bahwa Google secara otomatis memasukkan robot.txt ke halaman blogger, terutama untuk link dalam kategory /search dalam rangka untuk menghindari duplikasi link di halaman tersebut. Dan itu tidak akan menimbulkan hal-hal buruk pada halaman blogku. Jadi ternyata tak ada yang perlu dikhawatirkan. He..he namanya juga pemula, jadi wajar kan kalo bingung?