Memahami Cara Kerja Spider Search Engine [Lengkap]

Mokhamad Nur Rokim  

Memahami Cara Kerja Spider Search Engine [Lengkap]
Kali ini saya akan membahas tentang Memahami Cara Kerja Spider Search Engine, yang mana ilmu ini sejatinya menjadi dasar terciptanya ilmu SEO yang tahun demi tahun semakin berkembang ini.

Postingan ini merupakan postingan kelanjutan dari postingan utama saya, yaitu Teknik SEO Ampuh Jadi WEB No.1. Yang mana didalam postingan tersebut dibahas tuntas mengenai Teknik SEO untuk menjadi ranking di SERP.

Ilmu memahami spider ini sangat wajib diketahui oleh newbie SEO, sehingga ketika mereka memahami ilmu SEO lebih dalam lagi, mereka akan sadar, bahwasannya ilmu SEO ini adalah ilmu yang lahir dari cara kita untuk memahami Spider Search Engine.

Ketika kita sudah paham tentang apa yang diinginkan oleh Spider Search Engine, tentu kita akan memperbaiki kualitas web kita, agar web kita disukai oleh Spider Search Engine.

Namun untuk mengetahui apa yang diinginkan oleh Spider Search Engine, kita perlu melakukan riset yang mendalam, untuk mengetahui keinginannya.

Namun kita tidak perlu repot repot lagi untuk melakukan riset sperti itu. Dimasa sekarang, sudah banyak orang atau pakar yang melakukan riset tentang hal itu.

Dan merekapun juga sudi membagikan ilmunya kepada kita. Tugas kita hanyalah tinggal mengembangkannya saja.

Berikut akan saya jelaskan tentang memahami cara kerja dari Spider Search Engine. Namun perlu sobat garis bawahi, bahwa yang saya ulas ini nanti merupakan pemahaman Spider Search Engine milik Google.

Sebenarnya terdapat banyak Spider Search Engine, seperti Spider Search Engine milik Yahoo!, Bing, dan yang lainnya. Dan merekapun juga ada sebutannya, seperti spider Bing disebut BingBot, dan Yahoo! disebut SluRP.

Mengapa saya memilih milik Google ?

Karena Search Engine Milik Google lebih banyak penggunanya, dibanding dengan Search Engine milik Bing ataupun Yahoo!.

Jika dipersentase Search Engine milik Google menempati 74% pengguna didunia ini. Sisanya ada di Bing dan Yahoo. Maka alangkah lebih baiknya jika mempelajari Search Engine milik Google.

Sebenarnya prisip kerja Spider Search Engine milik Google maupun milik lainnya tidak jauh berbeda. Maka dari itu kita disini akan belajar yang universalnya saja.


Tanpa basa basi lagi, kita langsung menuju ke topik pembahasan...

Definisi Spider Search Engine


#1. Definisi Search Engine

Mesin pencari web atau mesin telusur web (bahasa Inggris: web search engine) adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladen dalam suatu jaringan. - Wikipedia.
Lebih jelasnya, Search Engine adalah mesin pencari yang dirancang untuk mencari Web yang kita butuhkan yang relevan dengan kata kunci yang kita cari.

Sebelum dapat melakukan pencarian, Tentunya search engine akan mengumpulkan informasi tentang milyaran web dimuka bumi ini.

Search Engine akan merayapi web - web yang ada di internet ini dengan mesin canggihnya, lalu mengumpulkan samua informasi tentang web - web tersebut di data bank search engine.

Sehingga ketika kita mengetikkan kata kunci, search engine mampu mengenali web yang relevan dengan kata kunci tersebut. Sehingga kita juga dapat menemukan web yang sesuai dengan keinginan kita.

#2. Definisi Spider Search Engine

Spider search engine merupakan mesin yang sangat canggih yang tugasnya merayapi web web yang ada di dunia ini, untuk dikumpulkan informasinya di Search Engine.

Spider Search Engine sering disebut sebagai Web Crawl, sedangkan Spider milik Google, sering disebut sebagai Google Bot.

Spider search engine memiliki system algoritmanya sendiri, sehingga ketika spider merayapi web, dia dapat tahu kata mana yang relevan dan dapat dibawanya untuk dikumpulkan di search engine.

Cara kerja spider search engine inilah yang sering dipelajari bannyak orang, atau yang sering disebut dengan ilmu SEO.

Baca Juga : Pengertian SEO, Teknik, Manfaat, dan Cara Kerja Lengkap

Karena dengan mempelajarinya, kita dapat mempermudah pergerakan spider dalam web kita, sehingga informasi yang diterimanya akan akurat, dan hal itu dapat membuat web sobat berkesempatan menduduki posisi teratas dari Search Engine Result Pages (SERPs).

Cara Kerja Spider Search Engine


#1. Pergerakan Spider Search Engine

Spider bertugas untuk mengindex, membuat ranking, menyusun, dan menata halaman dalam bentuk index terstruktur agar bisa dicari dalam waktu yang sangat capat.

Obyek dari Spider adalah isi dari halaman, file, folder, dan direktori web, sedangkan subyek dari robots.txt adalah spider.

Robots.txt adalah file di web yang berformat .txt yang berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan / di index oleh mesin pencari.
Ketika spider berkunjung kesebuah website, Spider akan berhadapan dengan robots.txt, yang akan memandu spider tersebut untuk mengindex sebuah website.

Sehingga spider akan tahu, mana halaman / folder / file yang boleh di index dan mana yang tidak boleh diindex. Semakin lengkap panduan dalam robots.txt sobat, akan semakin baik juga.

Baca Juga : Mempelajari Robot.txt Untuk Memaksimalkan SEO.

Kebanyakan halaman situs berisi link ke halaman lain, sebuah spider dapat memulai dari manapun. Apabila ia melihat sebuah link kepada halaman lain, maka ia akan segera menuju kesana dan mengambil informasinya.

Dalam sekali merayapi website, jumlah spider bukan hanya satu buah saja, jumlah mereka sangat bannyak, yang masing masing bekerja secara parallel.

Spider akan selalu merayapi web sobat dalam siklus tertentu, lama tidaknya siklus tersebut menyesuaikan frekuensi rata rata dalam munculnya postingan baru dari web tersebut.

Setiap ada postingan baru, spider akan langsung membawa ke database, dan spider juga akan mengecek lagi data - data yang sudah di rayapi sebelumnya apakah ada perubahan, jika ada perubahan dia akan langsung menyesuaikann dengan databasenya.

Proses perayapan Googlebot dimulai dengan daftar URL laman web, yang dihasilkan dari proses perayapan sebelumnya ditambah dengan data Peta Situs yang diberikan oleh webmaster. Google.
Dengan pedoman tersebut, tentu kita tahu, bahwa spider juga mengumpulkan peta situs yang dia ambil dari webmaster. Hal ini menandakan bahwa sangat penting mengsubmit sitemap web sobat ke Google Webmaster.

Baca Juga : Cara Mengsubmit Web Ke Google dan Bing Webmaster.

Karena spider akan sangat terbantu bila sobat mengsubmit sitemap sobat ke wabmaster, sehingga hal tersebut akan menambah kecepatan index Google bilamana sobat mempunyai postingan yang baru.

#2. Otak Spider Search Engine

Spider Search Engine dalam bertugas merayapi sebuah website, tentu mereka juga mempunyai otak untuk dapat bekerja sesuai aturan.

Ketika spider datang ke web sobat, dia akan langsung mengolah data web sobat, dengan dibekali otak, dia akan mencari data informasi yang relefan, yang dapat ia bawa ke database search engine. Dan dia akan mengabaikan data yang tidak terkait informasi pada web sobat.

Hal itu sangat berkaitan dengan algoritma Spider dalam hal merayapi sebuah website. Bila seandainya spider tidak mempunyai algoritma tersebut, maka, kita dapat dengan mudah menempati posisi teratas SERP hanya dangan spam kata kunci.

#3. Hal Yang Tidak Disukai Spider

Pada saat spider bekerja, tidak semua bagian dapat dijangkau oleh spider ini. Ada beberapa bagian yang tidak dapat di akses, dan itu harus dihindarkan pada bagian posting, agar tidak menghalangi spider mengelola informasi web sobat.

#.1 Java Script

Java script yang berada pada menu utama dapat menghambat spider untuk mengakses web sobat. Hal ini tentu akan sangat berpengaruh terhadap informasi yang diterima oleh spider.

Usahakan dari menu utama hingga post body tidak ada java script didalamnya, karena menurut salah seorang pakar seo, hal tersebut akan menghambat spider untuk bergerak.

Sobat juga dapat menggunakan tag <noscript> pada menu utama guna membantu spider dalam meluncur ke post body untuk mengolah informasi.

#.2 iFrame

Iframe ibarat pagar bagi Spider, bila mana sobat memakai template yang menggunakan iframe pada post body-nya, hal itu merupakan kesalahan yang sangat fatal.

Karena bila sobat memakai iframe pada post body, hal tersebut sama saja mencegah spider untuk mengelola informasi web sobat. Akibatnya, web sobat tidak akan terindex Google dan tidak ada trafik organik dari Search Engine.


Sobat dapat memanfaatkan tools yang dapat melihat apakah spider dapat merapai web sobat dengan situs ini.

Di situs tersebut, sobat tinggal memasukkan alamat website sobat lalu tekan submit, bila ada tulisan yang menunjukan kepada beberapa postingan sobat, hal itu berarti web sobat dapat di rayapi dengan mudah.

Namun ketika setelah sobat klik submit yang muncul hanyalah blank tanpa tulisan, hal tersebut berarti web sobat tidak dapat dirayapi dengan sempurna oleh spider.

Namun algoritma yang diterapkan pada situs spider check tersebut masih menggunakan algoritma Spider yang lama. Kini, Google telah menggunakan algoritma terbaru yang lebih canggih dalam hal mengindex web.

Maka sobat tidak perlu khawatir lagi bila setelah melakukan spider test ternyata hasilnya mengecewakan. Sobat juga dapat meng- test web saya ini, apakah hasilnya baik, jawabnnya, spider tidak bisa merayapi web saya.

Namun saya tenang saja, saya tahu bahwa Google memiliki mesin yang canggih yang dapat mengelola milyaran situs diinternet ini dengan baik.

Kesimpulan dan Penutup


Memahami Cara Kerja Spider Search Engine memang sangatlah penting bagi dunia SEO, karena hal tersebut akan menentukan berapa ranking web sobat dihadapan SERP.

Hindari semua hal yang menyebabkan terhambatnya msin spider dalam merayapi blog sobat. Karena akan sangat fatal akibatnya bilamana spider tidak bisa merayapi web sobat.

Tambahan lagi, Spider sangat suka dengan web yang memiliki speed yang tinggi, oleh karena itu, mempunyai web yang ber speed tinggi merupakan cara untuk memperlancar jalan perayapan oleh tim spider.

Demikian postingan saya mengenai Memahami Cara Kerja Spider Search Engine [Lengkap]. Semoga apa yang saya jelaskan diatas dapat bermanfaat bagi sobat semua. Sobat dapat mempelajari tentang Spider Search Engine Google ini secara lengkap di laman resminya.

Tunggu artikel menarik tentang dunia blogging dan seo selanjutnya, akhir kata dari saya, cukup sekian dan terima kasih
Mokhamad Nur Rokim
Load comments
Dapatkan update artikel terbaru dari BLOG KANG KIMIN lewat email. GRATIS!