Sunday, November 28, 2021

Apa itu Perayap Web? (Dalam 50 Kata atau Kurang)

Saya tidak tahu tentang Anda, tetapi saya tidak akan menggambarkan diri saya sebagai orang “teknis”. Faktanya, aspek teknis pemasaran biasanya yang paling sulit untuk saya kuasai.

Ketika datang ke SEO teknis, mungkin sulit untuk memahami bagaimana prosesnya bekerja. Tetapi penting untuk mendapatkan pengetahuan sebanyak mungkin untuk mengoptimalkan situs web kami dan menjangkau audiens yang lebih besar. Salah satu alat yang berperan besar dalam optimasi mesin pencari tidak lain adalah web crawler.

Di postingan ini, kita akan belajar apa itu perayap web?, bagaimana mereka bekerja?, dan mengapa mereka harus merayapi situs Anda.

Apa itu perayap web?

Anda mungkin bertanya-tanya, “Siapa yang menjalankan perayap web ini?”

Biasanya, web crawler dioperasikan oleh mesin pencari dengan algoritmanya sendiri. Algoritme akan memberi tahu perayap web cara menemukan informasi yang relevan sebagai tanggapan atas kueri penelusuran.

Laba-laba web akan mencari (crawl) dan mengkategorikan semua halaman web di internet yang dapat ditemukannya dan disuruh untuk mengindeks. Jadi Anda dapat memberi tahu perayap web untuk tidak merayapi halaman web Anda jika Anda tidak ingin itu ditemukan di mesin telusur.

Untuk melakukannya, Anda harus mengunggah file robots.txt. Pada dasarnya, file robots.txt akan memberi tahu mesin pencari cara merayapi dan mengindeks halaman di situs Anda.

Misalnya, mari kita lihat Nike.com/robots.txt untuk pelajar visual.

Nike robots.txt untuk menginstruksikan perayap web apa yang harus diindeks

Untuk Nike, ia menggunakan file robot.txt untuk menentukan tautan mana di situs webnya yang akan dirayapi dan diindeks.

File robots.txt Nike menginstruksikan perayap web untuk mengizinkan tujuh halaman dirayapi dan melarang tiga

Di bagian file ini, ditentukan bahwa:

  • Perayap web Baiduspider diizinkan untuk merayapi tujuh tautan pertama
  • Perayap web Baiduspider tidak diizinkan untuk merayapi tiga tautan yang tersisa

Ini bermanfaat bagi Nike karena beberapa halaman perusahaan tidak dimaksudkan untuk dicari, dan tautan yang tidak diizinkan tidak akan memengaruhi halaman yang dioptimalkan yang membantu peringkat mereka di mesin pencari.

Jadi sekarang kita tahu apa itu web crawler, bagaimana mereka melakukan tugasnya? Di bawah ini, mari kita tinjau cara kerja perayap web.

 

Perayap web mesin telusur kemungkinan besar tidak akan merayapi seluruh internet. Sebaliknya, itu akan memutuskan pentingnya setiap halaman web berdasarkan faktor-faktor termasuk berapa banyak halaman lain yang tertaut ke halaman itu, tampilan halaman, dan bahkan otoritas merek. Jadi, perayap web akan menentukan halaman mana yang akan dirayapi, urutan apa yang harus dirayapi, dan seberapa sering mereka harus merayapi pembaruan.

cara kerja perayap web bagan visual

Sumber Gambar

Misalnya, jika Anda memiliki halaman web baru, atau ada perubahan pada halaman yang sudah ada, maka perayap web akan mencatat dan memperbarui indeks. Atau, jika Anda memiliki halaman web baru, Anda dapat meminta mesin pencari untuk merayapi situs Anda.

Saat perayap web ada di halaman Anda, perayap akan melihat salinan dan tag meta, menyimpan informasi itu, dan mengindeksnya agar Google menyortir kata kunci.

Sebelum seluruh proses ini dimulai, perayap web akan melihat file robots.txt Anda untuk melihat halaman mana yang harus dirayapi, itulah sebabnya ini sangat penting untuk SEO teknis.

Pada akhirnya, ketika perayap web merayapi halaman Anda, itu memutuskan apakah halaman Anda akan muncul di halaman hasil pencarian untuk sebuah kueri. Penting untuk diperhatikan bahwa beberapa perayap web mungkin berperilaku berbeda dari yang lain. Misalnya, beberapa mungkin menggunakan faktor yang berbeda saat memutuskan halaman web mana yang paling penting untuk dirayapi.

Sekarang setelah kita membahas cara kerja perayap web, kita akan membahas mengapa mereka harus merayapi situs web Anda.

 

Mengapa perayapan situs web penting?

Jika Anda ingin situs web Anda mendapat peringkat di mesin pencari, itu perlu diindeks. Tanpa perayap web, situs web Anda tidak akan ditemukan meskipun Anda menelusuri lebih dari satu paragraf yang langsung diambil dari situs web Anda.

Secara sederhana, situs web Anda tidak ada kecuali dirayapi sekali.

Untuk menemukan dan menemukan tautan di web di seluruh mesin telusur, Anda harus memberi situs Anda kemampuan untuk menjangkau pemirsa yang dimaksudkan dengan membuatnya dirayapi — terutama jika Anda ingin meningkatkan lalu lintas organik Anda.

Jika aspek teknis ini membingungkan, saya mengerti. Itu sebabnya HubSpot memiliki Kursus Pengoptimalan Situs Web yang menempatkan topik teknis ke dalam bahasa yang sederhana dan menginstruksikan Anda tentang cara menerapkan solusi Anda sendiri atau mendiskusikannya dengan pakar web Anda.

Perluas Jangkauan Anda Dengan Perayapan Web

Perayap web bertanggung jawab untuk mencari dan mengindeks konten online untuk mesin telusur. Mereka bekerja dengan menyortir dan memfilter halaman web sehingga mesin pencari memahami tentang setiap halaman web. Memahami perayap web hanyalah salah satu bagian dari SEO teknis efektif yang dapat meningkatkan kinerja situs web Anda secara signifikan.

Latest Posts

Latest Posts

Don't Miss