Paradox Peta Situs


Kami menggunakan peta situs di Stack Overflow, tetapi saya memiliki perasaan campur aduk tentang hal itu.

Perayap web biasanya menemukan halaman dari tautan di dalam situs dan dari situs lain. Peta Situs melengkapi data ini untuk memungkinkan perayap yang mendukung Peta Situs untuk mengambil semua URL di Peta Situs dan mempelajari tentang URL-URL itu menggunakan metadata terkait. Menggunakan protokol Peta Situs tidak menjamin bahwa halaman web termasuk dalam mesin pencari, tetapi memberikan petunjuk bagi perayap web untuk melakukan pekerjaan yang lebih baik dalam merayapi situs Anda.

Berdasarkan pengalaman kami selama dua tahun dengan peta situs, ada sesuatu yang secara mendasar bertentangan tentang peta situs :

  1. Peta Situs dimaksudkan untuk situs yang sulit dirayapi dengan baik.
  2. Jika Google tidak berhasil merangkak situs Anda untuk menemukan tautan, tetapi dapat menemukannya di sitemap itu memberikan tautan sitemap tanpa bobot dan tidak akan mengindeksnya!

Itulah paradoks sitemap - jika situs Anda tidak dirayapi dengan benar (untuk alasan apa pun), menggunakan sitemap tidak akan membantu Anda!

Google berusaha keras untuk tidak membuat jaminan sitemap :

"Kita tidak bisa membuat prediksi atau jaminan tentang kapan atau apakah URL Anda akan dijelajahi atau ditambahkan ke indeks kami" kutipan

"Kami tidak menjamin bahwa kami akan merayapi atau mengindeks semua URL Anda. Misalnya, kami tidak akan merayapi atau mengindeks URL gambar yang terkandung dalam Peta Situs Anda." kutipan

"Mengirim Peta Situs tidak menjamin bahwa semua halaman situs Anda akan dirayapi atau dimasukkan dalam kutipan hasil pencarian kami"

Mengingat bahwa tautan yang ditemukan di peta situs hanyalah rekomendasi , sedangkan tautan yang ditemukan di situs web Anda sendiri dianggap kanonik ... sepertinya satu-satunya hal yang logis untuk dilakukan adalah menghindari memiliki peta situs dan memastikan bahwa Google dan mesin pencari lainnya dapat dengan benar spider situs Anda menggunakan halaman web standar lama yang biasa dilihat orang lain.

Pada saat Anda telah melakukan itu , dan menjadi jeli bagus dan teliti sehingga Google dapat melihat bahwa situs Anda memiliki tautan ke halaman-halaman ini, dan akan bersedia untuk merayapi tautan - eh, mengapa kita memerlukan peta situs lagi? Sitemap dapat berbahaya, karena mengalihkan perhatian Anda dari memastikan bahwa spider mesin pencari dapat merayapi seluruh situs Anda dengan sukses. "Oh, tidak masalah jika crawler bisa melihatnya, kami hanya akan menampar tautan itu di sitemap!" Realitas adalah kebalikan dari pengalaman kami.

Itu tampaknya lebih dari sedikit ironis mengingat peta situs ditujukan untuk situs yang memiliki koleksi tautan yang sangat dalam atau UI kompleks yang mungkin sulit untuk diraih. Dalam pengalaman kami, sitemap tidak membantu, karena jika Google tidak dapat menemukan tautan di situs Anda dengan benar, toh hal itu tidak akan mengindeksnya dari sitemap. Kami telah melihat ini terbukti berulang kali dengan pertanyaan Stack Overflow.

Apakah aku salah? Apakah peta situs masuk akal, dan kami entah bagaimana hanya menggunakannya secara salah?


Saya pikir peta situs lebih merupakan alat yang lebih sederhana untuk usia yang lebih sederhana ... Saya kira satu-satunya alasan untuk memberikan peta situs saat ini adalah untuk bantuan manusia dalam menjelajahi situs, meskipun secara teknis manusia cenderung. Saya tidak melihat masalah dengan "jika situs Anda tidak dirayapi dengan benar (untuk alasan apa pun), menggunakan peta situs tidak akan membantu Anda!" tapi mungkin hanya aku.
jcolebrand

3
Sementara saya tahu bahwa Google menghasilkan sebagian besar lalu lintas Anda. Saya pikir ini penting untuk memahami bagaimana laba-laba lain menggunakan sitemap.
MikeJ

22
@mikej google bukan "sebagian besar" dari lalu lintas kami, ini adalah 99,6% dari semua lalu lintas pencarian dan 87% dari total lalu lintas
Jeff Atwood

2
Jeff, selalu suka posting Anda ... Saya hanya menggunakan peta situs XML untuk halaman yang mungkin tidak ditemukan google. Tapi sebenarnya saya kecewa dengan mereka dan alat webmaster google. Jujur saya pikir google melakukan pekerjaan yang cukup baik mengindeks konten yang tersedia di situs. Tidak ada gunanya untuk sitemap. Sekarang peta situs untuk navigasi pengguna adalah ide yang cerdas. Saya suka Web.2.0 Footer Site Maps dan mencoba menggabungkannya di hampir semua desain yang sesuai untuk ...
Frank

1
@ Jeff Atwood: John Mueller berkata "kami mengambil dan mengindeks URL yang tidak terhubung" - apakah ini memecahkan paradoks?
Rob Olmos

Jawaban:


Penafian: Saya bekerja sama dengan tim Peta Situs di Google, jadi saya agak bias :-).

Selain menggunakan Peta Situs secara luas untuk konten "non-web-indeks" (gambar, video, Berita, dll.) Kami menggunakan informasi dari URL yang disertakan dalam file Peta Situs untuk tujuan utama ini:

  • Menemukan konten baru dan diperbarui (saya kira ini adalah yang jelas, dan ya, kami mengambil dan mengindeks URL yang tidak terhubung dari sana juga)
  • Mengenali URL yang disukai untuk kanonikisasi (ada juga cara lain untuk menangani kanonikisasi )
  • Memberikan jumlah URL yang diindeks berguna dalam Alat Webmaster Google (perkiraan dari situs: -kuisan tidak dapat digunakan sebagai metrik)
  • Memberikan dasar untuk kesalahan perayapan yang berguna (jika URL yang disertakan dalam file Peta Situs memiliki kesalahan perayapan, itu biasanya masalah yang lebih besar & ditampilkan secara terpisah di Alat Webmaster)

Di sisi webmaster, saya juga menemukan file peta situs sangat berguna:

  • Jika Anda menggunakan perayap untuk membuat file peta situs, maka Anda dapat dengan mudah memeriksa apakah situs Anda dapat dijelajahi dan melihat sendiri jenis URL apa yang ditemukan. Apakah perayap menemukan URL pilihan Anda, atau apakah ada yang salah dikonfigurasi? Apakah perayap macet di ruang tak terbatas (mis. Skrip kalender tanpa akhir) di suatu tempat? Apakah server Anda dapat menangani beban?
  • Berapa banyak halaman yang benar-benar dimiliki situs Anda? Jika file peta situs Anda "bersih" (tidak ada duplikat, dll), maka itu mudah untuk diperiksa.
  • Apakah situs Anda benar-benar dapat dijelajahi dengan bersih tanpa mengalami duplikat konten? Bandingkan log server yang ditinggalkan oleh Googlebot dengan file peta situs Anda - jika Googlebot merayapi URL yang tidak ada dalam file peta situs Anda, Anda mungkin ingin memeriksa ulang tautan internal Anda.
  • Apakah server Anda mengalami masalah dengan URL pilihan Anda? Memeriksa silang log kesalahan server Anda dengan URL Peta Situs bisa sangat berguna.
  • Berapa banyak halaman Anda yang benar-benar diindeks? Seperti disebutkan di atas, jumlah ini terlihat di Alat Webmaster.

Memang, untuk situs yang sangat kecil, statis, mudah dirayapi, menggunakan Peta Situs mungkin tidak diperlukan dari sudut pandang Google setelah situs dirayapi dan diindeks. Untuk hal lain, saya sangat merekomendasikan menggunakannya.

FWIW Ada beberapa kesalahpahaman yang ingin saya bahas juga:

  • File peta situs tidak dimaksudkan untuk "memperbaiki" masalah crawlability. Jika situs Anda tidak dapat dijelajahi, perbaiki dulu .
  • Kami tidak menggunakan file peta situs untuk menentukan peringkat.
  • Menggunakan file Peta Situs tidak akan mengurangi perayapan normal situs Anda. Ini informasi tambahan, bukan pengganti perayapan. Demikian pula, tidak memiliki URL dalam file peta situs tidak berarti URL tidak akan diindeks.
  • Jangan meributkan meta-data. Jika Anda tidak dapat memberikan nilai yang berguna (mis. Untuk prioritas), tinggalkan mereka & jangan khawatir tentang itu.

Anda menggunakan Peta Situs untuk "menentukan peringkat diri", bukan? Maksud saya dalam memberi peringkat konten di satu situs. Kalau tidak mengapa prioritylapangan?
DisgruntledGoat

7
Elemen "prioritas" adalah sinyal yang cukup kecil bagi kami, yang mungkin kami gunakan jika kami sangat terbatas dengan merayapi di situs Anda (kami tidak menggunakannya untuk tujuan peringkat). Untuk sebagian besar situs, itu tidak akan menjadi masalah, jadi tidak apa-apa jika Anda dapat dengan mudah memberikan nilai-nilai yang berguna, tetapi bukan sesuatu yang kurang tidur jika Anda tidak bisa. Jika Anda tidak dapat memberikan nilai yang berguna untuk ini dan elemen meta-data lainnya, tinggalkan saja semua elemennya (jangan gunakan nilai "default").
John Mueller 8-10

Terima kasih atas jawaban yang sangat informatif ini. Saya akan berhenti memperbarui peta situs saya dan hanya menggunakan umpan RSS sebagai peta situs mulai sekarang.
Stephan Muller

1
Apakah memiliki informasi 100 level dalam merupakan "masalah kemampuan menjelajah"? Sebagai contoh, jika saya memiliki toko web, dan ada daftar panjang produk dalam kategori (katakanlah, 3000 produk). Daftar ini halaman dan memiliki 200 halaman. Secara alami, saya tidak akan menampilkan semua tautan. Lebih mirip 1 2 3 ... 22 **23** 24 ... 198 199 200. Jadi, untuk menemukan produk di halaman 100, Anda harus melalui sekitar 100 tautan. Atau gunakan bilah pencarian. Akankah googlebot merayapi itu, atau akan menyerah setelah sekitar 20 atau lebih level? Apakah peta situs akan menjadi solusi yang tepat di sini?
Vilx-

1
@ Martijn - OK, tapi bagaimana jika Anda perlu mengklik "Next" 200 kali untuk melihat semuanya? Akankah laba-laba dengan rajin mengklik, atau akan menyerah setelah sekitar 30 dan berkata "persetan dengan ini, saya tidak mengikuti rantai tautan yang panjang"?
Vilx-

Jika Anda tahu Anda memiliki arsitektur situs yang bagus dan Google akan menemukan halaman Anda secara alami, satu-satunya keuntungan yang saya tahu adalah pengindeksan yang lebih cepat, jika situs Anda diindeks cukup cepat untuk Anda maka tidak perlu.

Inilah artikel dari 2009 di mana seorang pria menguji seberapa cepat Google menjelajah situsnya dengan sitemap dan tanpa. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

Aturan praktis saya adalah jika Anda meluncurkan sesuatu yang baru dan belum diuji, Anda ingin melihat bagaimana Google merayapi situs Anda untuk memastikan tidak ada yang perlu diperbaiki jadi jangan kirim, jika Anda membuat perubahan dan ingin Google untuk melihatnya lebih cepat kemudian kirimkan atau jika Anda memiliki informasi sensitif waktu lain seperti berita, lalu kirim karena Anda ingin melakukan apa pun yang Anda bisa untuk memastikan Anda yang pertama kali melihat Google, jika tidak, itu masalah preferensi.


Bukankah umpan RSS akan mencapai hal yang sama?
Virtuosi Media

Tentu saja ada banyak hal yang dapat Anda lakukan dengan umpan RSS untuk meningkatkan pengindeksan, namun, data dalam artikel yang saya tautkan di atas akan menunjukkan bahwa peta situs lebih efektif daripada hanya umpan RSS.
Joshak

Saya curiga: untuk Google, peta situs diperlukan untuk melacak pembaruan secepat mungkin. Misalnya, katakanlah Anda telah menambahkan konten baru ke beberapa lokasi yang dalam di situs web Anda, yang membutuhkan lebih dari 10-20 klik untuk mencapai dari halaman beranda Anda. Bagi Google untuk mencapai halaman baru ini akan lebih kecil kemungkinannya dalam waktu singkat - jadi alih-alih, sampai jalur ke halaman ini benar-benar ditentukan, keberadaannya diumumkan. Lagi pula, PageRank tidak dihitung dengan segera, membutuhkan waktu untuk mengevaluasi perilaku pengguna dan semacamnya - jadi, sampai saat itu, mengapa mesin tidak boleh merayapi dan mengindeks halaman dengan konten segar?


4
Situs-situs seperti stackoverflow dirayapi begitu sering. Saya berani bertaruh itu lebih cepat daripada menggunakan sitemap.
John Conde

3
@john masih, ini adalah satu-satunya penjelasan rasional yang dapat saya pikirkan tentang apa yang sebenarnya dapat dilakukan peta situs untuk Anda. "Tidak ada salahnya" adalah pengulangan yang umum tetapi keberadaan sitemap saja berbahaya (kompleksitas tambahan, dll) jadi jika itu tidak membantu, itu masih negatif dan itu harus pergi.
Jeff Atwood

@ Jeff aku tidak setuju. Saya hanya mengatakan SO tidak cocok dengan cetakan itu.
John Conde

2
ini semacam dikonfirmasi melalui tautan yang disediakan Joshak
Jeff Atwood

@ Jeff Atwood "@John masih, ..." itulah titik yang saya coba buat. Awalnya memang menguntungkan, tetapi sekarang Anda tidak membutuhkannya. Jadi mengapa Anda tetap berusaha memilikinya?
jcolebrand

Peta Situs sangat berharga jika Anda menggunakannya dengan benar.

Pertama, fakta bahwa Google mengatakan itu hanya ada di sana untuk a) memastikan bahwa webmaster tidak berada di bawah kesan yang salah bahwa sitemap = indexation dan b) memberikan Google kemampuan untuk mengabaikan peta situs tertentu jika mereka menganggapnya tidak dapat diandalkan ( alias lastmod adalah tanggal saat ini untuk semua URL setiap hari diakses.)

Namun, Google umumnya suka dan mengonsumsi peta situs (pada kenyataannya mereka kadang-kadang akan menemukan sendiri dan menambahkannya ke Alat Webmaster Google). Mengapa? Ini meningkatkan efisiensi yang dapat mereka jelajahi.

Alih-alih memulai di situs unggulan dan merayapi web, mereka dapat mengalokasikan jumlah yang sesuai dari anggaran perayapan mereka ke situs berdasarkan sitemap yang dikirimkan. Mereka juga dapat membangun sejarah besar situs Anda dengan data kesalahan yang terkait (500, 404 dll.)

Dari Google:

"Googlebot merayapi web dengan mengikuti tautan dari satu halaman ke halaman lain, jadi jika situs Anda tidak terhubung dengan baik, mungkin sulit bagi kami untuk menemukannya."

Yang tidak mereka katakan adalah merayapi web memakan waktu dan mereka lebih suka memiliki lembar contekan (alias sitemap).

Tentu, situs Anda mungkin baik-baik saja dari perspektif perayapan, tetapi jika Anda ingin memperkenalkan konten baru, memasukkan konten itu ke dalam sitemap dengan prioritas tinggi adalah cara yang lebih cepat untuk dijelajahi dan diindeks.

Dan ini juga berfungsi untuk Google, karena mereka ingin menemukan, merangkak, dan mengindeks konten baru - cepat. Sekarang, bahkan jika Anda tidak berpikir Google lebih suka jalan yang dipukuli dibandingkan parang pada pendekatan hutan, ada alasan lain mengapa peta situs berharga - pelacakan.

Secara khusus, menggunakan indeks sitemap (http://sitemaps.org/protocol.php#index) Anda dapat memecah situs Anda menjadi beberapa bagian - sitemap oleh sitemap. Dengan demikian, Anda dapat melihat tingkat indeksasi bagian situs Anda demi bagian.

Satu bagian atau tipe konten mungkin memiliki tingkat indeksasi 87% sementara yang lain bisa memiliki tingkat indeksasi 46%. Maka tugas Anda untuk mencari tahu mengapa.

Untuk memanfaatkan sepenuhnya dari sitemaps Anda akan ingin melacak Googlebot (dan Bingbot) merangkak di situs Anda (melalui weblog), cocokkan dengan sitemaps Anda dan kemudian ikuti semua lalu lintas.

Jangan tidur di sitemaps - berinvestasi di dalamnya.


2
Saya tidak setuju, peta situs pernah memiliki tujuan dan sekarang sudah usang menurut pendapat jujur ​​saya. Jika situs Anda dapat dirayapi akan menemukan tautan itu, menggunakan RSS, Media Sosial adalah cara yang bagus untuk Google menemukan dan mengindeks halaman bahkan lebih cepat.
Simon Hayter

Dalam kata-kata Google: "Dalam kebanyakan kasus, webmaster akan mendapat manfaat dari pengajuan Peta Situs, dan dalam hal apa pun Anda tidak akan dihukum karenanya."

Tapi saya setuju bahwa hal terbaik yang dapat Anda lakukan jika Anda ingin halaman situs web Anda muncul di mesin pencari adalah untuk memastikan mereka dapat dijelajahi dari situs yang tepat.


5
masih ada biaya mental , seperti dalam anggapan "keamanan" memiliki tautan yang dijamin akan diindeks terlepas dari status perayapan situs web Anda .. yang tidak benar dalam pengalaman kami.
Jeff Atwood

Saya percaya bahwa mesin pencari menggunakan sitemap bukan untuk menemukan halaman, tetapi untuk mengoptimalkan seberapa sering mereka memeriksa pembaruan. Mereka melihat <changefreq>dan <lastmod>. Google mungkin sangat sering menjilat seluruh situs web (periksa log Anda!), Tetapi tidak semua mesin pencari memiliki sumber daya untuk melakukan itu (Adakah yang pernah mencoba Blekko ?). Bagaimanapun karena tidak ada penalti untuk menggunakannya dan mereka dapat dibuat secara otomatis dan mudah saya akan terus melakukannya.


4
Saya percaya <priority>bidang ini cukup penting, untuk memberi tahu mereka halaman mana yang paling vital. Misalnya pada Stack Overflow Anda memiliki ratusan tag dan halaman pengguna yang baik-baik saja, tetapi tidak sepenting pertanyaan itu sendiri. Jika sitemap menetapkan prioritas pertanyaan ke 1 dan yang lainnya lebih rendah, pertanyaan lebih cenderung diindeks daripada halaman lain.
DisgruntledGoat

jika Anda peduli dengan topik ini, silakan baca makalah google yang luar biasa ini http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (april 2009) - baca makalah lengkapnya, tidak hanya blogpost .

dari kertas

  • ok, pada dasarnya google kesulitan dengan pertanyaan yang sama.
  • mereka tidak mengungkapkan bagaimana mereka menentukan nilai dalam sitemap, tetapi mereka menyebutkan konsep tautan virtual dari halaman awal ke sitemap.
  • banyak hal menarik lainnya

tapi ya, sitemap sebagian besar digunakan untuk penemuan (proses google menemukan barang-barang Anda), bukan untuk penentuan nilai. jika Anda kesulitan menemukan, gunakan peta situs. Penemuan adalah prasyarat untuk merangkak, tetapi tidak menyentuh penentuan nilai.

dari pengalaman saya

  • ada sh * tload situs yang hanya menggunakan peta situs HTML dan XML untuk menghubungkan halaman mereka
  • dan dari semua ini, sitemap XML jauh lebih baik dirayapi daripada sitemap HTML. (Saya melihat beberapa yang sangat besar)
  • bahkan ada situs yang sangat sukses yang hanya menggunakan sitemap XML.

ketika saya menerapkan strategi SEO untuk situs dengan lebih dari setengah juta halaman yang saya gunakan

  • halaman pendaratan
  • sitemap.xml
  • halaman awal

yang lainnya hanya "balast" - ya, hal-hal lain mungkin memiliki nilai SEO positif, tetapi jelas memiliki nilai negatif: itu membuat situs lebih sulit untuk dikelola. (ps: untuk penentuan nilai saya menautkan halaman arahan dengan cara yang sensemaking (dampak besar), tapi itu sudah langkah kedua).

tentang pertanyaan Anda: jangan bingung penemuan, perayapan, pengindeksan, dan peringkat. Anda dapat melacak semuanya secara terpisah, dan Anda dapat mengoptimalkan semuanya secara terpisah. dan Anda dapat meningkatkan penemuan dan perayapan yang disempurnakan dengan cara utama dengan peta situs (yaitu: waktu nyata) yang hebat.


Peta Situs dapat menyimpan pantat Anda.

Di salah satu situs saya, saya memiliki sejumlah besar tautan yang mencegah mesin pencari dari spidering. Singkatnya, Google salah menafsirkan JS di forum saya dan memicu banyak kode respons 500 dan 403, yang saya yakini memengaruhi posisi situs. Saya mengatasinya dengan mengecualikan URL yang bermasalah melalui robots.txt.

Suatu hari, saya mengacau dan melakukan sesuatu yang mencegah Google merayapi beberapa halaman di situs yang benar-benar ingin saya indeks. Karena pengecualian forum, bagian kesalahan Alat Webmaster untuk "Dibatasi oleh robots.txt" memiliki lebih dari 4000 halaman di dalamnya, jadi saya tidak akan mengambil kesalahan ini sampai semuanya terlambat.

Untungnya, karena semua halaman "penting" di situs saya ada di peta situs, saya dapat dengan cepat mendeteksi masalah ini dalam kategori kesalahan khusus yang dimiliki Alat Webmaster untuk masalah dengan halaman di peta situs.

Selain itu, saya juga mendapatkan banyak manfaat dari menggunakan Indeks Peta Situs untuk menentukan kualitas pengindeksan berbagai bagian situs saya, seperti yang disebutkan oleh @AJ Kohn.


Saya sendiri tidak mengalami hal ini, tetapi sebagian besar proyek saya adalah aplikasi atau situs yang sebaliknya memerlukan akun pengguna sehingga pengindeksan oleh mesin pencari bukan fokus.

Yang mengatakan, saya pernah mendengar bahwa SEO pada dasarnya membuat peta situs tidak berguna. Jika Anda melihat protokolnya, itu semacam "sistem kehormatan" untuk mengetahui seberapa sering suatu halaman berubah dan apa prioritas relatif dari setiap halaman. Masuk akal bahwa sepeser pun selusin perusahaan SEO menyalahgunakan bidang - setiap halaman adalah prioritas utama! setiap halaman berubah setiap jam! - dan membuat peta situs menjadi tidak berguna.

Artikel dari 2008 ini pada dasarnya mengatakan bahwa dan tampaknya sampai pada kesimpulan yang sama dengan yang Anda lakukan: sitemap cukup berguna dan Anda akan lebih baik mengoptimalkan konten yang akan diindeks dan membuang sitemap.


Biarkan merangkak.

Saya melakukan hal berikut:

  1. buat situs dapat dirayapi dengan cara lama.
  2. pastikan saya memiliki robots.txt dengan indikasi sitemap di atasnya.
  3. membuat peta situs XML, tetapi jangan kirim. Biarkan perayap menemukan dan menggunakannya sesuai kebutuhan, sebagai bagian dari proses pencarian dan pengindeksan.

Saya menghasilkan file XML yang diperluas, yang berfungsi sebagai basis untuk banyak hal:

  • Membuat peta situs HTML
  • Bantu halaman 404 (tidak ditemukan)
  • Membantu dengan tugas-tugas kecil lainnya, seperti membuat remah roti, atau mendapatkan beberapa metadata pada pola Facade saya untuk satu halaman.

Oleh karena itu saya memiliki semua ini, mengapa tidak melayani juga sitemap xml dan membiarkan crawler melakukan apa yang ingin dilakukan, jika ingin melakukannya?


Jeff, saya tidak tahu tentang Stackoverflow karena saya tidak pernah memiliki kesempatan dalam hidup saya untuk menjadi seorang webmaster dari situs web yang begitu besar dan sering diperbarui.

Untuk situs web kecil yang tidak sering berubah saya pikir sitemap cukup berguna (tidak mengatakan bahwa sitemap adalah hal yang paling penting, tetapi cukup berguna ya) karena dua alasan:

  1. Situs ini dirayapi dengan cepat (alasan yang sama dijelaskan oleh Joshak jawaban di atas ) dan dalam pengalaman kecil saya, saya perhatikan ini berkali-kali dengan situs kecil (hingga 30/50 halaman)

  2. Setelah beberapa minggu saya mengirimkan sitemap, saya mencari di "Google Webmaster Tools - Sitemaps" dan saya bisa melihat jumlah URL yang dikirimkan di sitemap VS jumlah URL di indeks web . Jika saya melihat mereka sama, maka bagus. Kalau tidak, saya bisa segera memeriksa di situs web saya halaman mana yang tidak diindeks dan mengapa.


Ini (pertama?) Ditulis oleh Randfish di SEOmoz pada tahun 2007 yang lalu. Pertama kali dia sampai pada jenis kesimpulan yang sama, tetapi kemudian waktu berhasil ... dan berlalu.

Dia sejak (Jan 2009) menambahkan postscript ke artikel yang menyatakan bahwa segala kemungkinan kerugian hanya kalah dari hasil positif keseluruhan menghasilkan, memverifikasi, dan mengirimkan peta situs.

Perbarui 5 Januari 2009 - Saya benar-benar telah berubah pikiran tentang saran ini. Ya, peta situs masih dapat mengaburkan masalah arsitektur, tetapi mengingat pengalaman yang saya miliki selama 1,5 tahun terakhir, saya sekarang merekomendasikan kepada semua klien kami (dan hampir semua orang yang meminta) agar peta situs dikirimkan. Positif dalam hal perayapan, indeksasi, dan lalu lintas hanya lebih penting daripada kerugiannya.


Saya percaya SiteMaps hanya melayani dua tujuan hari ini:

  • Mereka memungkinkan Anda untuk mengurangi frekuensi spidering untuk mengurangi beban server. Ini seharusnya tidak benar-benar menjadi masalah bagi sebagian besar situs.
  • Mereka dapat membantu menegakkan kembali apa yang sudah diketahui mesin pencari tentang Anda. Daftar nama halaman, dan jelas menambahkan bobot yang sesuai untuk setiap halaman, membantu mesin pencari untuk memvalidasi metrik sendiri untuk menentukan peringkat arsitektur situs Anda.

JANGAN GUNAKAN SITEMAPS

Peta Situs terutama untuk situs-situs yang tidak mencatat waktu indeks dan node .... SE melakukan keduanya untuk konten inti, sehingga memiliki peta situs akan memperlambat perayap ... Ya, itu benar, itu akan memperlambatnya, karena sitemap tidak memiliki metadata yang dimiliki indeks inti. Di flipside, saya tidak tahu bagaimana google membuat bot itu, hanya tahu jika saya akan bot SE, saya TIDAK akan menggunakan sitemap. Plus, beberapa situs bahkan tidak menyadari bahwa sitemap mereka semua%! @ $ - dan jika Anda membuat profil di sitemap itu tiba-tiba tidak berfungsi, dan Anda harus membuat profil baru di luar situs asli.

Jadi, Anda benar - JANGAN GUNAKAN SITEMAPS!

TIP: Satu hal yang harus Anda lakukan adalah menjaga semantik tag sama dari waktu ke waktu sebanyak mungkin, artinya jika "Asked One Hour Ago" memiliki metadata yang tertanam di dalamnya seperti:

title="2010-11-02 00:07:15Z" class="relativetime"

jangan pernah mengubah nama string relativetime, kecuali arti data dalam titletelah berubah. TIDAK PERNAH... :-)


Baru-baru ini saya merestrukturisasi situs yang sedang saya kerjakan. Karena tidak ada cara yang baik untuk melihat tautan 500.000 halaman untuk membantu pengguna, saya memutuskan untuk menggunakan peta situs XML dan mengirimkannya ke Google dan menggunakan pencarian situs. Google tidak memiliki masalah dalam mengindeks situs saya sebelumnya, namun, sejak menambahkan sitemap, Google sangat agresif dalam menelusuri situs saya dan mengindeks halaman-halaman dengan sangat cepat. Google telah menggunakan sitemap untuk menemukan halaman baru (sekitar 3300 per minggu) dan mengunjungi kembali halaman yang diperbarui. Ini merupakan kemenangan nyata dalam buku saya. Saya masih ingin mencari cara baru untuk menautkan halaman saya dan menggunakan AJAX untuk mencari, tetapi itu adalah proyek untuk hari lain. Sejauh ini bagus! Ini merupakan solusi yang bagus untuk saya. Semua dan semua, saya telah memperoleh dan tidak kehilangan. Yang menarik karena saya selalu merasa bahwa peta situs sebenarnya bisa lebih bermanfaat tetapi dibatasi oleh desainnya.


Saya mendengar bahwa peta situs menempatkan halaman Anda ke dalam indeks tambahan lebih cepat. Tetapi saya bahkan belum pernah mendengar indeks tambahan yang disebutkan dalam usia, sehingga mereka mungkin tidak menggunakannya lagi.

PS dalam kasus pernyataan saya tidak cukup jelas, berada di indeks tambahan adalah (atau itu) hal yang BURUK ... oleh karena itu sitemap (atau) BAD.


Kami menggunakan peta situs (tidak dikirimkan ke mesin pencari, tetapi tertaut robots.txt) terutama untuk memastikan beranda memiliki yang tertinggi <priority>. Saya tidak yakin apakah mereka memiliki banyak kegunaan lain.


Saya tidak setuju bahwa google tidak akan mengindeks tautan sitemapped-only. Saya memiliki banyak situs yang memiliki halaman yang hanya dapat dijangkau melalui peta situs, dan google mengindeksnya tanpa masalah. Saya bisa memberikan banyak contoh tentang ini.


apakah halaman ini juga ditautkan di luar situs Anda?
Jeff Atwood

Situs yang dibangun dengan baik tidak memerlukan peta situs walaupun dapat membantu dengan cakupan dan peringkat kami dan menambahkan sedikit nilai tambahan seperti prioritas, frekuensi pembaruan, dll. Anda dapat memberi tahu mesin pencari, hei ... Saya telah memperbarui halaman ini suatu tempat di tengah situs saya tanpa perlu merangkak penuh. Saya tidak pernah melihat pola merangkak tetapi orang akan berharap itu membantu.

Setelah mengatakan bahwa nilai tambah nyata bagi saya adalah alat webmaster dan wawasan yang memberi Anda visibilitas situs web Anda dan pengguna Anda.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.