Perusahaan SEO Audit - Go Beyond The Desktop Crawl

A+ A-

Teknologi digital - dan cara konsumen menggunakan itu - berkembang pada kecepatan yang tidak pernah terlihat sebelumnya, dan platform dan alat-alat yang digunakan oleh pemasar digital berusaha untuk menjaga dengan itu semua. shutterstock_174598667-halaman Web

Kita semua tahu konten masih raja. Dalam rangka untuk memenangkan pertempuran untuk perhatian konsumen, atau peringkat Google, Anda perlu menyediakan konten berkualitas dan banyak itu. (Lihat artikel saya, 3 Tips Untuk Beat The Volume permainan, untuk diskusi yang mendalam pada pertumbuhan konten internet besar.)

Untuk memenuhi permintaan tak terpuaskan ini, sistem manajemen konten dan platform harus berevolusi dan memungkinkan untuk penciptaan dan penyebaran konten lincah dan dinamis. Ketika Anda mengambil rekomendasi SEO dan menyaring bawah, satu pesan muncul: “Membangun lebih banyak halaman.

Hal ini membawa saya ke akar artikel ini - melakukan audit SEO di dunia tingkat perusahaan mana jumlah halaman situs telah menjadi tak terbatas.

Perusahaan Tingkat SEO Audit

Sederhananya, website semakin semakin besar dan pemasar pencarian harus bekerja dengan halaman yang dihasilkan secara dinamis, master-detail set, direktori online, halaman e-commerce, ulasan produk, shopping cart, halaman perbandingan dinamis, seluler konten, tag dan membaca link -lebih, membuat rata-rata jumlah halaman meroket.

Seiring datang pemasar pencarian yang digunakan harus mengoptimalkan 50 halaman dan berpikir bahwa itu menantang; sekarang kita melihat ribuan halaman, yang menciptakan tantangan teknologi dan sumber daya yang besar saat melakukan audit teknis.

Desktop Crawls

alat kami merangkak pilihan untuk audit teknis Menjerit Frog. Ini adalah program yang luar biasa yang akan melakukan salah Audit SEO teknis dalam sekejap mata dengan tingkat yang luar biasa detail dan fleksibilitas. Namun, seperti alat audit desktop memiliki empat keterbatasan utama disebabkan oleh fakta sederhana bahwa itu adalah sebuah aplikasi desktop.

  1. Keterbatasan memori: crawler Desktop dibatasi oleh jumlah memori pada mesin pengguna. Ketika Anda menjalankan audit di situs besar dengan 10k + halaman, crawler meninggal sangat cepat karena batas memori.
  2. Timing: Sebuah crawler desktop yang hanya bisa dijalankan ketika komputer dinyalakan. Yang mencegah Anda dari berjalan merangkak otomatis atau pemantauan proaktif untuk masalah.
  3. Arsitektur: crawler Desktop yang cukup datar, aplikasi penyimpanan file yang tidak menggunakan database cerdas. Itu berarti Anda tidak dapat membuat aturan di sekitar mereka (contoh: Jika # kesalahan> 500 = Kirim email).
  4. Kolaborasi: Semua hasil duduk di drive lokal, terletak dan tersedia pada mesin tunggal; tidak ada cara untuk berkolaborasi, berbagi dan co-bekerja pada audit.

Catatan: ini tidak dimaksudkan untuk menjadi perbandingan antara DeepCrawl (dijelaskan di bawah) dan Screaming Frog; mereka berdua memiliki kekuatan unik mereka sendiri dan aplikasi, dan kami memanfaatkan keduanya berat.

Server Berbasis Crawls

Kami berangkat untuk mengevaluasi sejumlah solusi yang berbeda yang akan memungkinkan kita untuk melakukan audit teknis pada skala yang lebih besar. Kami dikecualikan salah satu “Suite” penyedia, seperti kita memiliki kebutuhan yang sangat spesifik dan ingin pasangan yang berfokus murni pada audit, bukan alat peringkat yang juga melakukan XYZ.

Kami datang di DeepCrawl. DeepCrawl adalah solusi berbasis server, sehingga menghapus semua keterbatasan Anda mengalami dengan alat audit desktop yang - dapat berjalan setiap saat, dan ukuran memori komputer Anda tidak peduli.

Selain itu, DeepCrawl adalah satu-satunya alat yang juga disediakan API fitur lengkap dalam aplikasi; ini memungkinkan kita untuk mengelola situs, memulai merangkak dan menerima hasil dengan cara yang terukur dan otomatis.

Memulai Dengan DeepCrawl

Hari ini, saya ingin berbagi dengan Anda bagaimana kami menggunakan alat ini dan bagaimana Anda bisa memulai dengan itu agak cepat.

Setelah Anda membuat account dan mendapatkan dasar-dasar diatur, Anda dapat membuat merangkak pertama Anda. Salah satu fitur yang menarik dari DeepCrawl adalah kemampuan untuk memberi makan masukan dari lebih dari satu sumber. Kebanyakan crawler membiarkan Anda memilih metode tunggal (sitemap, merangkak, daftar, dll) tapi di DeepCrawl, Anda dapat melakukan “merangkak universal”; ini akan mengumpulkan informasi secara bersamaan dari sumber seperti:

  1. sitemap.xml Anda
  2. Sebuah daftar kustom URL
  3. Manual merangkak (yang akan melakukan)
  4. Google Analytics

Aku benar-benar seperti pendekatan ini, karena memastikan kita juga merangkak dan pemantauan PPC halaman arahan, halaman kampanye dan konten lain yang tidak terkait secara terbuka.

Deepcrawl-proyek-pengaturan

Opsi konfigurasi di DeepCrawl sangat fleksibel. Ada ton dari mereka, jadi pastikan Anda hanya merangkak apa yang Anda inginkan. Anda dapat menentukan hal-hal seperti:

  1. kedalaman Crawl
  2. batas halaman
  3. aturan Regular Expression
  4. URL pengambilan sampel
  5. pengecualian variabel
  6. Geo berbasis merangkak (mobile, AS, dll lokal)
  7. Server pementasan (URL khusus yang memerlukan otorisasi)
  8. Menggunakan penulisan ulang URL kustom
  9. Dan banyak lagi

Sebagai DeepCrawl adalah SaaS (Software as a Service) model, Anda membayar per URL merangkak, jadi penting untuk berhati-hati saat membuat konfigurasi Anda sehingga Anda hanya membayar untuk URL yang Anda ingin mengaudit.

Tergantung pada ukuran situs dan pilihan, merangkak sebenarnya dapat berlangsung cukup lama untuk melakukan. Kami sedang menggunakan DeepCrawl di situs dengan 500k + halaman, dan dapat mengambil beberapa hari. Setelah merangkak selesai, Anda akan disajikan dengan laporan yang sangat lengkap, seperti yang ditunjukkan di bawah ini.

Deepcrawl-laporan-contoh

Sementara DeepCrawl adalah semua tujuan crawler dan pemeriksaan alat yang hebat, fakta bahwa itu adalah database-driven dan sangat fleksibel memungkinkan untuk beberapa cukup kreatif “hacks.” Berikut adalah beberapa favorit saya menggunakan untuk itu.

1. Proaktif Perubahan Pemantauan

Sebuah fitur yang besar dari DeepCrawl dan alat audit yang berbasis server lainnya adalah kemampuan untuk menjadwalkan merangkak pada interval set (harian, mingguan, bulanan, dll). Tidak peduli jika Anda berada di sosial, SEO atau SEM, kita semua tahu bahwa halaman istirahat atau bisa dihapus, dan kami adalah orang-orang terakhir yang tahu. Anda dapat mengkonfigurasi DeepCrawl untuk memberitahu Anda tentang perubahan; dengan cara itu Anda tahu kapan halaman adalah ke bawah dan dapat mengambil tindakan.

Deepcrawl-proaktif-perubahan-monitoring

2. Pemantauan Kompetitif

Apa yang pesaing kita lakukan? Apakah mereka mengembangkan konten baru? Itu pertanyaan yang kita tidak bisa selalu menjawab tanpa banyak penelitian manual. Ini adalah kasus penggunaan yang sempurna untuk laporan perbandingan DeepCrawl ini.

Mengatur laporan mingguan untuk memantau pesaing Anda; Anda akan mendapatkan email ketika mereka menambahkan halaman baru, dan Anda akan selalu tahu apa yang mereka lakukan dan mendapatkan pemahaman yang lebih baik dari strategi digital mereka.

Pelacakan 3. Pelaksanaan

mimpi Seorang manajer proyek menjadi kenyataan. Dalam DeepCrawl, Anda dapat membuat tiket untuk perubahan yang perlu dibuat (contoh: memperbaiki link yang rusak, hilang kanonik, dll); kemudian, setiap kali DeepCrawl menjalankan audit, cek dan memberitahu Anda jika mereka telah dilaksanakan atau tidak.

Sebagai bonus tambahan, ia mempertahankan sejarah, jadi jika perubahan mendapatkan dilakukan tetapi ditimpa selama deployment server berikutnya, Anda akan tahu itu juga.

Deepcrawl-implementasi-tracker

4. Ekstraksi Konten

Fitur canggih ini memungkinkan Anda untuk menganalisis kode HTML baku dari halaman dipindai dan memeriksa nilai-nilai tertentu. Hal ini akan menambah kedalaman ekstra untuk data Anda.

Sebagai contoh, Anda bisa mengumpulkan sinyal sosial untuk setiap halaman untuk memprioritaskan optimasi. Anda dapat mempelajari lebih lanjut tentang proses ini di sini.

Deepcrawl-konten-ekstraksi

Saya harap ini memberikan Anda ide yang baik pada kemampuan dan fitur dari alat audit server-side. Sejujurnya, dalam pekerjaan saya, saya tidak bisa hidup tanpanya lagi. Saya pikir itu adalah di mana benar-benar inovasi terletak - bagaimana memanfaatkan alat dan teknologi yang sudah ada untuk membuat dampak yang lebih baik dan mendorong hasil yang lebih kuat.

Jika Anda menggunakan alat seperti ini, saya ingin mendengar tentang beberapa kasus penggunaan kreatif lainnya Anda telah menemukan untuk itu.

Gambar saham digunakan dengan izin dari Shutterstock.com


Pendapat yang dikemukakan dalam artikel ini adalah dari penulis tamu dan belum tentu Search Engine Land. Penulis staf tercantum di sini.


Ads

Bagikan