Crawlie: Sebuah Server MCP untuk SEO Teknis dan Crawling GEO
Crawlie, yang dikembangkan oleh Spronta, adalah server Model Context Protocol (MCP) yang dirancang khusus untuk SEO teknis dan crawling GEO. Dibangun dengan Rust untuk mesin inti, CLI, dan komponen server MCP, Crawlie terhubung ke agen Large Language Model (LLM), memungkinkan tugas SEO otomatis. Ini menawarkan kemampuan untuk audit situs, identifikasi masalah, dan pelacakan kinerja. Program ini didistribusikan melalui npm untuk server dan CLI-nya, dengan .dmg yang ditandatangani tersedia untuk pengguna desktop macOS. Crawlie mendukung alur kerja yang didorong oleh manusia dan agen, menjadikannya alat yang serbaguna untuk optimasi digital.
Apa yang dihubungkan oleh Crawlie?
Crawlie berfungsi sebagai server Model Context Protocol (MCP) yang terhubung langsung ke agen Large Language Model (LLM). Koneksi ini menempatkannya sebagai komponen kunci untuk tugas SEO dan GEO otomatis. Server MCP lokalnya menggunakan JSON-RPC melalui stdio untuk komunikasi, sementara Crawlie Cloud MCP yang dihosting menggunakan Streamable HTTP. Ini kompatibel dengan klien yang kompatibel dengan MCP, secara khusus menyebutkan Cursor, Cline, dan agen kustom, memungkinkan integrasi yang beragam ke dalam alur kerja AI yang ada.
Fitur dan alat inti
Crawlie mengekspos serangkaian alat yang dapat dipanggil yang mencerminkan alat dari Crawlie Cloud MCP yang dihosting. Ini termasuk crawl_site untuk analisis situs secara penuh, audit_url untuk pemeriksaan halaman tertentu, dan top_fixes untuk prioritas masalah. Untuk wawasan geografis, ia menawarkan geo_gaps. affected_urls mengidentifikasi halaman yang terpengaruh oleh masalah, sementara diff_reports melacak perubahan antara crawl. Untuk mengelola tugas yang sedang berlangsung, crawl_status memeriksa crawl yang panjang, dan get_report bersama dengan list_reports mengakses laporan cloud yang disimpan.
Siapa yang cocok untuknya?
Crawlie dirancang untuk pengguna manusia dan agen LLM, menjadikannya cocok untuk tugas SEO otomatis dan analisis mendetail. Kemampuannya menguntungkan mereka yang perlu melakukan audit situs, mengidentifikasi masalah teknis SEO seperti tautan yang rusak atau metadata yang hilang, dan melacak perubahan dari waktu ke waktu. Program ini sangat berguna untuk mengintegrasikan alur kerja SEO dengan agen AI. Ini bukan pilihan yang tepat jika kebutuhan utama Anda adalah sistem manajemen konten non-teknis tanpa persyaratan analisis SEO atau GEO.
Cara memulai
Untuk Crawlie Cloud MCP yang dihosting, akses diberikan melalui kunci API Crawlie, yang dibuat di pengaturan dasbor. Server MCP Crawlie lokal mendukung JSON-RPC melalui stdio sebagai protokol transportasinya.
Kasus penggunaan
- Memungkinkan agen LLM untuk menjalankan audit penuh dan bertindak atasnya tanpa intervensi manusia.
- Merayapi seluruh situs untuk mengidentifikasi tautan yang rusak, pengalihan, metadata yang hilang, dan melakukan lebih dari 40 pemeriksaan SEO dan Generative-Engine.
- Melakukan perbandingan crawl-over-crawl untuk menyoroti perubahan antara dua crawl, seperti delta skor kesehatan dan GEO, penambahan/penghapusan halaman, dan masalah yang baru muncul atau teratasi.
Crawlie menawarkan solusi khusus untuk SEO teknis dan GEO crawling, secara unik terintegrasi dengan agen LLM melalui server MCP-nya. Arsitektur berbasis Rust-nya memastikan kinerja, sementara alatnya mendukung audit situs yang mendetail dan pelacakan perubahan. Program ini cocok untuk mengotomatiskan tugas SEO yang kompleks dan memberikan wawasan mendetail untuk properti digital. Cobalah ini dengan meminta agen LLM menggunakan alat crawl_site untuk melakukan audit penuh.
