Web Crawler MCP Server (SEO Crawler) by Insightful Pipe
Comprehensive SEO auditing and web crawling through AI with MCP.
Power your agent
URL ของผู้เผยแพร่เอง ไม่ใช่เอนด์พอยต์ของ PlugMCP
Host a copy with our keys and logs.
https://crawler.insightfulmcp.com/ปุ่ม Claude ด้านบนจะเปิด Claude พร้อมกรอกชื่อและ URL ให้แล้ว คุณยังต้องยืนยันที่นั่นเอง
claude mcp add --transport http com.insightfulpipe-crawler https://crawler.insightfulmcp.com/Run in a terminal.
{ "mcpServers": { "com.insightfulpipe-crawler": { "command": "npx", "args": [ "-y", "mcp-remote", "https://crawler.insightfulmcp.com/" ] } }}claude_desktop_config.json
URL แบบรีโมตหรือคำสั่งบนเครื่องของคุณ? การติดตั้งสองแบบต่างกันอย่างไร
รันบน PlugMCP
A new server you create. It is not this listing's official endpoint. Use the publisher install when you want their URL and their credentials.
เปิดPart of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

https://crawler.insightfulmcp.com/
Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:
https://crawler.insightfulmcp.com/Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.
https://crawler.insightfulmcp.com/See OpenAI's guide: Developer mode and MCP apps in ChatGPT
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):
{
"mcpServers": {
"crawler": {
"url": "https://crawler.insightfulmcp.com/"
}
}
}
When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.
33 actions: 33 read, 0 write.
You decide what AI agents can do with each connected account:
"Run a comprehensive SEO audit on https://example.com"
"Check the robots.txt and indexability of https://example.com"
"Map all the internal links on this page"
"Generate an XML sitemap for https://example.com"
"Extract the brand colors, fonts, and logos from https://company.com"
"Check the SSL certificate and security headers for this site"
The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.
Visit insightfulpipe.com/mcp-servers to discover our full collection of MCP servers for marketing and analytics.
Insightful Pipe — AI-powered marketing analytics through MCP servers. Explore all integrations →
MIT License - see LICENSE for details.
Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.
{ "mcpServers": { "com.insightfulpipe-crawler": { "url": "https://crawler.insightfulmcp.com/", "headers": {} } }}เครื่องมือ
ยังไม่มีรายการเครื่องมือ เซิร์ฟเวอร์แบบรีโมตจะได้รายการหลังการตรวจสอบสถานะครั้งแรก
FAQ
คัดลอกคอนฟิก http สำหรับ Cursor, Claude Desktop, Claude Code หรือ VS Code ได้ในหน้านี้ คอนฟิกนี้ใช้การติดตั้งของผู้เผยแพร่ ไม่ใช่พร็อกซีของ PlugMCP
ระเบียนนี้ไม่ได้ระบุตัวแปรสภาพแวดล้อมที่จำเป็น
Web Crawler MCP By InsightfulPipe เข้าถึงได้ผ่าน HTTP
ตรวจสอบล่าสุดเมื่อ 2026-11-08 Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.