OPEN-SOURCE SEO CRAWLER + MCP สำหรับ AI AGENT

SEO Screaming Toad: SEO Crawler โอเพนซอร์สสำหรับคนไทย

ตรวจ Technical SEO, JavaScript SEO, Canonical, Hreflang, Sitemap, Structured Data และ Internal Link ด้วย Crawler ที่เก็บหลักฐานในเครื่อง พร้อม MCP 23 เครื่องมือให้ AI Agent วิเคราะห์และติดตามการแก้ SEO อย่างเป็นระบบ

เปิด Repository ภาษาไทย ดูวิธีติดตั้ง

ฟรีภายใต้ MIT License · ข้อมูลอยู่ในเครื่อง · รุ่นปัจจุบันเป็น Release Candidate · ไม่เกี่ยวข้องหรือได้รับการรับรองจาก Screaming Frog Ltd.

🐸

SEO Screaming ToadDJAI Toad · local-first

MIT

CrawlerMCPEvidence

AUD-04Canonical signalswarning

AUD-09Hreflang reciprocitywarning

AUD-13Structured dataerror

crawl_status → completedissue_explain → evidencecrawl_compare → fixed

23MCP tools สำหรับ AI Agent

13หมวดกฎ Technical SEO

Raw + Renderedแยกหลักฐาน HTML กับ JavaScript

Local-firstSQLite/WAL บนเครื่องของคุณ

SEO Screaming Toad คืออะไร?

SEO Screaming Toad หรือ DJAI Toad คือโปรแกรม SEO crawler และ website audit tool แบบโอเพนซอร์สสำหรับ Crawl เว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาต โปรแกรมค้นหาหน้าเว็บและทรัพยากรตามลิงก์ ตรวจสัญญาณ Technical SEO แล้วเก็บ URL, Page Evidence, Link Graph และ Finding ลง SQLite เพื่อให้ตรวจย้อนกลับ เปรียบเทียบ และส่งออกรายงานได้

จุดต่างสำคัญคือ MCP Server ที่ออกแบบมาโดยเฉพาะสำหรับ AI Agent แทนการให้ AI ใช้ Shell หรือ HTTP อย่างไม่จำกัด Agent สามารถสร้างโปรไฟล์ Preview Scope เริ่มหรือควบคุม Crawl อ่านปัญหา เปิดหลักฐานของหน้า เปรียบเทียบรอบ และสร้างรายงานผ่านเครื่องมือที่มีขอบเขตและตรวจสอบได้

เหมาะกับใคร

นักพัฒนาเว็บไซต์

ตรวจปัญหา Canonical, Metadata, Hreflang, Sitemap และ JavaScript ก่อน Deploy

Technical SEO

ทำ Audit ที่มี Rule ID, Evidence, Limitation และ Crawl Comparison

ทีม Content และ Growth

ค้นหา Duplicate Metadata, หน้าอยู่ลึก, Link เสีย และโอกาส Internal Link

AI Agent Builder

ต่อ Crawler เข้ากับ Codex, Claude หรือ MCP Client ที่รองรับ stdio

Agency และธุรกิจ

เก็บ Crawl Database และรายงานไว้ในเครื่อง แทนการส่งข้อมูลลูกค้าไป Hosted Service

ผู้เรียน SEO

อ่านคำอธิบายกฎและหลักฐานจริงเพื่อเข้าใจว่า Finding เกิดจากอะไร

ความสามารถหลัก

จาก Crawl ไปถึงหลักฐานที่แก้ไขได้จริง

ไม่ใช่เพียงรายการคำเตือน แต่เป็น Workflow ที่เชื่อมการค้นพบ URL, การดึงข้อมูลอย่างปลอดภัย, การแยกหลักฐาน, กฎที่มีเวอร์ชัน และการตรวจซ้ำหลังแก้ไข

Crawler ที่มี Guard

Concurrent Go crawler พร้อม robots.txt, sitemap discovery, URL normalization, deduplication, redirect validation, TLS และ per-host politeness

Raw + JavaScript audit

เก็บ Raw HTML แยกจากหลักฐานหลัง Playwright render เพื่อเห็นสิ่งที่ Server ส่งและสิ่งที่ JavaScript เปลี่ยน

Evidence-backed findings

ทุก Finding มี Rule ID, เวอร์ชัน, Severity, Subject, Evidence, Remediation และ Limitation

Canonical และ Indexability

ตรวจ Canonical ที่หาย ขัดแย้ง ไม่ถูกต้อง เป็น Chain ชี้หน้าเสียหรือ Noindex รวมถึง Meta Robots และ X-Robots-Tag

International SEO

ตรวจ Hreflang code, Target และ Reciprocity เพื่อค้นหาคลัสเตอร์ภาษาที่ไม่สมบูรณ์

Content และ Metadata

ตรวจ Title, Meta Description, H1, Exact Duplicate, Near-duplicate Signal และความยาวตามเกณฑ์ที่ตั้งไว้

Link architecture

ดู Inlink, Outlink, Crawl Depth, Broken Internal Target, Nofollow และหน้า Orphan-like จากข้อมูลที่พบ

Structured Data

ตรวจ JSON-LD syntax และโครงสร้างพื้นฐาน โดยแยกข้อจำกัดจาก Schema.org vocabulary และ Google rich-result eligibility

Recoverable campaigns

Pause, Resume, Cancel, Timeline, Durable Frontier, Checkpoint และ Recovery สำหรับงาน Crawl ที่ใช้เวลานาน

Reports และ Comparison

ส่งออก CSV, NDJSON หรือ XLSX และเปรียบเทียบหน้าที่เพิ่ม ลบ เปลี่ยน รวมถึงปัญหาใหม่หรือแก้แล้ว

Dashboard ภาษาไทย

Fork ของ DJAI มี README, Dashboard, CLI guidance, audit explanation และ MCP description ภาษาไทย

โอเพนซอร์สจริง

Source code, crawler, dashboard, CLI, Local API และ MCP ใช้งานภายใต้ MIT License

รายการตรวจ SEO ที่สำคัญ

Audit Engine ปัจจุบันมี 13 หมวดกฎที่มีเวอร์ชัน ผลตรวจคือข้อสังเกตทางเทคนิค ไม่ใช่การรับประกันอันดับหรือการ Index

หมวด	สิ่งที่ตรวจ	สิ่งที่ต้องพิจารณา
Response	หน้าเสีย Redirect และ Internal Target ที่โหลดไม่สำเร็จ	Failure อาจเกิดชั่วคราว
Metadata	Title และ Description ที่หาย สั้น ยาว หรือซ้ำ	เกณฑ์ความยาวเป็นแนวทาง ไม่ใช่ Ranking Factor
Canonical	Canonical หาย ขัดแย้ง Invalid, Chain, Failed หรือ Noindex Target	Canonical เป็น Hint
Indexability	Non-200, Noindex, Robots และ Sitemap Coverage	Search Engine มีนโยบายเพิ่มเติม
International	Hreflang code, Target และ Reciprocity	เจตนาภาษา/ภูมิภาคต้องตรวจโดยมนุษย์
Architecture	Depth, Inlink, Outlink, Nofollow และ Orphan-like Page	Utility Page อาจตั้งใจแยก
Media	รูปไม่มี Alt และ Image Target ที่เสีย	Crawler ไม่เข้าใจเจตนาของภาพ
Structured data	JSON-LD syntax และ structural consistency	ไม่รับประกัน Google Rich Result

Crawler เปลี่ยนเว็บไซต์เป็น SEO Evidence อย่างไร

กำหนด Scope

ตั้ง Seed URL, Allowed Host, Path Exclusion, URL Ceiling, Depth, Rate และ Raw/Rendered Mode

Preview ก่อน Fetch

Normalize Candidate URL และตรวจว่ารวมอยู่ใน Profile หรือไม่

Crawl อย่างสุภาพ

บังคับ Robots, DNS/IP Guard, TLS, Redirect, Size Limit และ Per-host Delay

Extract และ Audit

แยก Metadata, Link, Image, Hreflang, Structured Data และสร้าง Finding ที่มีหลักฐาน

แก้และ Crawl ซ้ำ

เปรียบเทียบ Added, Removed, Changed, New Issue และ Fixed Issue ระหว่างรอบ

วิธีติดตั้งและเริ่มใช้ SEO crawler

รุ่นปัจจุบันเป็น Release Candidate และยังไม่มี Signed Stable Release วิธีที่โปร่งใสที่สุดคือ Clone Repository ตรวจ Source และ Build บนเครื่องของคุณ

ต้องมี Go ตาม .go-version; Node.js และ pnpm ใช้เมื่อต้อง Build Dashboard หรือ JavaScript Renderer

เปิด http://127.0.0.1:7331
สร้าง Project สำหรับเว็บไซต์หรือลูกค้า
สร้าง Profile และตั้ง URL Ceiling แบบอนุรักษ์นิยม
Preview Scope และตรวจ Path หรือ Subdomain ที่จะถูก Crawl
เริ่ม Audit แล้วติดตาม Discovered, Queued, Fetched, Analysed และ Failed
เปิด Audit Summary, Issue Explanation และ Page Evidence ก่อนแก้เว็บไซต์
Crawl ซ้ำด้วย Configuration ที่เทียบกันได้เพื่อยืนยันผล

terminal

git clone https://github.com/DJAI-Academy/-Screaming-Frog-Screaming-Toad-SEO-100M-URL.git
cd -- -Screaming-Frog-Screaming-Toad-SEO-100M-URL
make bootstrap
go run ./cmd/seo-auditor

เปิด Repository ภาษาไทย

MCP สำหรับ AI SEO

ให้ AI Agent ใช้ SEO crawler โดยไม่มอบ Shell ทั้งเครื่อง

MCP Server สื่อสารผ่าน stdio และเรียก Authenticated Loopback API ของ SEO Screaming Toad จึงให้ Agent ทำงาน SEO ได้จริง แต่ไม่เปิด Generic Shell, Arbitrary SQL, Filesystem, Browser หรือ HTTP Fetch ที่ไม่จำกัด

1AI Agent / MCP Client

2seo-auditor-mcp (stdio)

3Authenticated Local API

4Guarded Crawler + SQLite Evidence

ตัวอย่าง MCP configuration

{
  "mcpServers": {
    "seo-screaming-toad": {
      "command": "/absolute/path/to/seo-auditor-mcp",
      "env": {
        "SEO_AUDITOR_BIND_HOST": "127.0.0.1",
        "SEO_AUDITOR_BIND_PORT": "7331"
      }
    }
  }
}

Project และ Profile

project_createproject_listprofile_createprofile_listcrawl_preview_scope

Crawl lifecycle

crawl_startcrawl_statuscrawl_pausecrawl_resumecrawl_cancelcrawl_listcrawl_timeline

Audit evidence

audit_summaryissue_listissue_explainpage_listpage_getlink_listcrawl_compare

Report และ Diagnostic

report_exportdiagnostic_createartifact_get

Workflow ที่แนะนำสำหรับ AI Agent

เรียก health_get เพื่อยืนยันว่า MCP และ Local API พร้อม
อ่าน project_list และ profile_list ก่อนสร้างข้อมูลใหม่
ใช้ crawl_preview_scope แล้วรายงาน URL Ceiling, Exclusion และขอบเขตสำคัญ
เริ่ม crawl_start ด้วย Idempotency Key เมื่อผู้ใช้อนุญาต
Poll crawl_status ทุก 2–5 วินาทีจนถึง Terminal State
อ่าน audit_summary แล้ว Paginate issue_list และ page_list
เปิด issue_explain และ page_get ก่อนแนะนำการแก้
สร้าง report_export เฉพาะเมื่อผู้ใช้ร้องขอ

AI Search Optimization, AEO, GEO และความพร้อมสำหรับ AI Search

AI Search Optimization คือการทำให้เนื้อหาและ Entity ของเว็บไซต์ Crawl ได้ เข้าใจง่าย ตรวจสอบแหล่งที่มาได้ และตอบคำถามผู้ใช้ได้ชัดเจน ชุมชนอาจใช้คำว่า AEO หรือ GEO ด้วย ส่วนคำว่า ASO โดยทั่วไปหมายถึง App Store Optimization แต่บางคนใช้ ASO ในความหมาย AI Search Optimization เช่นกัน

SEO Screaming Toad ไม่สามารถรับประกันว่า AI Search จะอ้างอิงเว็บไซต์ของคุณ แต่ช่วยตรวจฐานทางเทคนิคที่ทั้ง Search Crawler และระบบ Retrieval ต้องพึ่งพา เช่น Status, Canonical, Indexability, Hreflang, Internal Link, Structured Data, Raw/Rendered Content และความซ้ำของหน้า

Crawlability

หน้าและลิงก์สำคัญค้นพบได้โดยไม่พึ่ง Interaction ที่ซ่อนอยู่

Entity clarity

Title, H1, Canonical, Language และ Structured Data สอดคล้องกับเนื้อหาที่เห็น

Retrievable answers

คำตอบ นิยาม ขั้นตอน ข้อจำกัด และหลักฐานอยู่ใน HTML ที่อ่านได้

Multilingual consistency

Thai/English URL มี Self-canonical และ Reciprocal Hreflang

Source confidence

ผู้เขียน องค์กร Repository License และข้อจำกัดระบุชัด

Rendered parity

ตรวจว่าข้อมูลสำคัญไม่หายหรือเปลี่ยนผิดหลัง JavaScript ทำงาน

เป็น Screaming Frog alternative ได้หรือไม่?

SEO Screaming Toad เป็นโปรเจกต์อิสระและใช้คำว่า Screaming Frog เพื่อการเปรียบเทียบเชิงอธิบายเท่านั้น ไม่อ้าง Feature Parity และไม่เกี่ยวข้องกับ Screaming Frog Ltd. จุดเด่นคือ Open Source, Local-first, Evidence Model และ MCP ที่ออกแบบสำหรับ AI Agent หาก Workflow ของคุณพึ่ง Integration หรือฟีเจอร์เฉพาะของ Commercial Crawler ให้ทดสอบทั้งสองเครื่องมือบนเว็บไซต์ตัวอย่างที่ได้รับอนุญาตแล้วเปรียบเทียบ Coverage, False Positive, Rendered Output, Export และต้นทุนการปฏิบัติงาน

หัวข้อ	SEO Screaming Toad	สิ่งที่ควรประเมิน
License	MIT Open Source	ทีมสามารถตรวจ Source และปรับแต่งได้
Data	Local SQLite/WAL	กำหนด Retention และ Backup เอง
AI automation	MCP 23 เครื่องมือ	ต้องเปิด Local Supervisor ก่อน
JavaScript	Optional isolated renderer	ตรวจ Raw และ Rendered แยกกัน
Maturity	Release Candidate	ทดสอบบน Environment และ Workflow จริงก่อนย้ายงาน

EVIDENCE BEFORE CLAIMS

100M URL: สถาปัตยกรรมเชิงทฤษฎี ไม่ใช่คำรับรอง

โปรเจกต์ผ่าน Synthetic Production-path Campaign 1 ล้านและ 5 ล้าน URL โดยรอบ 5 ล้านเก็บ Page 5,000,000, Link 4,999,999 และ Finding 15,884,167 รายการใน SQLite ประมาณ 11.1 GB แต่การทดสอบนี้ไม่ใช้ Live Network จึงไม่พิสูจน์ DNS, TLS, Robots, Redirect, Bandwidth, Host Scheduling หรือ JavaScript Rendering ที่ขนาดดังกล่าว สถาปัตยกรรม 100M+ เป็นทิศทางวิจัยแบบ Segmented Campaign เท่านั้น

100Kregression gate1Msynthetic evidence5Mone synthetic run100M+theoretical only

ความปลอดภัย ความเป็นส่วนตัว และการใช้อย่างรับผิดชอบ

Crawl เฉพาะเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาต
เริ่มจาก URL Ceiling และ Concurrency ต่ำ แล้วเพิ่มตามความสามารถของ Server
อย่าปิด TLS, Robots, DNS/IP Guard หรือ Redirect Validation เพื่อให้ Crawl ผ่าน
Database และ Report อาจมี URL หรือข้อมูลลูกค้า ต้องกำหนดสิทธิ์และ Retention
MCP ไม่รับ Credential, Arbitrary Header หรือ Private Target ในรุ่นปัจจุบัน
Finding คือหลักฐานให้มนุษย์ตัดสินใจ ไม่ใช่คำสั่งแก้ SEO อัตโนมัติทุกข้อ

คำถามที่พบบ่อยเกี่ยวกับ SEO crawler และ MCP

SEO Screaming Toad ฟรีหรือไม่?

ฟรีและโอเพนซอร์สภายใต้ MIT License คุณสามารถตรวจ Source, Build และใช้งานในเครื่องได้

ใช้แทน Screaming Frog ได้ทุกงานหรือไม่?

ยังไม่ควรอ้างเช่นนั้น รุ่นปัจจุบันเป็น Release Candidate และไม่อ้าง Feature Parity ควรทดสอบกับ Workflow และเว็บไซต์ตัวอย่างของคุณ

MCP ช่วยงาน SEO อย่างไร?

MCP ให้ AI Agent เริ่มและติดตาม Crawl อ่าน Finding เปิด Page Evidence เปรียบเทียบรอบ และสร้างรายงานผ่านเครื่องมือที่มีขอบเขต

Crawler ช่วย AI Search Optimization ได้อย่างไร?

ช่วยตรวจ Crawlability, Canonical, Language, Structured Data, Internal Link และ Raw/Rendered Content ซึ่งเป็นฐานสำหรับ Search และ Retrieval แต่ไม่รับประกันการถูกอ้างอิง

ข้อมูลเว็บไซต์ถูกส่งไป Cloud หรือไม่?

Crawler และ SQLite ทำงานในเครื่องโดยค่าเริ่มต้น แต่ผู้ใช้ต้องตรวจ Environment, Renderer และ Workflow การ Export ของตนเอง

รองรับการ Crawl 100 ล้าน URL แล้วหรือยัง?

ยัง 100M+ เป็นเป้าหมายเชิงสถาปัตยกรรมที่ไม่ผ่าน Live-network Benchmark หลักฐานปัจจุบันคือ Synthetic Campaign สูงสุด 5 ล้าน URL หนึ่งรอบ

ต้องใช้ JavaScript Renderer ทุกครั้งหรือไม่?

ไม่ Raw Mode เร็วกว่าและควรเป็น Baseline ใช้ Rendered Mode เมื่อเว็บไซต์พึ่ง JavaScript และต้องการเปรียบเทียบสิ่งที่เปลี่ยนหลัง Render

เริ่ม Audit อย่างปลอดภัยควรทำอย่างไร?

ยืนยันสิทธิ์ ตั้ง Scope และ Budget แบบอนุรักษ์นิยม Preview URL ก่อนเริ่ม แล้วตรวจ Terminal Reason และ Evidence ก่อนแก้เว็บไซต์

SEO SCREAMING TOAD

เริ่มใช้ Open SEO Tool ที่ AI Agent เข้าใจได้

เปิด Repository ภาษาไทย อ่านข้อจำกัด ตรวจ Source และเริ่มจาก Crawl ขนาดเล็กบนเว็บไซต์ที่คุณได้รับอนุญาต จากนั้นใช้ Evidence และ Crawl Comparison เพื่อแก้ Technical SEO อย่างตรวจสอบได้

เปิด Source Code ภาษาไทย ดูเครื่องมือฟรีทั้งหมด

รวมเครื่องมือทั้งหมด