Files
web_huangguo2_h5/outputs/seo-audit-20260908/indexation-analysis-20260908.md
T
谢宇宁andClaude Opus 5.5 0fbdba5ccf Initial commit
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-29 11:47:47 +07:00

15 KiB
Raw Blame History

黄果短剧全页面索引策略分析

输入信息与假设

  • 分析范围:当前本地 Go 项目的全部页面路由、模板 meta robots、公共渲染层、robots.txt 和 sitemap 路由。
  • 未提供线上域名,无法验证生产环境最终 HTML、HTTP 状态、真实 canonical 和 sitemap 内容;以下结论以代码为准。
  • “需要索引”表示页面有独立搜索意图、稳定公开内容和唯一 canonical,建议输出 index,follow 并进入 sitemap。
  • “不需要索引”表示登录/用户私有页、站内搜索、操作页、接口、重复 URL、错误页或低价值工具页,建议输出 noindex 或返回正确的 3xx/4xx。
  • 分页页只要内容真实存在、URL 唯一并使用自引用 canonical,建议保持可索引。Google 官方也明确建议分页 URL 各自使用 canonical,而不是全部 canonical 到第一页。

总体判断

当前索引方向属于 Mixed(基本方向正确,但存在明显一致性问题):

  • 公开内容页基本为 index,follow。
  • 搜索、账户、反馈、404 基本为 noindex。
  • 但全站模板普遍输出两条 meta robots;登录/注册页更同时输出 noindex,follow 和 index,follow。
  • robots.txt 又禁止抓取登录、搜索和账户页面,搜索引擎可能无法读取页面里的 noindex。Google 官方说明:被 robots.txt 阻止的页面,爬虫看不到 noindex,URL 仍可能只凭外链被索引。
  • 空标签、空分类、无效专题、应用空列表和上游接口失败时,多个页面仍会返回 200 + index,follow,存在 soft 404 和索引膨胀风险。

一、明确需要索引的页面

以下页面有明确、稳定的搜索价值,建议 index,follow,只把 canonical URL 放入 sitemap。

页面类型 路由 建议 当前代码 条件与说明
首页 / 索引 index,follow 核心入口,必须索引
短剧主列表 /list/ai-short-play/ 及合法筛选页 索引 index,follow 合法的有限筛选页可索引;任意 slug 会被 canonical 重定向
AI 成人剧集 /series/、合法筛选及分页 索引 index,follow 内容真实存在时索引
标签聚合页 /tag/ 索引 index,follow 应展示标签导航或有价值的聚合内容
有效标签详情 /tag/:slug/ 及有效分页 索引 index,follow 标签存在、列表非空、TDK/正文可区分时索引
排行榜 /rank/、合法榜单类型及分页 索引 index,follow 有独立榜单意图;分页使用自引用 canonical
今日更新 /today-update/ 及有效分页 索引 index,follow 有稳定的“今日更新/最新短剧”搜索意图
有效分类详情 /category/:slug/ 及有效分页 索引 index,follow 分类必须真实存在且有内容
专题总览 /topic/ 及有效分页 索引 index,follow 作为专题导航入口
有效专题详情 /topic/:slug/ 及有效分页 索引 index,follow 专题必须存在,具有独立介绍与内容集合
下载 APP /download-app/ 索引 index,follow 官方下载意图明确;仅保留一个官方 canonical URL
福利应用 /application/ 索引 index,follow 当前有分类介绍和应用说明;空列表时不应索引
短剧详情 /detail/:slug/ 索引 index,follow 最重要的内容承接页;不存在时已经返回 404
关于我们 /about-us/ 索引 index,follow 品牌实体与可信度页面
帮助中心 /help-center/ 索引 index,follow FAQ/帮助内容真实且公开时有搜索价值

路由证据见 app/router/gin.go:127-255;公开页面模板 robots 见 app/templates/page/*.html。

二、需要条件判断后再索引的页面

这些页面不应无条件 index,follow,需要 handler 根据内容状态设置 noindex、404、410 或 503。

页面类型 路由 推荐规则 当前风险
播放/章节页 /play/:slug/、/play/:slug/:chapterId/ 章节真实存在、页面有唯一标题、可播放视频和足够正文时索引;无效章节返回 404;只有付费壳、无视频或与详情页高度重复时 noindex,follow 当前只验证短剧存在,章节请求失败时仍可能用短剧数据渲染 200 + index,follow;所有章节描述还复用短剧简介
回家的路 /home-road/ 若它是唯一官方最新地址发布页且内容长期维护,可索引;多个镜像域名只索引一个 canonical,其余 canonical/noindex 多域名/导航站场景容易形成重复或 doorway 页面
官方导航 /nav/;导航独立服务的 /、/nav/、/dh/ 只索引一个官方导航 URL;内容站副本和独立导航站副本之间必须明确 canonical,其余 noindex 或 301 当前各入口都可能输出 index,follow,代码未体现跨域唯一索引版本
通用富文本 /richtext/:title/ 仅白名单中的公开、唯一、完整内容索引;协议、内部说明、重复帮助内容等 noindex 或 301 到固定语义路由 当前 IsIndexablePath 将全部 /richtext/* 视为可索引,容易暴露任意 CMS 内容和重复页
用户协议 /user-agreement/ 一般不需要搜索流量,建议 noindex,follow;若业务要求公开检索也可保留索引 当前 index,follow
隐私政策 /privacy-policy/ 一般建议 noindex,follow,保留用户访问但不占索引配额 当前 index,follow
标签/分类/专题第 1 页 /tag/:slug/、/category/:slug/、/topic/:slug/ 不存在必须 404;存在但内容过少可 noindex,follow;达到内容阈值再 index 当前只对“分页越界”处理 404,第 1 页空结果仍可能 200 可索引
所有公开列表空状态 list/series/rank/today-update/topic/application 合法但暂时为空可 noindex;上游故障应优先返回 503,不能把接口异常伪装成长期 200 空页面 多个 Fetch...OrEmpty 吞掉上游错误并继续输出可索引页面

三、明确不需要索引的 HTML 页面

页面类型 路由 建议 当前代码
登录 /login/、/login/return/* noindex,follow,不进 sitemap handler 设置 noindex=true,但 index.html 又固定输出 index,follow;且 robots.txt 禁止抓取
注册 /register/ noindex,follow,不进 sitemap 同登录页,存在冲突 robots 标签
个人中心 /user-center/ noindex,nofollow,不进 sitemap 已输出 noindex,nofollow,但 robots.txt 同时禁止抓取
充值 /deposit/、/deposit/:tab/ noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
收藏 /collect/... noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
观看历史 /history/... noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
账号设置 /setting/ noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
编辑资料 /edit-profile/ noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
修改密码 /edit-password/ noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
站内搜索 /search/、/search/:keyword/... noindex,follow 模板已 noindex,但 robots.txt 禁止抓取,爬虫可能看不到 noindex
问题反馈 /feedback/ noindex,nofollow 已 noindex;robots.txt 同时禁止抓取
404/无效页面 未匹配路由、无效详情/分页 正确返回 HTTP 404/410,并 noindex,follow 统一 404 模板已 noindex;部分无效聚合页仍可能返回 200
空富文本入口 /richtext/ 返回 404 并禁止索引 当前因标题为空而进入统一 404,方向正确
UI 弹窗片段 /ui/dialog/:name 不索引;建议响应头 X-Robots-Tag: noindex,并从 robots.txt 禁止抓取 当前未设置索引响应头,robots.txt 也没有 /ui/ 规则
健康检查 /healthz 不索引;建议 X-Robots-Tag: noindex 当前只是 200 JSON,无索引响应头,也未在 robots.txt 禁止

四、重复 URL:自身不索引,只让目标 URL 索引

重复/历史路由 当前行为 建议
/tag-list/... handler 301 到 /tag/... 正确;不要进入 sitemap
/more/... handler 301 到 /topic/... 正确;不要进入 sitemap
/list/ai-series/... 301 到 /series/... 正确;不要进入 sitemap
查询参数版分页/筛选 URL 多数 handler 会重定向到路径式 canonical 保持 301,只提交最终 canonical
非规范 slug/ID URL detail/category/topic 等尝试跳转规范 slug 保持 301;旧 URL 不进入 sitemap

五、非 HTML 路由和资源的索引策略

路由/资源 是否需要搜索索引 推荐控制方式
/api/* 不需要 保持 robots.txt 限制抓取;对可直接访问的 JSON 响应统一增加 X-Robots-Tag: noindex
/h5/*、/enkey、/newenkey 不需要 保持 robots.txt 禁止;视频/密钥响应可加 X-Robots-Tag: noindex
/robots.txt、/sitemap.xml、/sitemaps/*.xml 需要允许抓取,但不作为普通网页参与排名 返回正确状态和 Content-Type;无需放进 sitemap
Google/百度/Bing/IndexNow 验证文件 需要允许验证爬虫访问,不需要普通搜索索引 保持可访问;可选 X-Robots-Tag: noindex,不得放入 sitemap
/favicon.*、/static/* 允许抓取以支持页面渲染和搜索展示,不作为 HTML 页面索引 不要整体 Disallow 静态 CSS/JS/图片

六、分页页是否索引

建议有效分页页继续 index,follow,包括:

  • /list/.../page/:page/
  • /series/.../page/:page/
  • /tag/.../page/:page/
  • /rank/.../page/:page/
  • /today-update/page/:page/
  • /category/.../page/:page/
  • /topic/.../page/:page/

必须满足:

  1. 每一页有唯一 URL。
  2. 每一页使用自引用 canonical,不能全部 canonical 到第 1 页。
  3. 分页越界返回 404。
  4. 上一页/下一页使用真实 <a href>,保证爬虫发现深层内容。
  5. 不需要为了分页强制写完全不同的 title/description;Google 可以识别分页序列,但加“第 N 页”更利于人工排查和结果辨识。

七、当前实现的优先级问题

高优先级

  1. robots.txt 与 noindex 冲突

    • 范围:登录、注册、搜索、账户、反馈页面。
    • 证据:app/templates/page/robots.txt:14-25 同时禁止这些路径,而页面模板又输出 noindex。
    • 影响:爬虫被挡住后无法读取 noindex,URL 仍可能以无摘要形式出现在结果中。
    • 修复:若目标是“绝不进入搜索结果”,允许抓取这些 HTML URL并保留 noindex;私密内容本身必须通过鉴权保护,不能依赖 robots.txt。
  2. 登录/注册页存在相反 robots 指令

    • 范围:/login/*、/register/。
    • 证据:app/api/web/index.go:35-36 设置 noindex,seoCommon.html:12 输出 noindex,follow,但 index.html:10 又输出 index,follow。
    • 影响:虽然 Google通常采用更严格规则,但重复冲突不利于跨搜索引擎一致性和测试。
    • 修复:全站只保留一个由公共模板控制的 robots 标签。
  3. 空内容和接口故障页仍可索引

    • 范围:标签、分类、专题、榜单、今日更新、应用等聚合页。
    • 影响:soft 404、低质量索引、抓取预算浪费。
    • 修复:区分“不存在”“合法为空”“上游故障”;分别返回 404、200 + noindex、503。

中优先级

  1. 播放页无条件索引:应按章节存在性、可播放性和内容唯一性控制。
  2. 任意富文本均可索引:应建立可索引白名单或后台 indexable 字段。
  3. 导航页可能多域重复:主站 /nav/ 与独立导航站需确定唯一 canonical。
  4. 法律页面默认索引:若无自然搜索目标,用户协议和隐私政策改为 noindex,follow。

低优先级

  1. 全站重复 meta robots:seoCommon.html 与每个页面模板各输出一条,应统一到公共模板。
  2. 本地未发现 sitemap XML 文件:路由读取 ./templates/page/sitemaps,当前仓库扫描未找到生成产物;需确认部署流程会生成并正确挂载,否则 /sitemap.xml 可能 404。

八、建议的最终索引矩阵

策略 页面
index,follow 首页、有效短剧/剧集列表、有效标签、排行榜、今日更新、有效分类、专题总览与有效专题、下载 APP、非空福利应用、短剧详情、关于我们、帮助中心、有效分页
条件 index 播放章节、回家的路、官方导航、通用富文本、稀疏标签/分类/专题
noindex,follow 登录、注册、站内搜索、用户协议、隐私政策、合法但暂时空的公开聚合页
noindex,nofollow 个人中心、充值、收藏、历史、设置、编辑资料、修改密码、反馈
301 /tag-list/*、/more/*、/list/ai-series/*、查询参数和旧 slug 变体
404/410 不存在的内容、无效 slug、越界分页
503 上游故障导致无法生成正常内容的公开页面
X-Robots-Tag: noindex /ui/dialog/*、/healthz、可直接访问的 API/非 HTML 工具响应

参考依据

实施结果(2026-09-08)

已按上述矩阵完成以下代码调整:

  • 全站 robots meta 收口到 seoCommon.html,每个 HTML 页面只输出一条规则。
  • 登录、注册、搜索、账户、充值、收藏、历史、设置、编辑资料、修改密码、反馈和 404 已明确设置 noindex。
  • 用户协议、隐私政策和任意通用富文本默认 noindex,follow;关于我们、帮助中心继续索引。
  • /richtext/关于我们/ 等重复地址会 301 到固定语义路由;页脚也直接生成语义路由。
  • 空短剧列表、空剧集、空标签、空分类、空榜单、空今日更新、空专题和空福利应用自动 noindex,follow。
  • 明确请求但不存在的播放章节返回 404;无法取得默认章节的播放页设置 noindex。
  • /api/*、/ui/*、/healthz、媒体代理与密钥响应增加 X-Robots-Tag: noindex, nofollow。
  • robots.txt 不再阻止登录、搜索和账户 HTML,使爬虫能够读取页面的 noindex;继续限制非 HTML 接口与媒体工具路由。
  • robots.txt 合并为一个 User-agent: * 规则组,避免原先的 Disallow 只落在最后一个特定爬虫分组下。

仍需由部署配置决定的事项:主站 /nav/、独立导航站首页和 /home-road/ 跨域时,哪一个域名作为唯一 canonical;代码无法在没有目标域名配置的情况下安全替用户做这个选择。