Initial commit

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
谢宇宁
2026-09-29 11:47:47 +07:00
co-authored by Claude Opus 5.5
commit 0fbdba5ccf
622 changed files with 72105 additions and 0 deletions
@@ -0,0 +1,187 @@
# 黄果短剧全页面索引策略分析
## 输入信息与假设
- 分析范围:当前本地 Go 项目的全部页面路由、模板 `meta robots`、公共渲染层、`robots.txt` 和 sitemap 路由。
- 未提供线上域名,无法验证生产环境最终 HTML、HTTP 状态、真实 canonical 和 sitemap 内容;以下结论以代码为准。
- “需要索引”表示页面有独立搜索意图、稳定公开内容和唯一 canonical,建议输出 `index,follow` 并进入 sitemap。
- “不需要索引”表示登录/用户私有页、站内搜索、操作页、接口、重复 URL、错误页或低价值工具页,建议输出 `noindex` 或返回正确的 3xx/4xx。
- 分页页只要内容真实存在、URL 唯一并使用自引用 canonical,建议保持可索引。Google 官方也明确建议分页 URL 各自使用 canonical,而不是全部 canonical 到第一页。
## 总体判断
当前索引方向属于 **Mixed(基本方向正确,但存在明显一致性问题)**:
- 公开内容页基本为 `index,follow`。
- 搜索、账户、反馈、404 基本为 `noindex`。
- 但全站模板普遍输出两条 `meta robots`;登录/注册页更同时输出 `noindex,follow` 和 `index,follow`。
- `robots.txt` 又禁止抓取登录、搜索和账户页面,搜索引擎可能无法读取页面里的 `noindex`。Google 官方说明:被 `robots.txt` 阻止的页面,爬虫看不到 `noindex`,URL 仍可能只凭外链被索引。
- 空标签、空分类、无效专题、应用空列表和上游接口失败时,多个页面仍会返回 `200 + index,follow`,存在 soft 404 和索引膨胀风险。
## 一、明确需要索引的页面
以下页面有明确、稳定的搜索价值,建议 `index,follow`,只把 canonical URL 放入 sitemap。
| 页面类型 | 路由 | 建议 | 当前代码 | 条件与说明 |
|---|---|---|---|---|
| 首页 | `/` | 索引 | `index,follow` | 核心入口,必须索引 |
| 短剧主列表 | `/list/ai-short-play/` 及合法筛选页 | 索引 | `index,follow` | 合法的有限筛选页可索引;任意 slug 会被 canonical 重定向 |
| AI 成人剧集 | `/series/`、合法筛选及分页 | 索引 | `index,follow` | 内容真实存在时索引 |
| 标签聚合页 | `/tag/` | 索引 | `index,follow` | 应展示标签导航或有价值的聚合内容 |
| 有效标签详情 | `/tag/:slug/` 及有效分页 | 索引 | `index,follow` | 标签存在、列表非空、TDK/正文可区分时索引 |
| 排行榜 | `/rank/`、合法榜单类型及分页 | 索引 | `index,follow` | 有独立榜单意图;分页使用自引用 canonical |
| 今日更新 | `/today-update/` 及有效分页 | 索引 | `index,follow` | 有稳定的“今日更新/最新短剧”搜索意图 |
| 有效分类详情 | `/category/:slug/` 及有效分页 | 索引 | `index,follow` | 分类必须真实存在且有内容 |
| 专题总览 | `/topic/` 及有效分页 | 索引 | `index,follow` | 作为专题导航入口 |
| 有效专题详情 | `/topic/:slug/` 及有效分页 | 索引 | `index,follow` | 专题必须存在,具有独立介绍与内容集合 |
| 下载 APP | `/download-app/` | 索引 | `index,follow` | 官方下载意图明确;仅保留一个官方 canonical URL |
| 福利应用 | `/application/` | 索引 | `index,follow` | 当前有分类介绍和应用说明;空列表时不应索引 |
| 短剧详情 | `/detail/:slug/` | 索引 | `index,follow` | 最重要的内容承接页;不存在时已经返回 404 |
| 关于我们 | `/about-us/` | 索引 | `index,follow` | 品牌实体与可信度页面 |
| 帮助中心 | `/help-center/` | 索引 | `index,follow` | FAQ/帮助内容真实且公开时有搜索价值 |
路由证据见 `app/router/gin.go:127-255`;公开页面模板 robots 见 `app/templates/page/*.html`。
## 二、需要条件判断后再索引的页面
这些页面不应无条件 `index,follow`,需要 handler 根据内容状态设置 `noindex`、404、410 或 503。
| 页面类型 | 路由 | 推荐规则 | 当前风险 |
|---|---|---|---|
| 播放/章节页 | `/play/:slug/`、`/play/:slug/:chapterId/` | 章节真实存在、页面有唯一标题、可播放视频和足够正文时索引;无效章节返回 404;只有付费壳、无视频或与详情页高度重复时 `noindex,follow` | 当前只验证短剧存在,章节请求失败时仍可能用短剧数据渲染 `200 + index,follow`;所有章节描述还复用短剧简介 |
| 回家的路 | `/home-road/` | 若它是唯一官方最新地址发布页且内容长期维护,可索引;多个镜像域名只索引一个 canonical,其余 canonical/noindex | 多域名/导航站场景容易形成重复或 doorway 页面 |
| 官方导航 | `/nav/`;导航独立服务的 `/`、`/nav/`、`/dh/` | 只索引一个官方导航 URL;内容站副本和独立导航站副本之间必须明确 canonical,其余 noindex 或 301 | 当前各入口都可能输出 `index,follow`,代码未体现跨域唯一索引版本 |
| 通用富文本 | `/richtext/:title/` | 仅白名单中的公开、唯一、完整内容索引;协议、内部说明、重复帮助内容等 noindex 或 301 到固定语义路由 | 当前 `IsIndexablePath` 将全部 `/richtext/*` 视为可索引,容易暴露任意 CMS 内容和重复页 |
| 用户协议 | `/user-agreement/` | 一般不需要搜索流量,建议 `noindex,follow`;若业务要求公开检索也可保留索引 | 当前 `index,follow` |
| 隐私政策 | `/privacy-policy/` | 一般建议 `noindex,follow`,保留用户访问但不占索引配额 | 当前 `index,follow` |
| 标签/分类/专题第 1 页 | `/tag/:slug/`、`/category/:slug/`、`/topic/:slug/` | 不存在必须 404;存在但内容过少可 `noindex,follow`;达到内容阈值再 index | 当前只对“分页越界”处理 404,第 1 页空结果仍可能 200 可索引 |
| 所有公开列表空状态 | list/series/rank/today-update/topic/application | 合法但暂时为空可 noindex;上游故障应优先返回 503,不能把接口异常伪装成长期 `200` 空页面 | 多个 `Fetch...OrEmpty` 吞掉上游错误并继续输出可索引页面 |
## 三、明确不需要索引的 HTML 页面
| 页面类型 | 路由 | 建议 | 当前代码 |
|---|---|---|---|
| 登录 | `/login/`、`/login/return/*` | `noindex,follow`,不进 sitemap | handler 设置 `noindex=true`,但 `index.html` 又固定输出 `index,follow`;且 robots.txt 禁止抓取 |
| 注册 | `/register/` | `noindex,follow`,不进 sitemap | 同登录页,存在冲突 robots 标签 |
| 个人中心 | `/user-center/` | `noindex,nofollow`,不进 sitemap | 已输出 `noindex,nofollow`,但 robots.txt 同时禁止抓取 |
| 充值 | `/deposit/`、`/deposit/:tab/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 收藏 | `/collect/...` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 观看历史 | `/history/...` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 账号设置 | `/setting/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 编辑资料 | `/edit-profile/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 修改密码 | `/edit-password/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 站内搜索 | `/search/`、`/search/:keyword/...` | `noindex,follow` | 模板已 noindex,但 robots.txt 禁止抓取,爬虫可能看不到 noindex |
| 问题反馈 | `/feedback/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 404/无效页面 | 未匹配路由、无效详情/分页 | 正确返回 HTTP 404/410,并 `noindex,follow` | 统一 404 模板已 noindex;部分无效聚合页仍可能返回 200 |
| 空富文本入口 | `/richtext/` | 返回 404 并禁止索引 | 当前因标题为空而进入统一 404,方向正确 |
| UI 弹窗片段 | `/ui/dialog/:name` | 不索引;建议响应头 `X-Robots-Tag: noindex`,并从 robots.txt 禁止抓取 | 当前未设置索引响应头,robots.txt 也没有 `/ui/` 规则 |
| 健康检查 | `/healthz` | 不索引;建议 `X-Robots-Tag: noindex` | 当前只是 200 JSON,无索引响应头,也未在 robots.txt 禁止 |
## 四、重复 URL:自身不索引,只让目标 URL 索引
| 重复/历史路由 | 当前行为 | 建议 |
|---|---|---|
| `/tag-list/...` | handler 301 到 `/tag/...` | 正确;不要进入 sitemap |
| `/more/...` | handler 301 到 `/topic/...` | 正确;不要进入 sitemap |
| `/list/ai-series/...` | 301 到 `/series/...` | 正确;不要进入 sitemap |
| 查询参数版分页/筛选 URL | 多数 handler 会重定向到路径式 canonical | 保持 301,只提交最终 canonical |
| 非规范 slug/ID URL | detail/category/topic 等尝试跳转规范 slug | 保持 301;旧 URL 不进入 sitemap |
## 五、非 HTML 路由和资源的索引策略
| 路由/资源 | 是否需要搜索索引 | 推荐控制方式 |
|---|---|---|
| `/api/*` | 不需要 | 保持 robots.txt 限制抓取;对可直接访问的 JSON 响应统一增加 `X-Robots-Tag: noindex` |
| `/h5/*`、`/enkey`、`/newenkey` | 不需要 | 保持 robots.txt 禁止;视频/密钥响应可加 `X-Robots-Tag: noindex` |
| `/robots.txt`、`/sitemap.xml`、`/sitemaps/*.xml` | 需要允许抓取,但不作为普通网页参与排名 | 返回正确状态和 Content-Type;无需放进 sitemap |
| Google/百度/Bing/IndexNow 验证文件 | 需要允许验证爬虫访问,不需要普通搜索索引 | 保持可访问;可选 `X-Robots-Tag: noindex`,不得放入 sitemap |
| `/favicon.*`、`/static/*` | 允许抓取以支持页面渲染和搜索展示,不作为 HTML 页面索引 | 不要整体 Disallow 静态 CSS/JS/图片 |
## 六、分页页是否索引
建议有效分页页继续 `index,follow`,包括:
- `/list/.../page/:page/`
- `/series/.../page/:page/`
- `/tag/.../page/:page/`
- `/rank/.../page/:page/`
- `/today-update/page/:page/`
- `/category/.../page/:page/`
- `/topic/.../page/:page/`
必须满足:
1. 每一页有唯一 URL。
2. 每一页使用自引用 canonical,不能全部 canonical 到第 1 页。
3. 分页越界返回 404。
4. 上一页/下一页使用真实 `<a href>`,保证爬虫发现深层内容。
5. 不需要为了分页强制写完全不同的 title/description;Google 可以识别分页序列,但加“第 N 页”更利于人工排查和结果辨识。
## 七、当前实现的优先级问题
### 高优先级
1. **robots.txt 与 noindex 冲突**
- 范围:登录、注册、搜索、账户、反馈页面。
- 证据:`app/templates/page/robots.txt:14-25` 同时禁止这些路径,而页面模板又输出 `noindex`。
- 影响:爬虫被挡住后无法读取 `noindex`,URL 仍可能以无摘要形式出现在结果中。
- 修复:若目标是“绝不进入搜索结果”,允许抓取这些 HTML URL并保留 `noindex`;私密内容本身必须通过鉴权保护,不能依赖 robots.txt。
2. **登录/注册页存在相反 robots 指令**
- 范围:`/login/*`、`/register/`。
- 证据:`app/api/web/index.go:35-36` 设置 `noindex`,`seoCommon.html:12` 输出 `noindex,follow`,但 `index.html:10` 又输出 `index,follow`。
- 影响:虽然 Google通常采用更严格规则,但重复冲突不利于跨搜索引擎一致性和测试。
- 修复:全站只保留一个由公共模板控制的 robots 标签。
3. **空内容和接口故障页仍可索引**
- 范围:标签、分类、专题、榜单、今日更新、应用等聚合页。
- 影响:soft 404、低质量索引、抓取预算浪费。
- 修复:区分“不存在”“合法为空”“上游故障”;分别返回 404、`200 + noindex`、503。
### 中优先级
4. **播放页无条件索引**:应按章节存在性、可播放性和内容唯一性控制。
5. **任意富文本均可索引**:应建立可索引白名单或后台 `indexable` 字段。
6. **导航页可能多域重复**:主站 `/nav/` 与独立导航站需确定唯一 canonical。
7. **法律页面默认索引**:若无自然搜索目标,用户协议和隐私政策改为 `noindex,follow`。
### 低优先级
8. **全站重复 meta robots**:`seoCommon.html` 与每个页面模板各输出一条,应统一到公共模板。
9. **本地未发现 sitemap XML 文件**:路由读取 `./templates/page/sitemaps`,当前仓库扫描未找到生成产物;需确认部署流程会生成并正确挂载,否则 `/sitemap.xml` 可能 404。
## 八、建议的最终索引矩阵
| 策略 | 页面 |
|---|---|
| `index,follow` | 首页、有效短剧/剧集列表、有效标签、排行榜、今日更新、有效分类、专题总览与有效专题、下载 APP、非空福利应用、短剧详情、关于我们、帮助中心、有效分页 |
| 条件 `index` | 播放章节、回家的路、官方导航、通用富文本、稀疏标签/分类/专题 |
| `noindex,follow` | 登录、注册、站内搜索、用户协议、隐私政策、合法但暂时空的公开聚合页 |
| `noindex,nofollow` | 个人中心、充值、收藏、历史、设置、编辑资料、修改密码、反馈 |
| 301 | `/tag-list/*`、`/more/*`、`/list/ai-series/*`、查询参数和旧 slug 变体 |
| 404/410 | 不存在的内容、无效 slug、越界分页 |
| 503 | 上游故障导致无法生成正常内容的公开页面 |
| `X-Robots-Tag: noindex` | `/ui/dialog/*`、`/healthz`、可直接访问的 API/非 HTML 工具响应 |
## 参考依据
- [Google:使用 noindex 阻止编入索引](https://developers.google.com/search/docs/crawling-indexing/block-indexing)
- [Google:robots meta 与 X-Robots-Tag 规范](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)
- [Google:robots.txt 不是阻止网页进入索引的机制](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
- [Google:分页与增量加载最佳实践](https://developers.google.com/search/docs/specialty/ecommerce/pagination-and-incremental-page-loading)
## 实施结果(2026-09-08)
已按上述矩阵完成以下代码调整:
- 全站 robots meta 收口到 `seoCommon.html`,每个 HTML 页面只输出一条规则。
- 登录、注册、搜索、账户、充值、收藏、历史、设置、编辑资料、修改密码、反馈和 404 已明确设置 noindex。
- 用户协议、隐私政策和任意通用富文本默认 `noindex,follow`;关于我们、帮助中心继续索引。
- `/richtext/关于我们/` 等重复地址会 301 到固定语义路由;页脚也直接生成语义路由。
- 空短剧列表、空剧集、空标签、空分类、空榜单、空今日更新、空专题和空福利应用自动 `noindex,follow`。
- 明确请求但不存在的播放章节返回 404;无法取得默认章节的播放页设置 noindex。
- `/api/*`、`/ui/*`、`/healthz`、媒体代理与密钥响应增加 `X-Robots-Tag: noindex, nofollow`。
- `robots.txt` 不再阻止登录、搜索和账户 HTML,使爬虫能够读取页面的 noindex;继续限制非 HTML 接口与媒体工具路由。
- `robots.txt` 合并为一个 `User-agent: *` 规则组,避免原先的 Disallow 只落在最后一个特定爬虫分组下。
仍需由部署配置决定的事项:主站 `/nav/`、独立导航站首页和 `/home-road/` 跨域时,哪一个域名作为唯一 canonical;代码无法在没有目标域名配置的情况下安全替用户做这个选择。