Files
web_huangguo2_h5/outputs/seo-audit-20260908/indexation-analysis-20260908.md
T
谢宇宁andClaude Opus 5.5 0fbdba5ccf Initial commit
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-29 11:47:47 +07:00

188 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 黄果短剧全页面索引策略分析
## 输入信息与假设
- 分析范围:当前本地 Go 项目的全部页面路由、模板 `meta robots`、公共渲染层、`robots.txt` 和 sitemap 路由。
- 未提供线上域名,无法验证生产环境最终 HTML、HTTP 状态、真实 canonical 和 sitemap 内容;以下结论以代码为准。
- “需要索引”表示页面有独立搜索意图、稳定公开内容和唯一 canonical,建议输出 `index,follow` 并进入 sitemap。
- “不需要索引”表示登录/用户私有页、站内搜索、操作页、接口、重复 URL、错误页或低价值工具页,建议输出 `noindex` 或返回正确的 3xx/4xx。
- 分页页只要内容真实存在、URL 唯一并使用自引用 canonical,建议保持可索引。Google 官方也明确建议分页 URL 各自使用 canonical,而不是全部 canonical 到第一页。
## 总体判断
当前索引方向属于 **Mixed(基本方向正确,但存在明显一致性问题)**:
- 公开内容页基本为 `index,follow`。
- 搜索、账户、反馈、404 基本为 `noindex`。
- 但全站模板普遍输出两条 `meta robots`;登录/注册页更同时输出 `noindex,follow` 和 `index,follow`。
- `robots.txt` 又禁止抓取登录、搜索和账户页面,搜索引擎可能无法读取页面里的 `noindex`。Google 官方说明:被 `robots.txt` 阻止的页面,爬虫看不到 `noindex`,URL 仍可能只凭外链被索引。
- 空标签、空分类、无效专题、应用空列表和上游接口失败时,多个页面仍会返回 `200 + index,follow`,存在 soft 404 和索引膨胀风险。
## 一、明确需要索引的页面
以下页面有明确、稳定的搜索价值,建议 `index,follow`,只把 canonical URL 放入 sitemap。
| 页面类型 | 路由 | 建议 | 当前代码 | 条件与说明 |
|---|---|---|---|---|
| 首页 | `/` | 索引 | `index,follow` | 核心入口,必须索引 |
| 短剧主列表 | `/list/ai-short-play/` 及合法筛选页 | 索引 | `index,follow` | 合法的有限筛选页可索引;任意 slug 会被 canonical 重定向 |
| AI 成人剧集 | `/series/`、合法筛选及分页 | 索引 | `index,follow` | 内容真实存在时索引 |
| 标签聚合页 | `/tag/` | 索引 | `index,follow` | 应展示标签导航或有价值的聚合内容 |
| 有效标签详情 | `/tag/:slug/` 及有效分页 | 索引 | `index,follow` | 标签存在、列表非空、TDK/正文可区分时索引 |
| 排行榜 | `/rank/`、合法榜单类型及分页 | 索引 | `index,follow` | 有独立榜单意图;分页使用自引用 canonical |
| 今日更新 | `/today-update/` 及有效分页 | 索引 | `index,follow` | 有稳定的“今日更新/最新短剧”搜索意图 |
| 有效分类详情 | `/category/:slug/` 及有效分页 | 索引 | `index,follow` | 分类必须真实存在且有内容 |
| 专题总览 | `/topic/` 及有效分页 | 索引 | `index,follow` | 作为专题导航入口 |
| 有效专题详情 | `/topic/:slug/` 及有效分页 | 索引 | `index,follow` | 专题必须存在,具有独立介绍与内容集合 |
| 下载 APP | `/download-app/` | 索引 | `index,follow` | 官方下载意图明确;仅保留一个官方 canonical URL |
| 福利应用 | `/application/` | 索引 | `index,follow` | 当前有分类介绍和应用说明;空列表时不应索引 |
| 短剧详情 | `/detail/:slug/` | 索引 | `index,follow` | 最重要的内容承接页;不存在时已经返回 404 |
| 关于我们 | `/about-us/` | 索引 | `index,follow` | 品牌实体与可信度页面 |
| 帮助中心 | `/help-center/` | 索引 | `index,follow` | FAQ/帮助内容真实且公开时有搜索价值 |
路由证据见 `app/router/gin.go:127-255`;公开页面模板 robots 见 `app/templates/page/*.html`。
## 二、需要条件判断后再索引的页面
这些页面不应无条件 `index,follow`,需要 handler 根据内容状态设置 `noindex`、404、410 或 503。
| 页面类型 | 路由 | 推荐规则 | 当前风险 |
|---|---|---|---|
| 播放/章节页 | `/play/:slug/`、`/play/:slug/:chapterId/` | 章节真实存在、页面有唯一标题、可播放视频和足够正文时索引;无效章节返回 404;只有付费壳、无视频或与详情页高度重复时 `noindex,follow` | 当前只验证短剧存在,章节请求失败时仍可能用短剧数据渲染 `200 + index,follow`;所有章节描述还复用短剧简介 |
| 回家的路 | `/home-road/` | 若它是唯一官方最新地址发布页且内容长期维护,可索引;多个镜像域名只索引一个 canonical,其余 canonical/noindex | 多域名/导航站场景容易形成重复或 doorway 页面 |
| 官方导航 | `/nav/`;导航独立服务的 `/`、`/nav/`、`/dh/` | 只索引一个官方导航 URL;内容站副本和独立导航站副本之间必须明确 canonical,其余 noindex 或 301 | 当前各入口都可能输出 `index,follow`,代码未体现跨域唯一索引版本 |
| 通用富文本 | `/richtext/:title/` | 仅白名单中的公开、唯一、完整内容索引;协议、内部说明、重复帮助内容等 noindex 或 301 到固定语义路由 | 当前 `IsIndexablePath` 将全部 `/richtext/*` 视为可索引,容易暴露任意 CMS 内容和重复页 |
| 用户协议 | `/user-agreement/` | 一般不需要搜索流量,建议 `noindex,follow`;若业务要求公开检索也可保留索引 | 当前 `index,follow` |
| 隐私政策 | `/privacy-policy/` | 一般建议 `noindex,follow`,保留用户访问但不占索引配额 | 当前 `index,follow` |
| 标签/分类/专题第 1 页 | `/tag/:slug/`、`/category/:slug/`、`/topic/:slug/` | 不存在必须 404;存在但内容过少可 `noindex,follow`;达到内容阈值再 index | 当前只对“分页越界”处理 404,第 1 页空结果仍可能 200 可索引 |
| 所有公开列表空状态 | list/series/rank/today-update/topic/application | 合法但暂时为空可 noindex;上游故障应优先返回 503,不能把接口异常伪装成长期 `200` 空页面 | 多个 `Fetch...OrEmpty` 吞掉上游错误并继续输出可索引页面 |
## 三、明确不需要索引的 HTML 页面
| 页面类型 | 路由 | 建议 | 当前代码 |
|---|---|---|---|
| 登录 | `/login/`、`/login/return/*` | `noindex,follow`,不进 sitemap | handler 设置 `noindex=true`,但 `index.html` 又固定输出 `index,follow`;且 robots.txt 禁止抓取 |
| 注册 | `/register/` | `noindex,follow`,不进 sitemap | 同登录页,存在冲突 robots 标签 |
| 个人中心 | `/user-center/` | `noindex,nofollow`,不进 sitemap | 已输出 `noindex,nofollow`,但 robots.txt 同时禁止抓取 |
| 充值 | `/deposit/`、`/deposit/:tab/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 收藏 | `/collect/...` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 观看历史 | `/history/...` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 账号设置 | `/setting/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 编辑资料 | `/edit-profile/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 修改密码 | `/edit-password/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 站内搜索 | `/search/`、`/search/:keyword/...` | `noindex,follow` | 模板已 noindex,但 robots.txt 禁止抓取,爬虫可能看不到 noindex |
| 问题反馈 | `/feedback/` | `noindex,nofollow` | 已 noindex;robots.txt 同时禁止抓取 |
| 404/无效页面 | 未匹配路由、无效详情/分页 | 正确返回 HTTP 404/410,并 `noindex,follow` | 统一 404 模板已 noindex;部分无效聚合页仍可能返回 200 |
| 空富文本入口 | `/richtext/` | 返回 404 并禁止索引 | 当前因标题为空而进入统一 404,方向正确 |
| UI 弹窗片段 | `/ui/dialog/:name` | 不索引;建议响应头 `X-Robots-Tag: noindex`,并从 robots.txt 禁止抓取 | 当前未设置索引响应头,robots.txt 也没有 `/ui/` 规则 |
| 健康检查 | `/healthz` | 不索引;建议 `X-Robots-Tag: noindex` | 当前只是 200 JSON,无索引响应头,也未在 robots.txt 禁止 |
## 四、重复 URL:自身不索引,只让目标 URL 索引
| 重复/历史路由 | 当前行为 | 建议 |
|---|---|---|
| `/tag-list/...` | handler 301 到 `/tag/...` | 正确;不要进入 sitemap |
| `/more/...` | handler 301 到 `/topic/...` | 正确;不要进入 sitemap |
| `/list/ai-series/...` | 301 到 `/series/...` | 正确;不要进入 sitemap |
| 查询参数版分页/筛选 URL | 多数 handler 会重定向到路径式 canonical | 保持 301,只提交最终 canonical |
| 非规范 slug/ID URL | detail/category/topic 等尝试跳转规范 slug | 保持 301;旧 URL 不进入 sitemap |
## 五、非 HTML 路由和资源的索引策略
| 路由/资源 | 是否需要搜索索引 | 推荐控制方式 |
|---|---|---|
| `/api/*` | 不需要 | 保持 robots.txt 限制抓取;对可直接访问的 JSON 响应统一增加 `X-Robots-Tag: noindex` |
| `/h5/*`、`/enkey`、`/newenkey` | 不需要 | 保持 robots.txt 禁止;视频/密钥响应可加 `X-Robots-Tag: noindex` |
| `/robots.txt`、`/sitemap.xml`、`/sitemaps/*.xml` | 需要允许抓取,但不作为普通网页参与排名 | 返回正确状态和 Content-Type;无需放进 sitemap |
| Google/百度/Bing/IndexNow 验证文件 | 需要允许验证爬虫访问,不需要普通搜索索引 | 保持可访问;可选 `X-Robots-Tag: noindex`,不得放入 sitemap |
| `/favicon.*`、`/static/*` | 允许抓取以支持页面渲染和搜索展示,不作为 HTML 页面索引 | 不要整体 Disallow 静态 CSS/JS/图片 |
## 六、分页页是否索引
建议有效分页页继续 `index,follow`,包括:
- `/list/.../page/:page/`
- `/series/.../page/:page/`
- `/tag/.../page/:page/`
- `/rank/.../page/:page/`
- `/today-update/page/:page/`
- `/category/.../page/:page/`
- `/topic/.../page/:page/`
必须满足:
1. 每一页有唯一 URL。
2. 每一页使用自引用 canonical,不能全部 canonical 到第 1 页。
3. 分页越界返回 404。
4. 上一页/下一页使用真实 `<a href>`,保证爬虫发现深层内容。
5. 不需要为了分页强制写完全不同的 title/description;Google 可以识别分页序列,但加“第 N 页”更利于人工排查和结果辨识。
## 七、当前实现的优先级问题
### 高优先级
1. **robots.txt 与 noindex 冲突**
- 范围:登录、注册、搜索、账户、反馈页面。
- 证据:`app/templates/page/robots.txt:14-25` 同时禁止这些路径,而页面模板又输出 `noindex`。
- 影响:爬虫被挡住后无法读取 `noindex`,URL 仍可能以无摘要形式出现在结果中。
- 修复:若目标是“绝不进入搜索结果”,允许抓取这些 HTML URL并保留 `noindex`;私密内容本身必须通过鉴权保护,不能依赖 robots.txt。
2. **登录/注册页存在相反 robots 指令**
- 范围:`/login/*`、`/register/`。
- 证据:`app/api/web/index.go:35-36` 设置 `noindex`,`seoCommon.html:12` 输出 `noindex,follow`,但 `index.html:10` 又输出 `index,follow`。
- 影响:虽然 Google通常采用更严格规则,但重复冲突不利于跨搜索引擎一致性和测试。
- 修复:全站只保留一个由公共模板控制的 robots 标签。
3. **空内容和接口故障页仍可索引**
- 范围:标签、分类、专题、榜单、今日更新、应用等聚合页。
- 影响:soft 404、低质量索引、抓取预算浪费。
- 修复:区分“不存在”“合法为空”“上游故障”;分别返回 404、`200 + noindex`、503。
### 中优先级
4. **播放页无条件索引**:应按章节存在性、可播放性和内容唯一性控制。
5. **任意富文本均可索引**:应建立可索引白名单或后台 `indexable` 字段。
6. **导航页可能多域重复**:主站 `/nav/` 与独立导航站需确定唯一 canonical。
7. **法律页面默认索引**:若无自然搜索目标,用户协议和隐私政策改为 `noindex,follow`。
### 低优先级
8. **全站重复 meta robots**:`seoCommon.html` 与每个页面模板各输出一条,应统一到公共模板。
9. **本地未发现 sitemap XML 文件**:路由读取 `./templates/page/sitemaps`,当前仓库扫描未找到生成产物;需确认部署流程会生成并正确挂载,否则 `/sitemap.xml` 可能 404。
## 八、建议的最终索引矩阵
| 策略 | 页面 |
|---|---|
| `index,follow` | 首页、有效短剧/剧集列表、有效标签、排行榜、今日更新、有效分类、专题总览与有效专题、下载 APP、非空福利应用、短剧详情、关于我们、帮助中心、有效分页 |
| 条件 `index` | 播放章节、回家的路、官方导航、通用富文本、稀疏标签/分类/专题 |
| `noindex,follow` | 登录、注册、站内搜索、用户协议、隐私政策、合法但暂时空的公开聚合页 |
| `noindex,nofollow` | 个人中心、充值、收藏、历史、设置、编辑资料、修改密码、反馈 |
| 301 | `/tag-list/*`、`/more/*`、`/list/ai-series/*`、查询参数和旧 slug 变体 |
| 404/410 | 不存在的内容、无效 slug、越界分页 |
| 503 | 上游故障导致无法生成正常内容的公开页面 |
| `X-Robots-Tag: noindex` | `/ui/dialog/*`、`/healthz`、可直接访问的 API/非 HTML 工具响应 |
## 参考依据
- [Google:使用 noindex 阻止编入索引](https://developers.google.com/search/docs/crawling-indexing/block-indexing)
- [Google:robots meta 与 X-Robots-Tag 规范](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)
- [Google:robots.txt 不是阻止网页进入索引的机制](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
- [Google:分页与增量加载最佳实践](https://developers.google.com/search/docs/specialty/ecommerce/pagination-and-incremental-page-loading)
## 实施结果(2026-09-08)
已按上述矩阵完成以下代码调整:
- 全站 robots meta 收口到 `seoCommon.html`,每个 HTML 页面只输出一条规则。
- 登录、注册、搜索、账户、充值、收藏、历史、设置、编辑资料、修改密码、反馈和 404 已明确设置 noindex。
- 用户协议、隐私政策和任意通用富文本默认 `noindex,follow`;关于我们、帮助中心继续索引。
- `/richtext/关于我们/` 等重复地址会 301 到固定语义路由;页脚也直接生成语义路由。
- 空短剧列表、空剧集、空标签、空分类、空榜单、空今日更新、空专题和空福利应用自动 `noindex,follow`。
- 明确请求但不存在的播放章节返回 404;无法取得默认章节的播放页设置 noindex。
- `/api/*`、`/ui/*`、`/healthz`、媒体代理与密钥响应增加 `X-Robots-Tag: noindex, nofollow`。
- `robots.txt` 不再阻止登录、搜索和账户 HTML,使爬虫能够读取页面的 noindex;继续限制非 HTML 接口与媒体工具路由。
- `robots.txt` 合并为一个 `User-agent: *` 规则组,避免原先的 Disallow 只落在最后一个特定爬虫分组下。
仍需由部署配置决定的事项:主站 `/nav/`、独立导航站首页和 `/home-road/` 跨域时,哪一个域名作为唯一 canonical;代码无法在没有目标域名配置的情况下安全替用户做这个选择。