15 KiB
15 KiB
黄果短剧全页面索引策略分析
输入信息与假设
- 分析范围:当前本地 Go 项目的全部页面路由、模板
meta robots、公共渲染层、robots.txt和 sitemap 路由。 - 未提供线上域名,无法验证生产环境最终 HTML、HTTP 状态、真实 canonical 和 sitemap 内容;以下结论以代码为准。
- “需要索引”表示页面有独立搜索意图、稳定公开内容和唯一 canonical,建议输出
index,follow并进入 sitemap。 - “不需要索引”表示登录/用户私有页、站内搜索、操作页、接口、重复 URL、错误页或低价值工具页,建议输出
noindex或返回正确的 3xx/4xx。 - 分页页只要内容真实存在、URL 唯一并使用自引用 canonical,建议保持可索引。Google 官方也明确建议分页 URL 各自使用 canonical,而不是全部 canonical 到第一页。
总体判断
当前索引方向属于 Mixed(基本方向正确,但存在明显一致性问题):
- 公开内容页基本为
index,follow。 - 搜索、账户、反馈、404 基本为
noindex。 - 但全站模板普遍输出两条
meta robots;登录/注册页更同时输出noindex,follow和index,follow。 robots.txt又禁止抓取登录、搜索和账户页面,搜索引擎可能无法读取页面里的noindex。Google 官方说明:被robots.txt阻止的页面,爬虫看不到noindex,URL 仍可能只凭外链被索引。- 空标签、空分类、无效专题、应用空列表和上游接口失败时,多个页面仍会返回
200 + index,follow,存在 soft 404 和索引膨胀风险。
一、明确需要索引的页面
以下页面有明确、稳定的搜索价值,建议 index,follow,只把 canonical URL 放入 sitemap。
| 页面类型 | 路由 | 建议 | 当前代码 | 条件与说明 |
|---|---|---|---|---|
| 首页 | / |
索引 | index,follow |
核心入口,必须索引 |
| 短剧主列表 | /list/ai-short-play/ 及合法筛选页 |
索引 | index,follow |
合法的有限筛选页可索引;任意 slug 会被 canonical 重定向 |
| AI 成人剧集 | /series/、合法筛选及分页 |
索引 | index,follow |
内容真实存在时索引 |
| 标签聚合页 | /tag/ |
索引 | index,follow |
应展示标签导航或有价值的聚合内容 |
| 有效标签详情 | /tag/:slug/ 及有效分页 |
索引 | index,follow |
标签存在、列表非空、TDK/正文可区分时索引 |
| 排行榜 | /rank/、合法榜单类型及分页 |
索引 | index,follow |
有独立榜单意图;分页使用自引用 canonical |
| 今日更新 | /today-update/ 及有效分页 |
索引 | index,follow |
有稳定的“今日更新/最新短剧”搜索意图 |
| 有效分类详情 | /category/:slug/ 及有效分页 |
索引 | index,follow |
分类必须真实存在且有内容 |
| 专题总览 | /topic/ 及有效分页 |
索引 | index,follow |
作为专题导航入口 |
| 有效专题详情 | /topic/:slug/ 及有效分页 |
索引 | index,follow |
专题必须存在,具有独立介绍与内容集合 |
| 下载 APP | /download-app/ |
索引 | index,follow |
官方下载意图明确;仅保留一个官方 canonical URL |
| 福利应用 | /application/ |
索引 | index,follow |
当前有分类介绍和应用说明;空列表时不应索引 |
| 短剧详情 | /detail/:slug/ |
索引 | index,follow |
最重要的内容承接页;不存在时已经返回 404 |
| 关于我们 | /about-us/ |
索引 | index,follow |
品牌实体与可信度页面 |
| 帮助中心 | /help-center/ |
索引 | index,follow |
FAQ/帮助内容真实且公开时有搜索价值 |
路由证据见 app/router/gin.go:127-255;公开页面模板 robots 见 app/templates/page/*.html。
二、需要条件判断后再索引的页面
这些页面不应无条件 index,follow,需要 handler 根据内容状态设置 noindex、404、410 或 503。
| 页面类型 | 路由 | 推荐规则 | 当前风险 |
|---|---|---|---|
| 播放/章节页 | /play/:slug/、/play/:slug/:chapterId/ |
章节真实存在、页面有唯一标题、可播放视频和足够正文时索引;无效章节返回 404;只有付费壳、无视频或与详情页高度重复时 noindex,follow |
当前只验证短剧存在,章节请求失败时仍可能用短剧数据渲染 200 + index,follow;所有章节描述还复用短剧简介 |
| 回家的路 | /home-road/ |
若它是唯一官方最新地址发布页且内容长期维护,可索引;多个镜像域名只索引一个 canonical,其余 canonical/noindex | 多域名/导航站场景容易形成重复或 doorway 页面 |
| 官方导航 | /nav/;导航独立服务的 /、/nav/、/dh/ |
只索引一个官方导航 URL;内容站副本和独立导航站副本之间必须明确 canonical,其余 noindex 或 301 | 当前各入口都可能输出 index,follow,代码未体现跨域唯一索引版本 |
| 通用富文本 | /richtext/:title/ |
仅白名单中的公开、唯一、完整内容索引;协议、内部说明、重复帮助内容等 noindex 或 301 到固定语义路由 | 当前 IsIndexablePath 将全部 /richtext/* 视为可索引,容易暴露任意 CMS 内容和重复页 |
| 用户协议 | /user-agreement/ |
一般不需要搜索流量,建议 noindex,follow;若业务要求公开检索也可保留索引 |
当前 index,follow |
| 隐私政策 | /privacy-policy/ |
一般建议 noindex,follow,保留用户访问但不占索引配额 |
当前 index,follow |
| 标签/分类/专题第 1 页 | /tag/:slug/、/category/:slug/、/topic/:slug/ |
不存在必须 404;存在但内容过少可 noindex,follow;达到内容阈值再 index |
当前只对“分页越界”处理 404,第 1 页空结果仍可能 200 可索引 |
| 所有公开列表空状态 | list/series/rank/today-update/topic/application | 合法但暂时为空可 noindex;上游故障应优先返回 503,不能把接口异常伪装成长期 200 空页面 |
多个 Fetch...OrEmpty 吞掉上游错误并继续输出可索引页面 |
三、明确不需要索引的 HTML 页面
| 页面类型 | 路由 | 建议 | 当前代码 |
|---|---|---|---|
| 登录 | /login/、/login/return/* |
noindex,follow,不进 sitemap |
handler 设置 noindex=true,但 index.html 又固定输出 index,follow;且 robots.txt 禁止抓取 |
| 注册 | /register/ |
noindex,follow,不进 sitemap |
同登录页,存在冲突 robots 标签 |
| 个人中心 | /user-center/ |
noindex,nofollow,不进 sitemap |
已输出 noindex,nofollow,但 robots.txt 同时禁止抓取 |
| 充值 | /deposit/、/deposit/:tab/ |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 收藏 | /collect/... |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 观看历史 | /history/... |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 账号设置 | /setting/ |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 编辑资料 | /edit-profile/ |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 修改密码 | /edit-password/ |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 站内搜索 | /search/、/search/:keyword/... |
noindex,follow |
模板已 noindex,但 robots.txt 禁止抓取,爬虫可能看不到 noindex |
| 问题反馈 | /feedback/ |
noindex,nofollow |
已 noindex;robots.txt 同时禁止抓取 |
| 404/无效页面 | 未匹配路由、无效详情/分页 | 正确返回 HTTP 404/410,并 noindex,follow |
统一 404 模板已 noindex;部分无效聚合页仍可能返回 200 |
| 空富文本入口 | /richtext/ |
返回 404 并禁止索引 | 当前因标题为空而进入统一 404,方向正确 |
| UI 弹窗片段 | /ui/dialog/:name |
不索引;建议响应头 X-Robots-Tag: noindex,并从 robots.txt 禁止抓取 |
当前未设置索引响应头,robots.txt 也没有 /ui/ 规则 |
| 健康检查 | /healthz |
不索引;建议 X-Robots-Tag: noindex |
当前只是 200 JSON,无索引响应头,也未在 robots.txt 禁止 |
四、重复 URL:自身不索引,只让目标 URL 索引
| 重复/历史路由 | 当前行为 | 建议 |
|---|---|---|
/tag-list/... |
handler 301 到 /tag/... |
正确;不要进入 sitemap |
/more/... |
handler 301 到 /topic/... |
正确;不要进入 sitemap |
/list/ai-series/... |
301 到 /series/... |
正确;不要进入 sitemap |
| 查询参数版分页/筛选 URL | 多数 handler 会重定向到路径式 canonical | 保持 301,只提交最终 canonical |
| 非规范 slug/ID URL | detail/category/topic 等尝试跳转规范 slug | 保持 301;旧 URL 不进入 sitemap |
五、非 HTML 路由和资源的索引策略
| 路由/资源 | 是否需要搜索索引 | 推荐控制方式 |
|---|---|---|
/api/* |
不需要 | 保持 robots.txt 限制抓取;对可直接访问的 JSON 响应统一增加 X-Robots-Tag: noindex |
/h5/*、/enkey、/newenkey |
不需要 | 保持 robots.txt 禁止;视频/密钥响应可加 X-Robots-Tag: noindex |
/robots.txt、/sitemap.xml、/sitemaps/*.xml |
需要允许抓取,但不作为普通网页参与排名 | 返回正确状态和 Content-Type;无需放进 sitemap |
| Google/百度/Bing/IndexNow 验证文件 | 需要允许验证爬虫访问,不需要普通搜索索引 | 保持可访问;可选 X-Robots-Tag: noindex,不得放入 sitemap |
/favicon.*、/static/* |
允许抓取以支持页面渲染和搜索展示,不作为 HTML 页面索引 | 不要整体 Disallow 静态 CSS/JS/图片 |
六、分页页是否索引
建议有效分页页继续 index,follow,包括:
/list/.../page/:page//series/.../page/:page//tag/.../page/:page//rank/.../page/:page//today-update/page/:page//category/.../page/:page//topic/.../page/:page/
必须满足:
- 每一页有唯一 URL。
- 每一页使用自引用 canonical,不能全部 canonical 到第 1 页。
- 分页越界返回 404。
- 上一页/下一页使用真实
<a href>,保证爬虫发现深层内容。 - 不需要为了分页强制写完全不同的 title/description;Google 可以识别分页序列,但加“第 N 页”更利于人工排查和结果辨识。
七、当前实现的优先级问题
高优先级
-
robots.txt 与 noindex 冲突
- 范围:登录、注册、搜索、账户、反馈页面。
- 证据:
app/templates/page/robots.txt:14-25同时禁止这些路径,而页面模板又输出noindex。 - 影响:爬虫被挡住后无法读取
noindex,URL 仍可能以无摘要形式出现在结果中。 - 修复:若目标是“绝不进入搜索结果”,允许抓取这些 HTML URL并保留
noindex;私密内容本身必须通过鉴权保护,不能依赖 robots.txt。
-
登录/注册页存在相反 robots 指令
- 范围:
/login/*、/register/。 - 证据:
app/api/web/index.go:35-36设置noindex,seoCommon.html:12输出noindex,follow,但index.html:10又输出index,follow。 - 影响:虽然 Google通常采用更严格规则,但重复冲突不利于跨搜索引擎一致性和测试。
- 修复:全站只保留一个由公共模板控制的 robots 标签。
- 范围:
-
空内容和接口故障页仍可索引
- 范围:标签、分类、专题、榜单、今日更新、应用等聚合页。
- 影响:soft 404、低质量索引、抓取预算浪费。
- 修复:区分“不存在”“合法为空”“上游故障”;分别返回 404、
200 + noindex、503。
中优先级
- 播放页无条件索引:应按章节存在性、可播放性和内容唯一性控制。
- 任意富文本均可索引:应建立可索引白名单或后台
indexable字段。 - 导航页可能多域重复:主站
/nav/与独立导航站需确定唯一 canonical。 - 法律页面默认索引:若无自然搜索目标,用户协议和隐私政策改为
noindex,follow。
低优先级
- 全站重复 meta robots:
seoCommon.html与每个页面模板各输出一条,应统一到公共模板。 - 本地未发现 sitemap XML 文件:路由读取
./templates/page/sitemaps,当前仓库扫描未找到生成产物;需确认部署流程会生成并正确挂载,否则/sitemap.xml可能 404。
八、建议的最终索引矩阵
| 策略 | 页面 |
|---|---|
index,follow |
首页、有效短剧/剧集列表、有效标签、排行榜、今日更新、有效分类、专题总览与有效专题、下载 APP、非空福利应用、短剧详情、关于我们、帮助中心、有效分页 |
条件 index |
播放章节、回家的路、官方导航、通用富文本、稀疏标签/分类/专题 |
noindex,follow |
登录、注册、站内搜索、用户协议、隐私政策、合法但暂时空的公开聚合页 |
noindex,nofollow |
个人中心、充值、收藏、历史、设置、编辑资料、修改密码、反馈 |
| 301 | /tag-list/*、/more/*、/list/ai-series/*、查询参数和旧 slug 变体 |
| 404/410 | 不存在的内容、无效 slug、越界分页 |
| 503 | 上游故障导致无法生成正常内容的公开页面 |
X-Robots-Tag: noindex |
/ui/dialog/*、/healthz、可直接访问的 API/非 HTML 工具响应 |
参考依据
- Google:使用 noindex 阻止编入索引
- Google:robots meta 与 X-Robots-Tag 规范
- Google:robots.txt 不是阻止网页进入索引的机制
- Google:分页与增量加载最佳实践
实施结果(2026-09-08)
已按上述矩阵完成以下代码调整:
- 全站 robots meta 收口到
seoCommon.html,每个 HTML 页面只输出一条规则。 - 登录、注册、搜索、账户、充值、收藏、历史、设置、编辑资料、修改密码、反馈和 404 已明确设置 noindex。
- 用户协议、隐私政策和任意通用富文本默认
noindex,follow;关于我们、帮助中心继续索引。 /richtext/关于我们/等重复地址会 301 到固定语义路由;页脚也直接生成语义路由。- 空短剧列表、空剧集、空标签、空分类、空榜单、空今日更新、空专题和空福利应用自动
noindex,follow。 - 明确请求但不存在的播放章节返回 404;无法取得默认章节的播放页设置 noindex。
/api/*、/ui/*、/healthz、媒体代理与密钥响应增加X-Robots-Tag: noindex, nofollow。robots.txt不再阻止登录、搜索和账户 HTML,使爬虫能够读取页面的 noindex;继续限制非 HTML 接口与媒体工具路由。robots.txt合并为一个User-agent: *规则组,避免原先的 Disallow 只落在最后一个特定爬虫分组下。
仍需由部署配置决定的事项:主站 /nav/、独立导航站首页和 /home-road/ 跨域时,哪一个域名作为唯一 canonical;代码无法在没有目标域名配置的情况下安全替用户做这个选择。