23 KiB
jha-1045-hgdjnet-web SEO 收录审计报告
审计日期:2026-09-22
审计范围:app/template/pages、公共模板、页面路由、TDK 注入链路、canonical/robots、JSON-LD、sitemap、独立导航服务,以及本地 SSR 最终响应。
目标搜索引擎:Google、Bing、Yandex。
一、结论
当前项目已经具备较完整的 SSR SEO 基础设施,但暂不建议按现状直接上线并开放全站抓取。
- 32/32 个页面模板均有
lang="zh-CN"、charset、viewport、唯一<title>、统一 SEO 公共片段、<main>和一个<h1>。 - 主站公开页能输出绝对 canonical、robots、Open Graph、Twitter Card 和 JSON-LD;搜索、账户页与 404 的 noindex 策略基本正确。
- 路径型筛选和分页 URL 已经取代页面链接中的查询参数,分页第 2 页以后具有独立 title、description 与 canonical。
- 本轮已经阻止软 404、无限分页和重复筛选 URL 进入索引;仍有 5 项高优先级内容质量/结构化数据问题:跨栏目重复 TDK、品牌信息冲突、动态 URL 未进入 sitemap、Organization logo 结构化数据失效、
series-play播放页没有 VideoObject。
综合判断:
| 引擎 | 当前判断 | 主要风险 |
|---|---|---|
| 收录边界已明确,但富媒体与页面质量仍需优化 | 重复标题、结构化数据与页面不一致、视频页标记缺失 | |
| Bing | 重复 URL 已禁止索引,但元数据区分度仍不足 | 相同 TDK、动态 sitemap 覆盖不足 |
| Yandex | 与其他搜索引擎使用统一 robots 策略 | 非主域名统一 noindex;sitemap 覆盖仍不足 |
本轮收录策略优化结果
已将页面收录规则改为公开页白名单;未明确归类的新页面默认 noindex,follow,避免后续新增路由意外进入索引。
| 状态 | 页面类型与路由 |
|---|---|
index,follow |
首页;关于、帮助与法律合规页;主列表默认排序;有效题材/媒体/专题/标签/榜单页;有效分页;短剧及视频播放详情页 |
noindex,follow |
站内搜索;独立导航页;列表/专题/标签排序变体;首页配置列表的时间/题材筛选变体;播放页推荐翻页;重复的默认参数路径;无效标签、专题、配置页;越界分页;404 |
noindex,nofollow |
登录、注册、个人中心、历史、收藏、已购、设置、充值、反馈等用户或交易页面 |
HTTP X-Robots-Tag: noindex, nofollow |
API、M3U8、密钥和健康检查等非 HTML 工具接口 |
主域名使用配置接口动态返回的 foreverUrlAddr,不使用当前请求 Host、SEO canonical 或最新地址作为主域名回退。只有永久域名 Host 的公开白名单页面允许索引;CloudFront、旧域名及其他备用 Host 对所有搜索引擎统一输出:
<meta name="robots" content="noindex,nofollow">
非主域名及主域名自身的 noindex 页面均不输出 canonical 或 JSON-LD。所有 noindex HTML 页面同时发送对应的 X-Robots-Tag 响应头。
二、审计方法与边界
本次完成:
- 静态扫描 422 个项目文件和 32 个页面模板。
- 检查所有页面模板的 title、description、robots、canonical、H1–H6、main、图片 alt 和外链 rel。
- 跟踪
seoInfo → 导航 SEO → 筛选条件 → 本地兜底的 TDK 获取与合并流程。 - 检查 JSON-LD 的生成分支及页面可见内容一致性。
- 临时启动本地
25121主站和26813导航站,抽查最终 SSR 响应,而非只检查模板源码。 - 解析代表页面 JSON-LD;抽查 sitemap XML 通过
xmllint语法校验。
限制:当前站点尚未上线,因此没有做搜索引擎控制台、线上 CDN、真实爬虫日志与 Google Rich Results Test 的线上 URL 校验。本轮使用配置接口动态返回的永久域名及不同 Host 请求本地 SSR 服务,验证了主域名、CloudFront 和旧域名的最终输出。
三、页面类型矩阵
| 页面类型 | 代表路由 | robots/canonical | H 标签 | JSON-LD | 结论 |
|---|---|---|---|---|---|
| 首页 | / |
index,follow;绝对自 canonical |
1 个 H1 | Organization、WebSite、WebPage、ItemList | 基础通过;品牌/H1 与 TDK 不一致 |
| 短剧列表 | /list/... |
默认排序与有效筛选 index;排序变体、无效实体和越界分页 noindex | 1 个 H1 | CollectionPage、BreadcrumbList、ItemList | 收录边界已清理;仍需解决 TDK 重复 |
| 视频列表 | /series/... |
默认排序与有效筛选 index;排序变体、无效实体和越界分页 noindex | 1 个 H1 | CollectionPage、BreadcrumbList、ItemList | 收录边界已清理;JSON-LD 名称仍有双品牌风险 |
| 专题/榜单/标签 | /topic、/topic-detail/...、/rank/...、/tags/... |
有效实体/榜单 index;纯排序、无效实体和越界分页 noindex | 1 个 H1 | CollectionPage、BreadcrumbList、ItemList | 收录边界已清理;部分 TDK 仍重复 |
| 更多列表 | /more-list/...、/more-series-list/... |
有效配置基础页及分页 index;筛选变体、无效配置 noindex | 1 个 H1 | WebPage、ItemList | 无效 config ID 已 noindex;仍建议改为 CollectionPage |
| 短剧播放 | /play/:slug/:chapterID |
index;内容 canonical | 1 个 H1 | WebPage、BreadcrumbList、TVSeries、VideoObject、TVEpisode | 标记较完整;title 可能被通用上游 SEO 覆盖 |
| 视频播放 | /series-play/:slug |
index;内容 canonical | 1 个 H1 | 仅 Organization、WebSite、WebPage | 缺少 VideoObject 和结构化面包屑 |
| 关于/帮助/法律页 | /about、/help、/terms 等 |
index;自 canonical | 1 个 H1 | WebPage、BreadcrumbList;帮助页另有 FAQPage | 品牌文案与动态站点名冲突 |
| 搜索页 | /search/:q/... |
noindex,follow;不输出 canonical/JSON-LD |
1 个 H1 | 无 | 策略正确 |
| 登录/账户/充值/反馈 | /login、/profile、/favorites 等 |
noindex,nofollow;不输出 canonical/JSON-LD |
1 个 H1 | 无 | 策略正确 |
| 404 | 任意不存在内容页 | HTTP 404;noindex,follow |
1 个 H1 | 无 | 正确 |
| 独立导航站 | 26813 /、/nav/、/dh/ |
统一 noindex,follow;无 canonical |
1 个 H1 | 无 | 已统一禁止索引 |
四、高优先级问题
P0-1:越界分页和不存在的聚合对象仍返回 200,但已禁止索引
本轮已在统一 SEO 层接入 PageOutOfRange,并为标签、专题、首页配置和分类实体增加有效性标记。越界分页、无效实体及纯排序变体现在均返回 noindex,follow、X-Robots-Tag: noindex, follow,且不输出 canonical/JSON-LD,不再进入索引。
这些 URL 目前仍可能返回 HTTP 200;后续若需要进一步消除软 404,建议对已确认不存在的实体和越界分页直接返回 HTTP 404。
优化前实际响应:
| URL | HTTP | robots | canonical |
|---|---|---|---|
/list/all/0/1/page/999999 |
200 | index,follow | 自指向第 999999 页 |
/series/all/all/1/page/999999 |
200 | index,follow | 自指向第 999999 页 |
/topic/page/999999 |
200 | index,follow | 自指向第 999999 页 |
/tags/biaoqianceshi/page/999999 |
200 | index,follow | 自指向第 999999 页 |
/tags/definitely-not-existing-seo-audit |
200 | index,follow | 自 canonical |
/topic-detail/definitely-not-existing-seo-audit |
200 | index,follow | 自 canonical |
/more-list/999999999 |
200 | index,follow | 自 canonical |
/list/definitely-not-existing-seo-audit |
200 | index,follow | 自 canonical |
其中越界分页的 UI 页码会被分页组件钳制到真实末页,但 canonical 仍保留请求中的极大页码。例如标签第 999999 页最终 title 变为“第2页”,canonical 却仍是 /page/999999。这会生成任意数量的近重复、软 404 URL。
正确行为:
- 数据拉取后,调用现有
PageOutOfRange(page, pageSize, totalCount)。 - 第 2 页及以后越界时直接返回 HTTP 404 +
noindex,follow,不输出 canonical 和 JSON-LD。 - tag/topic/config/theme 无法解析或上游明确返回无数据时返回 404。
- 枚举型路径参数必须白名单校验;无效筛选不能自 canonical 成新的可收录页面。
/play/不存在和/series-play/不存在当前已正确返回 404,可沿用同一模式。
P0-2:多个公开栏目输出完全相同的 TDK
当前优先级是:页面接口 seoInfo 优先,导航 SEO 补空,筛选条件追加,最后才使用本地兜底。这个模型本身合理,但没有判断上游返回的是否只是全站通用 SEO。
本地最终响应中,下列页面输出了相同的 title 和 description:
//list/topic/rank/recently-added/popular-recommend
它们均使用当前上游返回的“麻豆官网|麻豆传媒官方站 最新华语AV免费看”及同一段首页描述。另有:
/rank/2与/popular-recommend/2的 title 和 description 完全相同,仅 canonical 不同。/play/chongchongceshiduanju的 H1 是“虫虫测试短剧”,但<title>被章节seoInfo.title覆盖成全站通用标题并追加数字。
Google 明确建议每个页面使用简洁、描述性、非模板化重复的 title;Bing 也会使用 title、OG 和显著正文综合生成结果标题;Yandex 的标题与摘要同样取自 title、description、正文和结构化数据。当前重复与冲突会导致搜索引擎重写标题、降低页面区分度。
建议:
- 非首页页面不要无条件接受“全站通用 title/description”。增加通用 SEO 检测:若与首页 SEO 完全相同,则回退到页面类型 TDK。
- 每个主栏目设置独立模板:栏目名/筛选名/页码 + 简短站点名;description 描述该栏目实际内容。
- 播放页将
ResolvePlayPageTitle的结果写回最终seoInfo.Title,避免随后又被原始章节 SEO 覆盖。 /rank/:type与/popular-recommend/:type必须体现不同页面意图,不能只追加相同榜单名称。- 对上游 SEO 建立验收条件:非空、包含当前实体或栏目主题、不是首页 TDK、长度合理、与可见 H1 不矛盾。
P0-3:动态品牌与硬编码“黄果短剧”混用
当前上游配置的站点名是“麻豆传媒”,但项目中仍有 141 处“黄果/黄果短剧”硬编码。最终页面出现多套品牌信号:
- 首页
<title>、Organization、WebSite 是“麻豆传媒”,H1 是“黄果短剧”。 /series<title>为“剧集与动画 - 黄果短剧”,JSON-LDWebPage.name被再次追加成“剧集与动画 - 黄果短剧 - 麻豆传媒”。/about、/help、法律页的 title 使用“麻豆传媒”,description/H1/正文仍为“黄果短剧”。- 独立导航页根路径:
<title>是“麻豆官网…”,OG/Twitter 是“黄果短剧 · 官方导航”,H1 是“麻豆传媒官方导航站…”,JSON-LD WebPage 又使用“黄果短剧”。
这不只是品牌展示问题,也会让 title、H1、OG、JSON-LD 互相矛盾。Google 和 Bing 都会综合这些来源重新判断页面标题与站点实体。
建议:
- 先明确该部署到底是“黄果短剧”还是“麻豆传媒”。
- 可复用白标项目应统一使用
siteName/配置品牌变量,避免在 handler、模板、fallback、JSON-LD 中写死品牌。 - 法律文本、帮助 FAQ、邮箱域名、图片 alt、App 文案也必须跟随同一品牌配置,不能只改 head。
- JSON-LD 不应对已经带旧品牌的名称再次追加新品牌。
P0-4:sitemap 仅包含 13 个静态栏目 URL
当前 sitemap XML 语法有效、使用绝对 URL、robots.txt 也正确声明了 Sitemap,但只列出 13 个固定地址:主页、主栏目和静态说明页。
缺失:
- 所有
/play/...和/series-play/...内容页; /tags/...、/topic-detail/...;- 可收录的
/more-list/...、/more-series-list/...; - 有独立搜索意图的筛选页与分页页;
<lastmod>;- 视频 sitemap 或视频扩展字段。
对以动态视频详情为核心的网站,只依赖站内链接发现会降低新内容发现速度,并让孤立或深层内容更难被抓取。Google 建议 sitemap 放入希望出现在搜索结果中的 canonical URL;Yandex 也建议 Sitemap 反映当前站点结构。
建议按类型生成 sitemap index:
sitemap-static.xmlsitemap-playlets.xmlsitemap-videos.xmlsitemap-topics-tags.xml
只收录 200、index、canonical 的真实 URL;lastmod 必须来自真实更新时间。视频内容可增加 Google 支持的视频 sitemap 扩展。
P0-5:Organization.logo 指向 404,且声明尺寸与文件不符
JSON-LD 当前生成:
https://{site}/favicon.png
实际本地响应:
/favicon.png→ 404 HTML/static/favicon.png→ 200image/png- 实际 PNG 尺寸为 132×132,但 JSON-LD 声明 512×512
Google 要求 Organization logo URL 可抓取、可索引,且至少 112×112。现有文件尺寸达最低要求,但 URL 与声明尺寸错误。
建议将 url/contentUrl 改为真实 /static/favicon.png,宽高写真实值;更理想的是提供专用 512×512 品牌 logo 文件,并确认生产 CDN 返回 200 和正确 MIME。
P0-6:series-play 视频播放页没有 VideoObject
短剧播放页能在数据完整时输出:
- WebPage
- BreadcrumbList
- TVSeries
- VideoObject
- TVEpisode
但 /series-play/:slug 实际只输出 Organization、WebSite、WebPage,即使页面存在可见播放器、封面、标题、时长和视频地址,也没有 VideoObject。
Google 的视频富媒体文档要求 VideoObject 至少包含唯一 name、thumbnailUrl 和 uploadDate;推荐提供 contentUrl 或 embedUrl、description、duration。当前 VideoInfoResp 没有可靠发布时间字段,因此需要先补齐上游字段或数据映射,再生成合规 VideoObject,不能虚构日期。
短剧 VideoObject 的现状较好,但锁定内容的实测对象未输出 contentUrl/embedUrl。这不是必填错误,但会降低 Google 获取视频文件与视频搜索展示的能力。
五、中优先级问题
P1-1:独立导航服务入口已统一禁止索引
DHInit 暴露 /、/nav/、/dh/。本轮通过页面数据中的 isNavPage 统一覆盖为 noindex,follow,不再输出 canonical 和 JSON-LD;即使请求 Host 恰好为主域名也不会误收录。
优化前行为为:
/:200、index,但 canonical 指向主站首页,而不是导航站自身;/nav/、/dh/:200、index,却没有 canonical 和 JSON-LD;- 导航服务的
/robots.txt、/sitemap.xml返回 404。
如果导航站需要独立收录,应为导航域名配置独立 origin、统一 title/description/OG/H1/JSON-LD,并只保留一个规范入口;未上线阶段可直接删除多余别名或令其 404。若导航站不需要收录,则三个入口统一 noindex,不要一部分 index、一部分无 canonical。
P1-2:公共 header 的 H2 出现在页面 H1 之前
32 个页面模板自身都只有一个 H1,页面内部 H1→H2→H3 层级基本合理。但公共 header 在正文 H1 之前渲染“搜索历史”“热门搜索”两个 H2,因此多数最终 HTML 的第一个标题标签是 H2,而不是页面主题 H1。
这些只是下拉菜单标签,建议改为 <p>/<div>,保留可访问性属性即可。这样最终 heading outline 从页面 H1 开始,更符合 Bing 对逻辑标题层级的建议,也避免搜索引擎误判页面主题。
P1-3:Breadcrumb JSON-LD 与可见面包屑不完全一致
- 多数列表/法律/帮助页没有可见面包屑,却生成 BreadcrumbList。
- 短剧播放页可见路径是“首页 → 短剧 → 剧名 → 第 N 集”,JSON-LD 缺少“短剧”层级。
series-play有可见面包屑,却没有 BreadcrumbList。
Google 的通用结构化数据规则要求标记代表页面真实、可见的主要内容。建议由同一个 breadcrumb ViewModel 同时渲染 HTML 与 JSON-LD,防止两份逻辑漂移。
P1-4:more-* 集合页仍标记为普通 WebPage
/more-list/... 与 /more-series-list/... 有真实列表和 ItemList,但 isCollectionPath 没包含这两个前缀,因此输出 WebPage。不是语法错误,但改为 CollectionPage 更准确。
六、已通过项
模板与语义标签
- 32/32 页面模板有
<!doctype html>、lang="zh-CN"、charset、viewport、title、统一 SEO 片段、main、H1。 - 每个页面模板静态结构只有一个 H1。
- 290 个
<img>均有 alt 属性。 - 44 个
target="_blank"链接均包含rel="sponsored nofollow noopener"。 - 主要内容由 SSR 输出,不依赖客户端 JavaScript 才能产生 title、description、H1、canonical 或 JSON-LD。
robots 与 canonical
- 主站
robots.txt返回 200,允许抓取 HTML,同时屏蔽 API、播放器工具和健康检查路径。 - 搜索页
noindex,follow,账户/登录/充值等私有页noindex,nofollow。 - 404 返回真实 HTTP 404 与
noindex,follow。 - 所有 noindex 页面均不输出 canonical 和 JSON-LD,避免信号冲突。
- 正常公开页使用绝对 canonical,去除 query 和 fragment。
- 路径型分页第 2 页具有自 canonical、独立页码 TDK、prev/next。
- API/媒体工具响应统一带
X-Robots-Tag: noindex, nofollow。
JSON-LD
- 使用 Google 推荐的 JSON-LD 格式,并由
json.Marshal生成;抽查页面均可正常解析为 JSON。 - 首页与列表页能输出 WebSite/Organization/WebPage 或 CollectionPage/ItemList。
- 帮助页 FAQPage 的问题和答案与页面可见内容一致。
- 短剧播放页仅在有真实封面和发布日期时输出 VideoObject,没有伪造必填字段。
- 结构化数据中的 URL 基本使用绝对 canonical URL。
URL 结构
- 页面筛选、搜索与分页主链接已经使用二级路径形式。
- 模板中未发现业务 HTML 链接继续使用
?filter=、?page=等查询式页面 URL;发现的?v=均为静态资源版本号。
七、TDK 获取链路评价
当前实现:
接口 seoInfo
↓ 缺失字段补齐
导航配置 SEO
↓
当前筛选/排序维度差异化
↓
页面类型本地 fallback
↓
追加品牌、页码
优点:入口集中、字段归一化、分页差异化明确,避免模板各自生成冲突标签。
主要缺口:
- 上游字段只判断“是否非空”,不判断“是否属于当前页面”。
seoInfo.CanonicalURL被解析和保留,但最终 canonical 完全由本地路由重建;如果这是刻意的安全策略,应删除或注释清楚该未生效字段,避免后台运营误以为可配置页面 canonical。- 品牌 fallback 写死“黄果短剧”,与动态
WebSiteName不一致。 - 部分 handler 先生成了正确页面 title,随后仍把原始
seoInfo交给公共层,导致正确 title 被再次覆盖。 - meta keywords 已输出,但 Google 不使用它作为排名信号;不能用 keywords 的完整度代替 title/description 的唯一性与准确性。
建议把最终 TDK 规则收口为:
实体/栏目专属 SEO(通过相关性校验)
> 页面本地语义模板 + 动态品牌
> 全站配置兜底
首页允许使用全站 SEO;非首页如果上游 TDK 与首页完全相同,应自动降级到页面本地模板。
八、建议实施顺序
上线前必须完成
- 所有无效实体、无效 slug/config ID、越界分页返回 404/noindex。
- 修复跨栏目重复 TDK 与播放页 title 覆盖。
- 统一品牌来源,清理 head、H1、正文、OG、JSON-LD 的多品牌冲突。
- 修复 Organization logo URL 和尺寸。
- 为
series-play添加合规 VideoObject;先补真实 uploadDate。 - sitemap 纳入动态 canonical 内容 URL。
上线前建议完成
- 已完成:导航站全部入口统一
noindex,follow,不输出 canonical/JSON-LD。 - 调整公共 header 的 H2,保证正文 H1 是页面第一个主题标题。
- 统一 HTML 与 JSON-LD 面包屑数据源。
- 将
more-*页面标记为 CollectionPage。
上线后验证
- Google Search Console:URL Inspection、Page indexing、Video indexing、Rich results。
- Bing Webmaster Tools:Site Scan、URL Inspection、Sitemaps、IndexNow。
- Yandex Webmaster:Page check、Searchable pages、Sitemap、Duplicate pages。
- 持续监控 404/软 404、重复 title/description、已发现未收录、视频缩略图抓取失败。
九、验收标准
- 任意不存在实体或越界分页:HTTP 404,robots noindex,无 canonical/JSON-LD。
- 每个可收录 URL:唯一且与 H1/正文一致的 title、description。
- 同一页面:title、H1、OG、Twitter、JSON-LD 使用同一品牌与页面主题。
- 每个 canonical:200、可抓取、可索引、无跳转链、同域绝对 URL。
- sitemap:只包含真实 200/index/canonical URL,并覆盖所有核心内容页。
- Organization logo:200 图片响应、正确 MIME、可抓取、尺寸声明真实。
- 所有视频观看页:满足 VideoObject 必填属性;可用时提供 contentUrl 或 embedUrl。
- 仅主站公开白名单页面可索引;导航站全部入口稳定输出 noindex。
十、官方规则参考
- Google:标题链接最佳实践
- Google:结构化数据通用规范
- Google:VideoObject 结构化数据
- Google:视频 SEO 最佳实践
- Google:Organization 结构化数据
- Google:创建和提交 Sitemap
- Bing Webmaster Guidelines
- Bing:标题生成与一致性建议
- Bing:重复内容与搜索可见性
- Yandex:Canonical URLs
- Yandex:Title and description
- Yandex:Sitemap files
十一、构建与校验记录
go test ./app/...:通过;项目 app、router、web、SEO service 等包可编译。go test ./...:失败,原因是仓库既有pub/models缺少videoweb/app/api/proto,以及pub/storage引用未定义的 proxy 符号;与本次 SEO 审计无关。- sitemap XML:
xmllint --noout通过。 - 本轮已完成页面收录白名单、无效实体/越界分页 noindex、导航页 noindex,以及基于动态永久域名的非主域名统一 noindex 规则。