Initial commit

2026-05-20 16:13:58 +08:00
commit ceffbe382e
500 changed files with 157469 additions and 0 deletions
@@ -0,0 +1,119 @@
+package statdaily
+
+import (
+	"context"
+	"stat/common/log"
+	"stat/common/statutils"
+	"stat/common/utils"
+	"stat/models/appInfoMod"
+	statrecordmod "stat/models/statrecord"
+	"time"
+)
+
+/*
+*	主要统计任务:
+*	1、统计每天的app的直推访问数、裂变访问数、次日留存率、3日留存率、7日留存率。（表格）
+* 	2、按5分钟一个点，记录实时数据 app（新增、访问数....）。（曲线图）
+ */
+
+// RunDayStat 任务1:统计前一天日活（每天1点开始统计）
+func RunStat(defaultStatDate time.Time) error {
+	log.Info("daily stat running...")
+	ctx := context.Background()
+	recordMap := defaultTimeMap(defaultStatDate)
+
+	// 1.获取统计项上次统计的时候(每天执行)
+	recoredResult, err := statrecordmod.LastRecordTimeMap(ctx, statrecordmod.DailyStatDayJob) //第一次从默认记录时间开始统计
+	if err != nil {
+		log.Error("Daily RunStat lastRecordTime failed!", log.E(err))
+		return err
+	}
+	for _, record := range recoredResult {
+		recordMap[record.Item] = record.RecordTime
+	}
+
+	appIds, err := appInfoMod.GetAppIds(ctx)
+	if err != nil {
+		log.Error("daily RunStat GetAppIds failed!", log.E(err))
+		return err
+	}
+
+	statFrq := 24 * time.Hour           // 统计频率
+	curStatTime := utils.BeginOfToday() // 本次统计时间
+
+	for item, lastStatAt := range recordMap {
+		_lastStatAt := lastStatAt
+		for curStatTime.After(_lastStatAt) {
+			end := _lastStatAt.Add(statFrq)
+
+			// 超过本次统计结束时间，则结束
+			if end.After(curStatTime) {
+				end = curStatTime
+			}
+			// 根据时间段统计数据
+			err := runStatMethod(ctx, item, _lastStatAt, end, appIds)
+			if err != nil {
+				log.Error("daily statByTimeRange failed!", log.E(err), log.Any("item", item))
+				return err
+			}
+			_lastStatAt = end
+		}
+		recordMap[item] = _lastStatAt
+	}
+	return nil
+}
+
+// 实时统计每天的情况
+func RunStatToday() error {
+	ctx := context.Background()
+
+	now := time.Now().Add(time.Minute * -5)
+	start := utils.BeginWithTime(now)
+	end := utils.EndWithTime(now)
+
+	log.Info("daily today stat running...")
+
+	appIds, err := appInfoMod.GetAppIds(ctx)
+	if err != nil {
+		log.Error("daily today RunStat GetAppIds failed!", log.E(err))
+		return err
+	}
+	var lastErr error
+	for item, statMethod := range statMethodMap {
+		// 调用统计方法，获取数据
+		err = statutils.ServerMon.RunWithName(func() error {
+			return statMethod(ctx, start, end, appIds)
+		}, statutils.GetFuncName(statMethod))
+		if err != nil {
+			lastErr = err
+			log.Error("Daily today stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err))
+		}
+	}
+	return lastErr
+}
+
+// runStatMethod 调用统计项方法
+func runStatMethod(ctx context.Context, item string, start, end time.Time, appIds []int32) (err error) {
+	// 1.获取统计方法
+	statMethod, ok := statMethodMap[item]
+	if !ok {
+		return nil
+	}
+
+	// 调用统计方法，获取数据
+	err = statutils.ServerMon.RunWithName(func() error {
+		return statMethod(ctx, start, end, appIds)
+	}, statutils.GetFuncName(statMethod))
+
+	if err != nil {
+		log.Error("Daily stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err))
+		return err
+	}
+
+	// 3.更新记录
+	if err := statrecordmod.UpsertItemRecord(ctx, statrecordmod.DailyStatDayJob, item, end); err != nil {
+		log.Error("Daily stat commit UpsertItemRecord failed!", log.E(err))
+		return err
+	}
+	return nil
+}