package statdaily import ( "context" "stat/common/log" "stat/common/statutils" "stat/common/utils" "stat/models/appInfoMod" statrecordmod "stat/models/statrecord" "time" ) /* * 主要统计任务: * 1、统计每天的app的直推访问数、裂变访问数、次日留存率、3日留存率、7日留存率。(表格) * 2、按5分钟一个点,记录实时数据 app(新增、访问数....)。(曲线图) */ // RunDayStat 任务1:统计前一天日活(每天1点开始统计) func RunStat(defaultStatDate time.Time) error { log.Info("daily stat running...") ctx := context.Background() recordMap := defaultTimeMap(defaultStatDate) // 1.获取统计项上次统计的时候(每天执行) recoredResult, err := statrecordmod.LastRecordTimeMap(ctx, statrecordmod.DailyStatDayJob) //第一次从默认记录时间开始统计 if err != nil { log.Error("Daily RunStat lastRecordTime failed!", log.E(err)) return err } for _, record := range recoredResult { recordMap[record.Item] = record.RecordTime } appIds, err := appInfoMod.GetAppIds(ctx) if err != nil { log.Error("daily RunStat GetAppIds failed!", log.E(err)) return err } statFrq := 24 * time.Hour // 统计频率 curStatTime := utils.BeginOfToday() // 本次统计时间 for item, lastStatAt := range recordMap { _lastStatAt := lastStatAt for curStatTime.After(_lastStatAt) { end := _lastStatAt.Add(statFrq) // 超过本次统计结束时间,则结束 if end.After(curStatTime) { end = curStatTime } // 根据时间段统计数据 err := runStatMethod(ctx, item, _lastStatAt, end, appIds) if err != nil { log.Error("daily statByTimeRange failed!", log.E(err), log.Any("item", item)) return err } _lastStatAt = end } recordMap[item] = _lastStatAt } return nil } // 实时统计每天的情况 func RunStatToday() error { ctx := context.Background() now := time.Now().Add(time.Minute * -5) start := utils.BeginWithTime(now) end := utils.EndWithTime(now) log.Info("daily today stat running...") appIds, err := appInfoMod.GetAppIds(ctx) if err != nil { log.Error("daily today RunStat GetAppIds failed!", log.E(err)) return err } var lastErr error for item, statMethod := range statMethodMap { // 调用统计方法,获取数据 err = statutils.ServerMon.RunWithName(func() error { return statMethod(ctx, start, end, appIds) }, statutils.GetFuncName(statMethod)) if err != nil { lastErr = err log.Error("Daily today stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err)) } } return lastErr } // runStatMethod 调用统计项方法 func runStatMethod(ctx context.Context, item string, start, end time.Time, appIds []int32) (err error) { // 1.获取统计方法 statMethod, ok := statMethodMap[item] if !ok { return nil } // 调用统计方法,获取数据 err = statutils.ServerMon.RunWithName(func() error { return statMethod(ctx, start, end, appIds) }, statutils.GetFuncName(statMethod)) if err != nil { log.Error("Daily stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err)) return err } // 3.更新记录 if err := statrecordmod.UpsertItemRecord(ctx, statrecordmod.DailyStatDayJob, item, end); err != nil { log.Error("Daily stat commit UpsertItemRecord failed!", log.E(err)) return err } return nil }