forked from all_user/stat_center
120 lines
3.3 KiB
Go
120 lines
3.3 KiB
Go
package statdaily
|
|
|
|
import (
|
|
"context"
|
|
"stat/common/log"
|
|
"stat/common/statutils"
|
|
"stat/common/utils"
|
|
"stat/models/appInfoMod"
|
|
statrecordmod "stat/models/statrecord"
|
|
"time"
|
|
)
|
|
|
|
/*
|
|
* 主要统计任务:
|
|
* 1、统计每天的app的直推访问数、裂变访问数、次日留存率、3日留存率、7日留存率。（表格）
|
|
* 2、按5分钟一个点，记录实时数据 app（新增、访问数....）。（曲线图）
|
|
*/
|
|
|
|
// RunDayStat 任务1:统计前一天日活（每天1点开始统计）
|
|
func RunStat(defaultStatDate time.Time) error {
|
|
log.Info("daily stat running...")
|
|
ctx := context.Background()
|
|
recordMap := defaultTimeMap(defaultStatDate)
|
|
|
|
// 1.获取统计项上次统计的时候(每天执行)
|
|
recoredResult, err := statrecordmod.LastRecordTimeMap(ctx, statrecordmod.DailyStatDayJob) //第一次从默认记录时间开始统计
|
|
if err != nil {
|
|
log.Error("Daily RunStat lastRecordTime failed!", log.E(err))
|
|
return err
|
|
}
|
|
for _, record := range recoredResult {
|
|
recordMap[record.Item] = record.RecordTime
|
|
}
|
|
|
|
appIds, err := appInfoMod.GetAppIds(ctx)
|
|
if err != nil {
|
|
log.Error("daily RunStat GetAppIds failed!", log.E(err))
|
|
return err
|
|
}
|
|
|
|
statFrq := 24 * time.Hour // 统计频率
|
|
curStatTime := utils.BeginOfToday() // 本次统计时间
|
|
|
|
for item, lastStatAt := range recordMap {
|
|
_lastStatAt := lastStatAt
|
|
for curStatTime.After(_lastStatAt) {
|
|
end := _lastStatAt.Add(statFrq)
|
|
|
|
// 超过本次统计结束时间，则结束
|
|
if end.After(curStatTime) {
|
|
end = curStatTime
|
|
}
|
|
// 根据时间段统计数据
|
|
err := runStatMethod(ctx, item, _lastStatAt, end, appIds)
|
|
if err != nil {
|
|
log.Error("daily statByTimeRange failed!", log.E(err), log.Any("item", item))
|
|
return err
|
|
}
|
|
_lastStatAt = end
|
|
}
|
|
recordMap[item] = _lastStatAt
|
|
}
|
|
return nil
|
|
}
|
|
|
|
// 实时统计每天的情况
|
|
func RunStatToday() error {
|
|
ctx := context.Background()
|
|
|
|
now := time.Now().Add(time.Minute * -5)
|
|
start := utils.BeginWithTime(now)
|
|
end := utils.EndWithTime(now)
|
|
|
|
log.Info("daily today stat running...")
|
|
|
|
appIds, err := appInfoMod.GetAppIds(ctx)
|
|
if err != nil {
|
|
log.Error("daily today RunStat GetAppIds failed!", log.E(err))
|
|
return err
|
|
}
|
|
var lastErr error
|
|
for item, statMethod := range statMethodMap {
|
|
// 调用统计方法，获取数据
|
|
err = statutils.ServerMon.RunWithName(func() error {
|
|
return statMethod(ctx, start, end, appIds)
|
|
}, statutils.GetFuncName(statMethod))
|
|
if err != nil {
|
|
lastErr = err
|
|
log.Error("Daily today stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err))
|
|
}
|
|
}
|
|
return lastErr
|
|
}
|
|
|
|
// runStatMethod 调用统计项方法
|
|
func runStatMethod(ctx context.Context, item string, start, end time.Time, appIds []int32) (err error) {
|
|
// 1.获取统计方法
|
|
statMethod, ok := statMethodMap[item]
|
|
if !ok {
|
|
return nil
|
|
}
|
|
|
|
// 调用统计方法，获取数据
|
|
err = statutils.ServerMon.RunWithName(func() error {
|
|
return statMethod(ctx, start, end, appIds)
|
|
}, statutils.GetFuncName(statMethod))
|
|
|
|
if err != nil {
|
|
log.Error("Daily stat statByTimeRange statMethod failed!", log.Any("statItem", item), log.E(err))
|
|
return err
|
|
}
|
|
|
|
// 3.更新记录
|
|
if err := statrecordmod.UpsertItemRecord(ctx, statrecordmod.DailyStatDayJob, item, end); err != nil {
|
|
log.Error("Daily stat commit UpsertItemRecord failed!", log.E(err))
|
|
return err
|
|
}
|
|
return nil
|
|
}
|