阿里云sls日志服务用业务时间替换系统时间进行搜索
1. 情况说明
正常情况下，我们在搜索【阿里云日志】进行【时间范围】选择的时候，是用的是【系统时间】，但我们也可以用【收集的日志的业务字段】进行替换，这对于【历史数据的导入】非常有效。
需要参考的文档:
日志格式参考：https://help.aliyun.com/document_detail/28980.html
提取日志时间插件说明：https://help.aliyun.com/document_detail/196161.html
使用 processor_strptime 插件
ilogtail 相关启动参数：https://help.aliyun.com/document_detail/32278.html
"discard_old_data" : false 是否丢弃历史日志。默认值：true，表示丢弃距离当前时间超过12小时的日志。
2. 接入数据json 默认
如上图设置
3. 接入数据为 mysql 查询
{
"inputs": [
{
"detail": {
"User": "root",
"DataBase": "xxx",
"StateMent": "select * from deploylj_gitlabcommit where id > ?",
"CheckPointStart": "0",
"IntervalMs": 60000,
"PageSize": 100,
"Password": "hello123",
"CheckPointSavePerPage": true,
"CheckPointColumn": "id",
"CheckPointColumnType": "int64",
"Address": "1.1.1.1:30326",
"CheckPoint": true,
"Limit": true
},
"type": "service_mysql"
}
],
"processors":[
{
"type":"processor_strptime",
"detail": {
"SourceKey": "commit_authored_date",
"Format": "%Y-%m-%d %H:%M:%S.000000"
}
}
]
}
0顶
0 踩
共 0 条评论