工作背景
围绕软件日志的采集与使用,独立负责三条日志系统的设计开发,组织客户端采集、消息传输、处理、存储与检索流程。
日志处理链路
01客户端采集
02Kafka
03Logstash
04Elasticsearch / 数据库
通过日志分类、清洗与格式转换,将采集数据整理为可持久化、可检索的日志信息。
个人职责
- 链路设计与实现:搭建客户端采集到消息、处理和存储层的日志处理流程。
- 数据处理:实现日志分类、清洗、格式转换与持久化。
- 查询功能:开发可视化查询页面,支持多条件筛选与日志定位。
- 服务部署:完成日志服务部署,并为下游推荐功能提供用户行为数据支撑。
交付内容
交付日志处理服务及查询页面,覆盖从数据接入到业务检索的主要使用流程。