BACKEND ENGINEERING

北京佰陌科技

后端开发实习生 · 2025.11 — 2026.03

主要工作
日志采集与检索系统
职责
设计开发 / 部署 / 查询页面
技术
Kafka / Logstash / Elasticsearch

工作背景

围绕软件日志的采集与使用,独立负责三条日志系统的设计开发,组织客户端采集、消息传输、处理、存储与检索流程。

日志处理链路

01客户端采集
02Kafka
03Logstash
04Elasticsearch / 数据库

通过日志分类、清洗与格式转换,将采集数据整理为可持久化、可检索的日志信息。

个人职责

  • 链路设计与实现:搭建客户端采集到消息、处理和存储层的日志处理流程。
  • 数据处理:实现日志分类、清洗、格式转换与持久化。
  • 查询功能:开发可视化查询页面,支持多条件筛选与日志定位。
  • 服务部署:完成日志服务部署,并为下游推荐功能提供用户行为数据支撑。

交付内容

交付日志处理服务及查询页面,覆盖从数据接入到业务检索的主要使用流程。

KafkaLogstashElasticsearch日志检索