数据处理与清洗:使用 Python 和正则表达式对海量非结构化或半结构化数据(如 txt、json、excel 等)进行高效的清洗、提取和预处理,保障下游数据质量。
大数据管道开发:参与基于 Hadoop 和 Spark 的数据处理流程开发,编写和维护日常数据流转任务,协助构建高效的数据管道。
算法应用与优化:在复杂的数据逻辑处理中,应用双指针、动态规划及图树遍历等算法思想,并对代码的时间与空间复杂度进行持续优化。
工程运维与自动化:在 Linux 环境下进行远程开发(熟练使用 VSCode / PyCharm),编写 Bash 脚本进行日常任务调度与服务器运维。
AI 辅助研发:积极拥抱新技术,在日常开发中熟练借助大语言模型(LLM)辅助编写代码、排查异常及分析复杂技术问题,提升团队整体研发效能数据分析工程师