2025年5月30日下午，在电信楼大数据运维实训室顺利举行了Hadoop生态下的大数据平台构建与实战应用典型生产实训项目教学活动。参与活动的主要成员有教务处老师及大数据专业学生。

在活动前期筹备阶段，大数据技术教研室针对此次活动展开了专项教研，共同探讨该活动的相关内容及实施过程等细节，认真筹划、精心设计，最终将本次活动内容定为“使用Flume工具实现电商日志数据的采集任务”。旨在让同学们在学习专业技能的同时，也时刻关注前沿的科学技术，时刻保持一颗学习的心态。

活动以“技术实战+自主可控”为主线，系统讲解Flume日志采集工具的核心原理、部署流程及电商场景实战应用，同时融入国产化技术安全思考，指出：“开源≠自主可控，大数据工程师必须兼备技术应用能力与安全意识”，引发学生对国产化替代方案的深度讨论。助力学生构建安全可靠的大数据采集能力。

实训环节涵盖Flume 1.9.0版本下载、环境变量配置、Agent启动等全流程操作，并基于Hadoop集群验证服务运行状态。学生通过模拟电商平台订单日志数据（如“2024-03-13 22:34:20,玩具,49.06”等日志）进行日志数据采集。活动过程中同学们高度参与，能够独立的完成电商日志数据的采集任务。

 

1 活动过程展示（1）

 

2 活动过程展示（2）

通过本次《Flume日志数据采集实战》教学活动，学生们系统掌握了大数据采集工具的核心架构与全流程部署能力，深化了对分布式日志采集、高可靠性传输等技术的理解。教学活动紧密围绕“技术应用与安全可控”双主线，通过剖析Flume开源项目的潜在风险案例，引导学生树立技术安全意识，为培养兼具专业技能与创新思维的大数据人才奠定坚实基础。

 

 

撰稿人：张凤丽

日期：2025年6月4日