基于Spark的大数据日志分析系统设计与实现

博主介绍：
✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W+粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台的优质作者。通过长期分享和实战指导，我致力于帮助更多学生完成毕业项目和技术提升。
技术范围：
我熟悉的技术领域涵盖SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等方面的设计与开发。如果你有任何技术难题，我都乐意与你分享解决方案。
🍅获取源码请在文末联系我🍅
温馨提示：文末有 CSDN 平台官方提供的阿龙联系方式的名片！
温馨提示：文末有 CSDN 平台官方提供的阿龙联系方式的名片！

2 相关工具及介绍

2.6 环境部署

本项目hadoop核心代码：

package com.example.demo.hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration as SpringConfig; import java.net.URI; @SpringConfig public class HadoopConfig { @Bean public FileSystem fileSystem() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); // 改成你的 NameNode 地址 conf.set("dfs.client.use.datanode.hostname", "true"); // 如果用主机名访问 return FileSystem.get(new URI("hdfs://namenode:8020"), conf, "hadoop"); // 第三个参数是Hadoop用户 } } package com.example.demo.hadoop; import org.apache.hadoop.fs.*; import org.springframework.stereotype.Service; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; @Service public class HdfsService { private final FileSystem fileSystem; public HdfsService(FileSystem fileSystem) { this.fileSystem = fileSystem; } public void upload(String localPath, String hdfsPath) throws IOException { fileSystem.copyFromLocalFile(false, true, new Path(localPath), new Path(hdfsPath)); } public void download(String hdfsPath, String localPath) throws IOException { fileSystem.copyToLocalFile(false, new Path(hdfsPath), new Path(localPath)); } public String readFile(String hdfsPath) throws IOException { try (FSDataInputStream in = fileSystem.open(new Path(hdfsPath))) { return new String(in.readAllBytes()); } } public void writeFile(String hdfsPath, String content) throws IOException { try (FSDataOutputStream out = fileSystem.create(new Path(hdfsPath), true)) { out.writeBytes(content); } } public FileStatus[] listFiles(String dirPath) throws IOException { return fileSystem.listStatus(new Path(dirPath)); } }

本项目Spark核心代码：

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.5.1</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.5.1</version> <scope>provided</scope> </dependency> package com.example.demo.spark; import org.apache.spark.sql.SparkSession; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class SparkConfig { @Bean(destroyMethod = "stop") public SparkSession sparkSession() { return SparkSession.builder() .appName("SpringBootSparkApp") .master("local[*]") // 测试用本地模式，部署到集群时去掉或改成 yarn/k8s .getOrCreate(); } } package com.example.demo.spark; import org.springframework.web.bind.annotation.*; @RestController @RequestMapping("/spark") public class SparkController { private final SparkService sparkService; public SparkController(SparkService sparkService) { this.sparkService = sparkService; } @GetMapping("/wordcount") public String wordCount(@RequestParam String path) { return sparkService.runWordCount(path); } @GetMapping("/sql") public String sqlExample() { return sparkService.runSimpleSqlExample(); } } package com.example.demo.spark; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; import org.springframework.stereotype.Service; @Service public class SparkService { private final SparkSession spark; public SparkService(SparkSession spark) { this.spark = spark; } public String runWordCount(String filePath) { Dataset<Row> df = spark.read().text(filePath); Dataset<Row> wordCounts = df .selectExpr("explode(split(value, ' ')) as word") .groupBy("word") .count() .orderBy(org.apache.spark.sql.functions.desc("count")); wordCounts.show(); // 控制台输出 return wordCounts.limit(10).collectAsList().toString(); } public String runSimpleSqlExample() { Dataset<Row> df = spark.read().json("examples/src/main/resources/people.json"); df.createOrReplaceTempView("people"); Dataset<Row> sqlDF = spark.sql("SELECT name, age FROM people WHERE age > 21"); sqlDF.show(); return sqlDF.collectAsList().toString(); } }

本项目Hive核心代码：

package com.example.demo.hive; import org.springframework.stereotype.Service; import java.sql.*; @Service public class HiveService { private final Connection connection; public HiveService(Connection connection) { this.connection = connection; } public String runQuery(String sql) throws SQLException { try (Statement stmt = connection.createStatement(); ResultSet rs = stmt.executeQuery(sql)) { StringBuilder sb = new StringBuilder(); ResultSetMetaData meta = rs.getMetaData(); int colCount = meta.getColumnCount(); // 表头 for (int i = 1; i <= colCount; i++) { sb.append(meta.getColumnName(i)).append("\t"); } sb.append("\n"); // 数据 while (rs.next()) { for (int i = 1; i <= colCount; i++) { sb.append(rs.getString(i)).append("\t"); } sb.append("\n"); } return sb.toString(); } } public void runUpdate(String sql) throws SQLException { try (Statement stmt = connection.createStatement()) { stmt.execute(sql); } } }

本次案例系统实现界面展示：

2.9测试用例

（1）用户登陆测试用例

表 6-1 用户登录用例表

项目/软件		编制时间		20xx/xx/xx
功能模块名	用户登陆模块	用例编号		xxxx
功能特性	用户身份验证
测试目的	验证是否输入合法的信息，允许合法登陆，阻止非法登陆
测试数据	用户名=1密码=a1身份= 非认证用户
操作步骤	操作描述	数据	期望结果		实际结果	状态
1	输入用户名和密码	用户名= 1密码=1	显示进入后的页面。		同期望结果。	正常
2	输入用户名和密码	用户名= 1密码=aaa	显示警告信息“不存在该用户名或密码错误！”		同期望结果。	正常
3	输入用户名和密码	用户名= aaa密码=1	显示警告信息“不存在该用户名或密码错误”		同期望结果。	正常
4	输入用户名和密码	用户名=“” 密码=“”	显示警告信息“用户名密码不能为空！”		同期望结果。	正常

（2）用户注册测试用例

表 6-2 用户注册用例表

项目/软件			编制时间	20xx/xx/xx
功能模块名	用户注册模块		用例编号	xxxx
功能特性	用户注册
测试目的	验证私注册是否成功，注册数据是否合法
测试数据	用户名=aaa 密码=aaa电子邮件=dwa@qq.com
操作步骤	操作描述	数据			期望结果	实际结果	测试状态
1	输入注册数据	用户名= aaa密码=aaa 电子邮件=dwa@qq.com			提示：注册成功！转入用户主页	同期望结果。	正常
2	输入注册数据	用户名= aaa密码=aaa 电子邮件=dwa@qq.com			提示：用户名已注册	同期望结果。	正常
3	输入注册数据	用户名= aaa密码=”” 电子邮件=dwa@qq.com			提示：密码不能为空	同期望结果。	正常
4	输入注册数据	密码=aaa 电子邮件=dwa@qq.com			提示：用户名为空	同期望结果。	正常