📋 实验内容概述
本次实验分为两大部分:Linux基础命令操作和Hadoop环境实践,旨在为后续大数据实验打下坚实的基础。
🎯 具体完成内容
一、Linux操作部分(2.5小时)
- 目录操作命令
成功掌握的cd命令操作
cd /usr/local # 切换到指定目录
cd .. # 返回上级目录
cd ~ # 返回用户主目录
ls命令查看文件列表
ls /usr # 查看/usr目录内容
ls -l /usr # 详细信息查看
- 文件与目录管理
目录创建与删除
mkdir /tmp/a # 创建单级目录
mkdir -p a1/a2/a3/a4 # 创建多级目录
rmdir a # 删除空目录
rmdir -p a1/a2/a3/a4 # 递归删除空目录
文件操作
cp ~/.bashrc /usr/bashrc1 # 复制并重命名
mkdir /tmp/test # 创建测试目录
cp -r /tmp/test /usr # 递归复制目录
-
文件内容查看
cat ~/.bashrc # 查看文件全部内容
tac ~/.bashrc # 反向查看内容
more ~/.bashrc # 分页查看
head -20 ~/.bashrc # 查看前20行
tail -20 ~/.bashrc # 查看后20行 -
文件管理与权限
touch /tmp/hello # 创建空文件
sudo chown root /tmp/hello # 修改文件所有者
find ~ -name ".bashrc" # 查找文件
grep "examples" ~/.bashrc # 查找字符串 -
环境变量配置
编辑~/.bashrc文件,添加Java环境变量
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bashrc # 使配置生效
echo $JAVA_HOME # 验证配置
二、Hadoop操作部分(1.5小时)
- Hadoop服务管理
启动Hadoop服务
/usr/local/hadoop/sbin/start-dfs.sh
检查服务状态
jps
- HDFS基本操作
创建用户目录
hadoop fs -mkdir -p /user/hadoop
创建测试目录并查看
hadoop fs -mkdir /user/hadoop/test
hadoop fs -ls /user/hadoop
文件上传下载操作
hadoop fs -put ~/.bashrc /user/hadoop/test/
hadoop fs -ls /user/hadoop/test
hadoop fs -get /user/hadoop/test /usr/local/hadoop/
⚠️ 遇到的问题及解决方案
问题1:Hadoop安全模式阻碍操作
• 现象:执行HDFS操作时提示"Name node is in safe mode"
• 原因分析:NameNode启动时进行块检查,自动进入安全模式
• 解决方案:
hdfs dfsadmin -safemode get # 确认安全模式状态
hdfs dfsadmin -safemode leave # 退出安全模式
问题2:系统权限不足
• 现象:在系统目录操作时出现"Permission denied"错误
• 解决方案:合理使用sudo权限,理解Linux权限机制
问题3:环境变量不生效
• 现象:配置JAVA_HOME后,echo命令显示为空
• 解决方案:使用source命令重新加载配置
📊 技能掌握自评
技能类别 掌握程度 自信心 备注
Linux基础命令 90% ⭐⭐⭐⭐ 命令使用熟练
文件系统操作 85% ⭐⭐⭐⭐ 理解权限机制
环境变量配置 80% ⭐⭐⭐ 需要更多实践
Hadoop服务管理 75% ⭐⭐⭐ 初步掌握启动流程
HDFS基本操作 70% ⭐⭐⭐ 需要加强练习
💡 学习心得与收获
- 系统性理解:通过实验将零散的Linux命令串联成完整的工作流
- 问题解决能力:学会查看错误信息和分析问题根源
- 实践出真知:理论知识通过实际操作得到巩固和深化
- 细节重要性:环境配置和权限管理等细节对成功运行至关重要
🎯 明日学习计划
- 开始实验2 - HDFS深入操作学习
- 重点掌握HDFS Java API编程
- 理解HDFS架构原理和副本机制
- 完成文件读写的高级功能实现
🌟 今日亮点
• 成功独立解决Hadoop安全模式问题
• 建立了完整的Linux命令知识体系
• 实现了本地文件系统与HDFS的无缝交互