一、大数据方向
 1、技术发展
 计算机网络云计算大数据时代人工智能(本科:使用,研究生:推导,博士:创新)
2023年
 大数据模型
 人工智能元年
2、基础课程
 hadoop
 大数据基础
 三大件:HDFS分布式存储、MapReduce并行计算框架、yarn分布式资源调度框架
hbase
 Hadoop DataBase
 分布式列式数据库
 NoSQL
hive
 数据仓库
 兼容SQL标准
3、提高课程
 Storm
 流式计算
Spark
 一栈式解决方案平台
 批量数据处理
 实时数据处理
 支持语言:Java、Scala、Python、R、SQL
4、其它课程
 NoSQL
 Redis
 MongoDB
消息队列
 Kafka
数据采集
 flume
 爬虫
 Java编程爬虫
 Python编程爬虫
二、VMware软件安装与使用
 1、VMware软件下载与安装
 官网
 https://www.vmware.com/products/workstation-pro.html
下载
 VMware-workstation-full-17.0.0-20800274.exe
安装
 略
查看安装是否成功
 
 
查看服务
 win + R
 
 
设置兼容性
 
2、配置VM的网络
 
 
查看网关
 
查看DHCP
 
三、CentOS7安装与配置
 1、下载镜像
 下载地址
 http://isoredirect.centos.org/centos/7/isos/x86_64/
东软
 http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/
阿里云
 http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/
确定版本(最小化)
 CentOS-7-x86_64-Minimal-2009.iso
2、安装CentOS7
 新建虚拟机

 
 
 
 

 

自动启动
 
按一下回车键,自动进入安装模式
 
硬盘分区并格式化
 
 
 
设置管理员密码
 
 
添加用户hadoop/hadoop
 
 
睁着眼睛,看着安装完成,重启
 
登录系统
 
 
3、配置网络
 VMware软件的网络模式
 桥接模式:虚拟机就是一台物理主机,占用太多的资源
 NAT模式:虚拟机与宿主环境沟通实现互相访问,其它计算无法访问
 主机模式:独立,无法访问
配置网卡
 使用vi进行编辑
 
vi操作
 命令模式
 按一下ESC键
 再按shift + ;
 输入命令并回车
 
	:set nu显示行号:q!退出不保存:wq退出并保存
编辑模式按一下insert键,或,按一下A键插入模式再按一下insert键覆盖模式

 
修改如下
 
保存并退出
 按一下ESC,再按一下shift + ;
 输入:wq并回车
 
重启网络网络
 
检测网络
 
4、安装常用工具
 手动安装

 
 
自动安装(省事)
 
5、配置时钟同步
 时钟同步
 参照某一个时间服务器同步设置
 并行计算时,需要分布式服务器时间不能产生毫秒级别的误差,否则无法计算
安装NTP

设置时区
 
 