今天搭建一个新的虚拟机环境,用于以后的学习与开发。在上个学期,我完成了在虚拟机上的对数据的增删改查,所以搭建个新环境也不是太难。
我没选复杂的虚拟机集群搭建,毕竟只是预习阶段,没必要折腾那么多,就用了之前整理资料里提到的 Docker Compose 方案,首先就是镜像拉取的问题,一开始直接用网上找的配置文件执行命令,结果镜像下载速度慢,后来想到换国内的镜像源。接着测试 Spark,启动 spark-shell 之后,尝试读取 Hive 里的测试表数据,因为上学期做了类似的,所以这部分没啥可说道的。
其实整个搭建过程,大部分时间都在排查各种小问题——镜像、端口、权限、版本适配,每一个环节都可能卡壳。
明天打算先从复习Hive入手,重点学一下表的创建、数据加载和基础查询,把环境真正用起来。