【hadoop】远程调试环境

根据上一节,我们已经安装完成hadoop伪分布式环境

hadoop集群环境配置_jdk1.8 441-CSDN博客

还没安装的小伙伴可以看看这个帖子

这一节我们要实现使用vscode进行远程连接,并且完成java配置与测试


目录

vscode

配置远程

安装java插件 

 新建java项目

 配置依赖

Java项目编译,打包,运行 

打包为可执行JAR

 运行JAR程序

Hadoop集群运行程序 


vscode

上官网下载vscode(这里默认你已经安装)

然后配置插件

Remote-SSH

配置远程

点卡开之后会出现SSH(下面的图是已经使用过后的结果)

会弹出远程连接的提示

直接输入虚拟机的ip即可

安装java插件 

 连接完后,需要在远程机子上安装java插件

在vscode插件页面搜索

Extension Pack for Java

 新建java项目

你可以新建文件夹后在文件夹下面新建项目

新建文件夹

打开终端

Ctrl+~

mkdir  ~/workplace 

调出命令框 

ctrl+shift+p 

然后输入java 

点击

  • 选择 no bulid tools 

  • 选择刚才创建的 workplace 文件夹

命名 

然后就会给你创建一个默认简单java项目

包括这些

 配置依赖

打开settings.json文件

根据具体位置配置,以下图片中包括文件查找,根据查找的路径进行更改 

最终

 

Java项目编译,打包,运行 

目录结构 

HelloWorld/
├── src/
│   └── com/
│       └── demo/
│           └── hello/
│               └── HelloWorld.java
└── bin/

package com.demo.hello;

public class HelloWorld {

    public static void main(String[] args) throws Exception {

        System.out.println("Hello, World!");

    }

}

vscode会自动创建编译的bin目录

咱们直接运行就行

javac -d bin src/com/demo/hello/HelloWorld.java

打包为可执行JAR

 jar cvfe hello-demo.jar com.demo.hello.HelloWorld -C bin .

验证结构

jar tf hello-demo.jar

输出应包含

META-INF/MANIFEST.MF
com/demo/hello/HelloWorld.class 

 运行JAR程序

java -jar hello-demo.jar

Hadoop集群运行程序 

注意,这里要先启动hadoop集群

不然会出现如下错误

在终端运行

然后,准备hadoop环境

hdfs dfs -mkdir -p /input

hdfs dfs -put LICENSE.txt /input

会报错

 检查文件(在常见位置)

ls /usr/share/doc/*/LICENSE.txt
ls ~/Downloads/LICENSE.txt

查找Hadoop安装目录下的LICENSE文件(可能需要root权限) 

find $HADOOP_HOME -name "LICENSE*" 2>/dev/null

 上传

cp $HADOOP_HOME/LICENSE.txt .

 继续运行

hdfs dfs -put LICENSE.txt /input

解决 

继续 

hdfs dfs -rm -r /output/res  # 确保输出目录不存在   

提交作业

hadoop jar hello-demo.jar MR_Sample.WordCount.WordCountMain   /input/LICENSE.txt   /output/res

 ok!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/75027.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java版Manus实现来了,Spring AI Alibaba发布开源OpenManus实现

此次官方发布的 Spring AI Alibaba OpenManus 实现,包含完整的多智能体任务规划、思考与执行流程,可以让开发者体验 Java 版本的多智能体效果。它能够根据用户的问题进行分析,操作浏览器,执行代码等来完成复杂任务等。 项目源码及…

【Linux网络与网络编程】02.初识Socket编程

1. 数据传输的目的 前一篇文章中我们讲解了网络传输的流程,那么网络传输的目的是什么呢?难道我们只是将数据从一台主机传输到另一台主机吗? 当然不是的!因为数据是给人用的。比如:聊天是人在聊天,下载是人…

电脑连不上手机热点会出现的小bug

一、问题展示 注意: 不要打开 隐藏热点 否则他就会在电脑上 找不到自己的热点 二、解决办法 把隐藏热点打开即可

CUDA专题3:为什么GPU能改变计算?深度剖析架构、CUDA®与可扩展编程

1. 简介 1.1. 使用 GPU 的优势 图形处理器(GPU)在相近的成本和功耗范围内,能够提供比中央处理器(CPU)更高的指令吞吐量和内存带宽。许多应用程序利用这些优势,在 GPU 上的运行速度远超 CPU(参见《GPU 应用》)。其他计算设备(如 FPGA)虽然能效也很高,但其编程灵活性…

Linux输入系统应用编程

什么是输入系统 Linux 输入系统是处理用户输入设备(如键盘、鼠标、触摸屏、游戏手柄等)的软件架构。在应用编程层面,它提供了与这些输入设备交互的接口。 主要组成部分 输入设备驱动层:直接与硬件交互的驱动程序 输入核心层:内核中的输入子…

StarRocks BE宕机排查

StarRocks BE宕机排查 排查是否OOM dmesg -T|grep -i oom #排查是否oom原因: 2.X版本OOM原因 BE 的配置文件 (be.conf) 中 mem_limit 配置不合理,需要配置mem_limit(机器总内存-其他服务占用内存-1~2g(系统预留)) 比如机器内存40G,上面有…

逻辑回归(Logistic Regression)模型的概率预测函数

以二分类问题为例,常见的损失函数有 负对数似然损失(neg log-likelihood loss),交叉熵损失(cross entropy loss),deviance loss指数损失(exponential loss)。 前三者虽然名字不同,但却具有相同的表达形式。此外,neg …

函数式组件中的渲染函数 JSX

在 Vue.js 和 React 等现代前端框架中,函数式组件已成为一种非常流行的设计模式。函数式组件是一种没有内部状态和生命周期方法的组件,其主要功能是接受 props 并渲染 UI。随着这些框架的演进,渲染函数和 JSX(JavaScript XML&…

Android 动态设置默认Launcher(默认应用 电话-短信-浏览器-主屏幕应用))

Android 动态设置默认Launcher(默认应用 电话-短信-浏览器-主屏幕应用)) 文章目录 场景需求参考资料思路期待效果 实现方案源码流程分析和思路实现DefaultAppActivityHandheldDefaultAppFragmentHandheldDefaultAppPreferenceFragmentDefaultAppChildFragmentDefaul…

Qt下载模板到本地文件内容丢失问题

上源码 关键点已标注在源码中 A, B… // 保存的文件路径后缀QString dateTime Myapp::getCurrentTimeDescYMDHms().replace(" ", "").replace("-", "").replace(":", "");// 临时文件名称QString newFileName Q…

【数学建模】动态规划算法(Dynamic Programming,简称DP)详解与应用

动态规划算法详解与应用 文章目录 动态规划算法详解与应用引言动态规划的基本概念动态规划的设计步骤经典动态规划问题1. 斐波那契数列2. 背包问题3. 最长公共子序列(LCS) 动态规划的优化技巧动态规划的应用领域总结 引言 动态规划(Dynamic Programming,简称DP)是一…

蓝桥杯备考------>双指针(滑动窗口)

来看哈我们这道例题 我们第一种想法应该就是暴力求解,枚举每个子数组 当我们枚举第一个数的时候,我们要从第一个数开始挨个枚举每个结尾 如图,以第一个数开头的最长不重复数我们就枚举完了 然后我们让两个指针全部到第二个数 再枚举第二个…

python实现股票数据可视化

最近在做一个涉及到股票数据清洗及预测的项目,项目中需要用到可视化股票数据这一功能,这里我与大家分享一下股票数据可视化的一些基本方法。 股票数据获取 目前,我已知的使用python来获取股票数据方式有以下三种: 爬虫获取,实现…

【15】Selenium 爬取实战

一、selenium适用场景 二、爬取目标 三、爬取列表页 (1)初始化 (2)加载列表页 (3)解析列表页 (4)main 四、爬取详情页 (1)加载详情页 (2…

如何封装一个上传文件组件

#今天用el-upload感到很多不方便,遂决定自己封装一个。注:本文不提供表面的按钮样式和文件上传成功后的样式,需要自己创建。本文仅介绍逻辑函数# 1,准备几个表面用来指引上传的元素 2,创造统一的隐藏文件上传输入框&…

【计网】数据包

期末复习自用的,处理得比较草率,复习的同学或者想看基础的同学可以看看,大佬的话可以不用浪费时间在我的水文上了 1.数据包的定义: 数据包是网络通信中的基本单元,它包含了通过网络传输的所有必要信息。数据包的结构…

HTTP抓包Websocket抓包(Fiddler)

近期时常要和各个厂商的java云平台打交道:登录、上传、下载等,程序的日志虽必不可少,但前期调试阶段,免不了遇到问题,这时有一个称手的抓包工具就显得尤为重要了。 Fiddler Everywhere是一款跨平台的网络调试工具&…

Git和GitCode使用(从Git安装到上传项目一条龙)

第一步 菜鸟教程-Git教程 点击上方链接,完成Git的安装,并了解Git 工作流程,知道Git 工作区、暂存区和版本库的区别 第二步 GitCode官方帮助文档-SSH 公钥管理 点击上方链接,完成SSH公钥设置 第三步(GitCode的官方引…

基于 WebAssembly 的 Game of Life 交互实现

一、前言 在前期的实现中,我们使用 Rust 编写核心逻辑,并通过 WebAssembly 将其引入到 Web 环境中,再利用 JavaScript 进行渲染。接下来,我们将在这一基础上增加用户交互功能,使模拟过程不仅能够自动演化,…

【keil】单步调试

一、步骤 1、打开stc-isp软件 2.打开keil仿真设置,选择对应的单片机型号 3.点击将所选目标单片机设置为仿真芯片,点击下载,按一下单片机打下载按钮 4.此时已经将仿真程序下载到单片机 5.此时点击options,找到debug选择STC Montor 51 Driv…