设置maven 参数调休_IDEA 使用 Maven构建Spark项目

上一篇讲了普通构建spark项目 这次分享用Maven构建Spark项目,中间遇到了很多坑!其根本原因是Scala 与 Spark的版本不一致!

本次环境:

Java1.8

Scala 2.11.8

Spark spark-2.1.0-bin-hadoop2.6.tgz

新建Maven项目

be826da454facbcb14a8bc6a87933216.png

图1.选择顺序

668ad1422a67d9f93a83656760dc9054.png

图2.随便写点什么

接下来就是选取Maven环境的选取,简单的说一下。

如果你电脑上装了Maven 并且IDEA运行过Maven项目,则会默认给你带出来你以前配置的环境参数。 这里我对Spark项目单独建立了一个依赖文件夹下图E://M2//Repository3(个人喜欢而已)

5cf286060c2433874e456e4d1818060f.png

图3.配置Maven环境

3451ac066bfe868b90f06750949fec08.png

图4.给项目命名

ab1fd1bce50730ab914b24dc0ffa6753.png

图5.等待2分钟

847eca2c15d18d08e04af2cfb1fce83a.png

图6.更改Scala版本

 org.apache.hadoop hadoop-common 2.6.0org.apache.hadoop hadoop-hdfs 2.6.0org.apache.spark spark-core_2.11 2.1.0org.apache.spark spark-sql_2.11 2.1.0org.apache.spark spark-hive_2.11 2.1.0org.apache.spark spark-streaming_2.11 2.1.0org.apache.spark spark-mllib_2.11 2.1.0com.databricks spark-avro_2.10 2.0.1

然后将上处常用的依赖加入pom文件中

c8261cb92fd170fdf9c6b3d3d605553a.png

图7.刷新依赖

上述的过程可能会有点慢,不过没关系我这边有阿里的Maven库镜像配置只需要将以下代码Copy到Maven安装目录下的setting文件中替换mirrors对应的位置就OK,这样下载任何依赖都是非常的快!!!

public

public-group-RELEASE

https://maven.aliyun.com/repository/public/

*

jcenter

jcenter-proxy-RELEASE

https://maven.aliyun.com/repository/jcenter/

*

spring

spring-proxy-RELEASE

https://maven.aliyun.com/repository/spring/

*

spring-plugin

spring-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/spring-plugin/

*

google

google-proxy-RELEASE

https://maven.aliyun.com/repository/google/

*

central

central-proxy-RELEASE

https://maven.aliyun.com/repository/central/

*

grails-core

grails-core-proxy-RELEASE

https://maven.aliyun.com/repository/grails-core/

*

mapr-public

mapr-public-proxy-RELEASE

https://maven.aliyun.com/repository/mapr-public/

*

apache snapshots

apache snapshots-proxy-SNAPSHOT

https://maven.aliyun.com/repository/apache-snapshots/

*

gradle-plugin

gradle-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/gradle-plugin/

*

releases

releases-hosted-RELEASE

https://maven.aliyun.com/repository/releases/

*

snapshots

snapshots-hosted-SNAPSHOT

https://maven.aliyun.com/repository/snapshots/

*

jboss-public-repository-group

JBoss Public Repository Group

http://repository.jboss.org/nexus/content/groups/public

*

429f2a81c906a7c72979a7996b58a4b9.png

图8.卡主了

有时IDEA会卡在这里,关闭重新打开就好

6190af59194e254da24690d68fcb968d.png

图9.删除插件

上面有个插件始终下载不下来,就删了它,我们也没有用它。然后再刷新Maven就没有错误了。

a697a0c84667af60eccf12d1c140c2bd.png

图10.删除默认创建的APP.Object

7d96a57c74e579bcbebe44fa3b381944.png

图11.创建Test.Object顺序

15afb028a736e72e58eee1a12b532550.png

图12.创建Test.Object

7ada57574b658605f7a55a417055b252.png

代码

f5b7e328138ab04339fb0d62fff5c0ac.png

图13.设置Artifacts

06b5afe5473f390092338371cb548cb5.png

图14.设置入口参数

b9704008993a9764dce043737b405258.png

图15.设置运行参数配置

dc78c0f6606076227c5982ed0b3fcac5.png

图14.选择Application

尝试运行

35e0139b4e3c986d8ca90bddb365ba7d.png

图15.点击运行报错

报错,我们把Test整个文件夹删掉。

再次运行

596e80031eb332f9f836c5836f738482.png

图16.成功运行

有需要文件or技术支持的请私信。

谢谢~~~

下班~~~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/525749.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

语音识别现状与工程师必备技能

作者 | 陈孝良 责编 | 胡永波 目前来看,语音识别的精度和速度比较取决于实际应用环境,在安静环境、标准口音、常见词汇上的语音识别率已经超过95%,完全达到了可用状态,这也是当前语音识别比较火热的原因。 随着技术的发展&#xf…

NPER用计算机怎么算,计算机财务管理第三章详解.doc

计算机财务管理第三章 EXCEL在资金时间价值计算中的应用货币的时间价值,是财务管理的基础。这一章除了对基本理论和公式进行归纳,还重点介绍了Excel中的年金计算函数,它们是全书乃至全部金融计算的通用工具。最后设计了一组有现实背景的简单示…

从来不敷面膜的人_女人睡觉前,敷面膜洗还是不洗?很多人都做错了,难怪皮肤总不好...

敷面膜是众多女孩子在晚上都会进行的一个护肤工作,大家都知道像一些明星几乎是每天都要敷一片面膜的,不过她们是因为长期话大浓妆才比较勤,我们一般工作的女孩子大约一周三次就可以了。面膜可以让我们的皮肤迅速吸收水分和营养,这…

Java 10新特性解密

随着Java开发工具包(JDK)9的发布,大量的注意力都集中在Java的最新特性上,包括引入模块(通过集成项目Jigsaw)。尽管最近的很多关注都集中在这些强大的新功能上,但下一个版本的Java:JDK 10已经开始准备了。在本文中,我们将粗略地介绍…

html清楚css的影响,08、清除浮动的影响.html

Document.box{width:500px;background-color: darkcyan;}.box1{width:200px;height:600px;background-color: darkorchid;margin-top:200px;}.box2{width:200px;height:200px;background-color: darksalmon;clear:both;/* clear:left; 清除左浮动的影响。clear:right; 清除右浮…

智慧气象机器_智慧电缆隧道火热建设中 传感器+机器人成标配

智慧城市是指利用各种信息技术或创新概念,将城市的系统和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。它把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新(创新2.0)的城市信息…

继续教育统考英语计算机监考严吗,网络教育统考监考严吗

网络教育统考监考严吗?其实这个问题只要是好好复习考试的考生来说都是没有多大的问题的,但是可能对于很多人来说更没有时间复习,那么我们就来聊聊网络教育统考监考难不难以,及网络教育作弊的几率高不高的问题。网络教育统考监考严吗网络教育…

不服来战,看Kotlin如何完爆Java

前言:Kotlin因支持谷歌和简化Android开发而声名鹊起。看看它如何解决Java的许多痛点。 Why Kotlin? 如果我今天被问到如何区别开发Android应用程序与其他领域开发时,我会毫不犹豫地回答,以原生方式在不同硬件上执行相同应用程序可能会是其…

算法代码中的循环矩阵在哪体现_「Machine Learning 学习小结」| 向量在梯度下降算法当中的应用...

写在前面:在之前的文章当中提到过,学习梯度下降算法,可能需要一点点线性代数的知识。在本篇文章当中,我们的讨论就涉及到了向量。笔者也曾提到,不妨把向量看成对数据进行批量操作的一种工具,这样可能对我们…

计算机用户 图片存储位置,手机相册在哪个文件夹,详细教您手机图片存放在哪里...

现在使用手机的用户是越来越多了,手机质量都非常好,因此才会受到许多人的褒奖。不过有用户却遇到了,用手机拍摄了照片或者用手机截图,手机连上电脑后,却在电脑上找不到图片,怎么办,下面&#xf…

揭秘京东文件系统JFS的前世今生,支持双11每秒约10万个对象同时读写

背景 作为一家大规模的自营式电商企业,京东需要存储海量的非结构化数据:商品图片、订单文本、仓库流转记录、App客户端文件、日志文件、内部文档等。对于存储这些数据,之前并没有统一的解决方案,都是各个业务线自行解决——MySQL …

计算机的复数英语怎么读,英语的复数怎么读

目录1.土豆的复数英语怎么读1.英语中的月份的复数 怎么读 读音? months 最后两个辅音,是否可以省略一个。2.在清辅音后,读/s/,如books, 在浊辅音和元音后,读/z/,如dogs,boys 当然。3.名词复数词尾的读音:1)…

java map清除值为null的元素_Java中的集合框架大总结

直接上图:从上面的集合框架图可以看到:Java集合框架主要包括两种类型的容器,一种是集合(Collection),存储一个元素集合;另一种是图(Map),存储键/值对映射。Collection接口又有两个子接口,List和…

土木转计算机 但计算机学院不好,土木妹子转计算机,较高三维水科研,求指导!...

2016-12-15velvetvalley个人情况当前阶段大四本科院校某中流985,top30本科专业土木,辅修计算机GPA土木91.6/100,10/111;计算机88.4/100,1/23GRE/GMAT3284语言成绩109目标专业计算机科学计划留学年份:2017秋季个人背景:一个水国创,…

十位值得关注的Java顶级专家

网上有太多的声称Java大牛的大V,到底哪些值得关注,本文也许可以帮助你。 如果你是Java开发者,关注几位经验丰富的Java大牛,并随时了解他们的关注焦点对于自己肯定是非常有好处的。然而,今天在网络上,有太多…

关于计算机软件系统分类能够匹配的有,以下关于计算机软件系统分类能够匹配的有:...

摘要:关于够匹比低高强钢筋筋的极限度钢大强度应变拉伸。统分变异系数主观权是一种法赋赋权法。关于够匹对第的说确的物流法正三方是(。...关于够匹比低高强钢筋筋的极限度钢大强度应变拉伸。最大区边压应缘力在受压,计算机软件系破坏截面梁正适筋受弯时…

开关 关闭_无论用什么品牌手机,这个开关要关闭,以免耗电又卡顿,抓紧试试...

各位观众老爷大家好,给大家鞠个躬,每天给大家分享实用的生活小妙招。现在我们的工作生活中已经离不开手机,平时用久了手机卡顿不流畅,耗电也会随之增加,其实有可能是没有把这几个开关关闭,今天和大家分享一…

卷积神经网络中十大拍案叫绝的操作

来源 | 知乎作者 | Professor hoCNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的…

事业单位计算机初级考试科目一模拟试题,广东教师资格考试之科目一模拟题

教师资格考试的竞争越来越激烈,为了能够在考试中脱颖而出少不了平日里的练习积累!那就让我们一起开始练习吧!1.某学生家长给张老师发微信红包,想让张老师平日里对自家孩子多多费心,张老师拒绝了。张老师的做法( )。A.不正确,无法取…

提高代码可读性的10个技巧

在本文中,作者从注释,缩进,代码分组,命名方式等方面,介绍了10个提高代码可读性的技巧,供读者学习和借鉴。 以下为译文:如果你的代码很容易阅读,这也会帮助你调试自己的程序&#xff…