HADOOP__PIG安装与配置

PIG安装与配置

前提

  已成功安装好Hadoop集群。

  详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html

  以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。

安装要求:

  Server节点要求。

  ①已安装JDK。

  ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.

  (最好可以直接拷贝集群中一个节点的HADOOP目录)

  PIG安装是比较容易的,相对于其他项目而言。

(一)下载解压PIG

  Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,

  详见:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html)

http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz

  将下载好的文件放到 /usr/hadoop/目录下并解压:

tar -zxvf pig-0.9.2.tar.gz

(二)配置PIG环境

  配置用户的环境变量:

vi ~/.bash_profile

  添加如下内容:

PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
HADOOP_HOME=/usr/hadoop

export PATH
export HADOOP_HOME

  为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的  HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。
  注意:
  如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。

JAVA_HOME=/usr/jdk
export JAVA_HOME

  做好配置之后:

source ~/.bash_profile

  来执行这个文件,使刚配置好的环境变量生效

(三)运行PIG

  在shell中:

pig -x local

  进入本地模式

  之间键入:

pig

  进入集群模式

转载于:https://www.cnblogs.com/freeideas/archive/2013/04/22/3036668.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/421839.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(JAVA)String类之比较方法

/* 字符串: 一、概述:1.字符串在JAVA中,使用""表示2.java.lang.String类3.只要写""就是字符串对象。不需要new二、空参构造器new Sting();private final char value[];public String() {this.value "".value;…

(JAVA)String类之比较方法(2)

String类: 获取字符串的内容 一、获取字符串长度public int length() {return value.length;}length 与 lenght()的区别:前面是属性,不需要传参数后面是方法 二、指定下角标,返回固定位置的对应字符串public char charAt(int ind…

云计算之路-黎明前的黑暗:20130424网站故障经过

一、背景 4月18日的访问高峰扛过去之后,我们和阿里云一直在努力寻找问题的真正原因。是问题,躲不去的,不找到根源,随时会突然袭击。 压力测试未能重现问题,只能进行大海捞针般的猜测:SLB(均衡均…

Sting练习

package com.book.lite;import java.util.Locale; import java.util.Scanner;/*1. 字符串的两种定义方式的区别:String a1 ""; 只有一个对象:String a2 new String(); 有两个对象2. String类的特点是什么底层代码的不变性,将字符串拆分成字符数组char[]…

枚举生成MVC3: Bind Enum To DropDownList ?-java教程

发一下牢骚和主题无关: 0. 预备测试数据 0.1 : 枚举 using System; using System.Collections.Generic; using System.Linq; using System.Web;namespace MvcApplication.Models {public enum YesOrNo{否 0,是 1} } 0.2 : 对应实体类及表sql using System; using…

(JAVA)StringBuffer类

可变数组:StringBuffer类(静态缓冲区) 提高字符串的操作效率 StringBuffer 底层实现原理是字符数组,没有final StringBuffer,含有数组char[] value 默认长度是16 在JAVA中,数组是固定长度,一旦创建不能改变 StringBuffer 通过数组…

40个超酷的jQuery动画教程

原文地址:http://www.goodfav.com/40-cool-jquery-animation-tutorials-1189.html 由于它的到来,已经引起了jQuery的网络风暴,现在是创建漂亮的网页上的动画的首选解决方案之一。 jQuery提供了很大的跨浏览器支持,它是轻量级且易于…

好东西,资料!!

架构: http://www.cnblogs.com/lovecindywang/archive/2012/12/23/2829828.html http://www.cnblogs.com/angben/archive/2012/12/23/2829795.html http://blog.csdn.net/longxibendi/article/details/6628480 企业应用集成可以在不同层面上进行:例如在数…

(JAVA)StringBuffer类(练习)

package com.book.lite;import java.util.Scanner;/* 1.将数组拼接成字符串 2.自定义方法,将缓冲区翻转*/ public class StringBufferDemo2 {public static void main(String[] args){System.out.println(getString_1());System.out.println(getString_2());}public…

hdu2955 Robberies (动态规划之背包)

http://acm.hdu.edu.cn/showproblem.php?pid2955 题意:Roy想要抢劫银行,每家银行多有一定的金额和被抓到的概率,知道Roy被抓的最大概率P,求Roy在被抓的情况下,抢劫最多。 分析:被抓概率可以转换成安全概率…

数组排序之冒泡排序

package com.book.lite;/*** author zhangyu* date 2021年08月11日 10:51 下午* 实现整数数组的排序,顺序排序,冒泡排序*/ public class arrDome {public static void main(String[] a){int[] arr {2,0,9,8,67,-45,-199}; // smallNumber(arr); …

黑马Java学习笔记之-----集合框架

---------------------- android培训、java培训、期待与您交流! ---------------------- 一.概述: Java的集合类是一种特别有用的工具类,它可以用于存储数量不等的多个对象(实际上是对象的引用)&#xff0c…

(JAVA)二分法

package com.book.lite;/*** author zhangyu* date 2021年08月12日 11:15 下午* 使用二分法,查找有序数组的某一个值*/ public class binarySeach {public static void main(String[] args){int[] arr {2,4,5,9,45,65,74,83,100};int index arrNumber(arr,0);Syst…

35岁前成功原则

第一章:一个目标 一艘没有航行目标的船,任何方向的风都是逆风 1、你为什么是穷人,第一点就是你没有立下成为富人的目标 2、你的人生核心目标是什么? 杰出人士与平庸之辈的根本差别并不是天赋、机遇,而在于有无目标。 3、起跑领先一…

(JAVA)Arrays数组工具类

package com.book.lite; /*** author zhangyu* date 2021年08月14日 10:52 下午* 数组的工具类,方法是静态的* sort() 排序* binarySearch() 二分查找* toString() 将数组变成字符串,是数组工具类独有的方法*/ import java.util.Arrays; public class Ar…

2013-05

Tom Cubie ,CubieBoard(类树莓派)的设计者 http://www.fendou.info/tag/cubieboard/ LevelDB关键实现图解 http://www.wzxue.com/leveldb%E5%9B%BE%E8%A7%A3/ 电子商务系统的设计、开发、部署、运维及其解决方案 http://www.entlib.com/ 迷你…

(JAVA)基本数据类型 对象包装类

package com.book.lite;/*** author zhangyu* date 2021年08月15日 4:51 下午* 基本数据类型 对象包装类* 对八个基本数据类型,提供8个类,,将基本数据类型,封装成8个对象* byte Byte* short Short* int I…