spark java api 开发

 spark,又一个传说中的分布式实现,详情:http://spark-project.org/,

安装这里就不写了,因为网上已有中文介绍,这里主要是介绍一下入门,和hadoop一样,学习的时候,首先学习spark提供的字符统计例子:javaWordCount

原始代码如下:

Java代码  收藏代码
  1. import scala.Tuple2;  
  2. import spark.api.java.JavaPairRDD;  
  3. import spark.api.java.JavaRDD;  
  4. import spark.api.java.JavaSparkContext;  
  5. import spark.api.java.function.FlatMapFunction;  
  6. import spark.api.java.function.Function2;  
  7. import spark.api.java.function.PairFunction;  
  8.   
  9. import java.util.Arrays;  
  10. import java.util.List;  
  11.   
  12. public class JavaWordCount {  
  13.   public static void main(String[] args) throws Exception {  
  14.     if (args.length < 2) {  
  15.       System.err.println("Usage: JavaWordCount <master> <file>");  
  16.       System.exit(1);  
  17.     }  
  18.   
  19.     JavaSparkContext ctx = new JavaSparkContext(args[0], "JavaWordCount",  
  20.         System.getenv("SPARK_HOME"), System.getenv("SPARK_EXAMPLES_JAR"));  
  21.     JavaRDD<String> lines = ctx.textFile(args[1], 1);  
  22.   
  23.     JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {  
  24.       public Iterable<String> call(String s) {  
  25.         return Arrays.asList(s.split(" "));  
  26.       }  
  27.     });  
  28.       
  29.     JavaPairRDD<String, Integer> ones = words.map(new PairFunction<String, String, Integer>() {  
  30.       public Tuple2<String, Integer> call(String s) {  
  31.         return new Tuple2<String, Integer>(s, 1);  
  32.       }  
  33.     });  
  34.       
  35.     JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() {  
  36.       public Integer call(Integer i1, Integer i2) {  
  37.         return i1 + i2;  
  38.       }  
  39.     });  
  40.   
  41.     List<Tuple2<String, Integer>> output = counts.collect();  
  42.     for (Tuple2 tuple : output) {  
  43.       System.out.println(tuple._1 + ": " + tuple._2);  
  44.     }  
  45.     System.exit(0);  
  46.   }  
  47. }  

  运行: ./run spark/examples/JavaWordCount  local input.txt
 local:不解析,自己查

input.txt:文件类容

Html代码  收藏代码
  1. Hello World Bye World goole  

 运行的结果和haddoop中运行的JavaWordCount  一样

 

Html代码  收藏代码
  1. goole: 1  
  2. World: 2  
  3. Hello: 1  
  4. Bye: 1 

本页内容版权归属为原作者,如有侵犯您的权益,请通知我们删除。
1 jdk下载、安装 1.1 jdk下载    直接搜索 "jdk版本系统位数下载"    下载路径: http://www.oracle.com/technetwork/java/javase/downloads/index.html    如果路径不对,就到orale官网查找,对于英语不怎样的同学建议使用有道词典什么的找一下。    大致路径为:    1) www.oracle.com/index.html 进入到oracle官网之后    2) 选择网站头部的Communities选项中的 ora

mysql 分区查询优化 - 2015-07-20 14:07:13

分区查询优化 引入分区可以给查询带来一定的优势,但同时也会引入一些bug. 分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区,通过分区过滤可以让查询扫描更少的数据。 所以,对于访问分区表来说,很重要的一点是要在where 条件中带入分区,让优化器过滤掉无需访问的分区。 可以通过查看explain执行计划,是否携带 partitions关键字来判断是否执行了分区过滤。 使用条件 where year(date) = 2010 并不能过滤分区。 mysql只能在使用分区函数的列本身进行比较时才能过滤分
如何在Struts2中的拦截器中获取 request response 等对象呢?   ActionContext actionContext = invocation.getInvocationContext(); HttpServletRequest request= (HttpServletRequest) actionContext.get(StrutsStatics.HTTP_REQUEST);   转自: http://blog.csdn.net/chruan/article/details/
创建maven的webapp项目     修改项目路径下的  org.eclipse.wst.common.project.facet.core.xml文件 由   ?xml version="1.0" encoding="UTF-8"?faceted-project fixed facet="wst.jsdt.web"/ installed facet="java" version="1.5"/ installed facet="jst.web" version="2.3"/ installed fac
首先,子串是连续的序列,不连续的不是字串,其次是不含重复元素。 例如,字符串:abcdcefg  显然最大字串是:dcefg 该解法的思想是依次遍历字符串,在另一个数组保存该字符串出现的索引位,通过索引位可得到当前遍历的字串的长度。当字符重复出现的时候,减去之前相同字符出现的索引,便可得到此时字符串长度。每次遍历保存最大字符串长度,在出现重复字符时进行比较更新。 代码如下: package com.practice;import java.util.HashMap;import java.util.Map;

java关键字 - 2015-07-20 04:07:22

1、什么是关键字? 关键字是电脑语言里事先定义的,有特别意义的标识符,有时又叫保留字,还有特别意义的变量。 2、什么是Java中的关键字?作用是什么? Java的关键字对java的编译器有特殊的意义,他们用来表示一种数据类型,或者表示程序的结构等,关键字不能用作变量名、方法名、类名、包名和参数。 3、Java关键字 abstractassertbooleanbreakbyte casecatchcharclassconst continuedefaultdodoubleelse enumextendsfin
Spring mvc配置文件如下 1.配置freemarker的视图,如下 bean id="freemarkerResolver"class="org.springframework.web.servlet.view.freemarker.FreeMarkerViewResolver"property name="requestContextAttribute" value="ctp" /property name="cache" value="true" /property name="prefix"

软件架构之我见 - 2015-07-19 22:07:31

软件架构之我见   在传统企业应用开发中,项目往往采用"烟囱式"开发模式,数据处理,业务逻辑以及界面操作糅杂在一起,快速推出一个可用版本,这本无可厚非。 但是随着企业应用的发展以及移动互联网的推进,你会发现你的系统无法轻易对接其他厂家系统,也无法快速开发其他平台应用。面对这样的问题,我们不得不考虑架构的变更。而 这一切其实都是可预见的或者说是可以提早规划的。 传统架构的问题 传统企业开发架构面对变化总是有诸多的不足: 1.许多模块都要重复造轮子 2.模块间的耦合过深 3.出现问题难以追溯 4.可测试性较差

java参数传递的基本原理 - 2015-07-19 22:07:57

  java中的参数传递的有值传递和引用传递两种方式,基本类型均是值传递,引用类型均是引用传递。而这两种方式又涉及到java的内存模型--栈内存和堆内存的概念。将传递方式和内存模型的关系弄清楚,再注意到函数中对参数究竟是做了怎样的处理,就基本上能够理解java中函数调用的参数传递问题。   值传递中只涉及到栈内存,该参数指向操作系统为值分配相应地址的栈内存中所存放的是基本类型的值本身;引用传递涉及到了栈内存和堆内存,该参数指向操作系统为值分配的相应地址的栈内存中存放的是一个内存地址,而此内存地址指向的是存放

多线程编程之理财 - 2015-07-19 22:07:32

      现实生活中,我们一边工作,一边消费,正常情况下会把多余的钱存起来,比如存到余额宝,还可以多挣点钱,现在就有这个情况:我每月可以发工资20000万元 (暂定每月的1号),每月消费5000(租房+生活费)元(暂定每月的1号),其中租金是大头占90%,交房租的方式可以选择(一月一交,两月一交、三月一交),理财:1万元存余额宝一天可以赚1元钱,想知道半年后的理财情况,选择哪种交房租的方式更省钱,具体省多少? 问题分析: 这个问题属于于生产者—消费者模型,其中生产者—发工资+理财,消费者—交房租+生活费