OpenCVR (vdceye 亮相) China Hadoop Summit 2015大会

感谢Redhadoop



本页内容版权归属为原作者,如有侵犯您的权益,请通知我们删除。

[置顶] php短址转换实现 - 2015-03-20 09:03:11

从昨天下午到现在 推翻了一个又一个的信息存储方案,从mysql到加上内存不受限制的file_get_contents,再到格式化输入的fscanf,最终选择了比较成熟稳定的读取ini的方法。 允许转载,转载须注明出处。 整个主程序只有两个文件 zipurl.php、index.php zipurl.php: ?php #此文件用于转换url#整理urlfunction dealurl($url){if($url[4]!=':')$url='http://'.$url;return $url;}functi

hive 用户手册和map参数调整 - 2015-03-20 09:03:10

map/reduce简单的原理介绍 Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务,而每个InputSplit是由该作业的InputFormat产生的。 然后,框架为这个任务的InputSplit中每个键值对调用一次 map(WritableComparable, Writable, OutputCollector, Reporter)操作。 通过调用 OutputCollector.collect(WritableComparable,Writable)可以收集输出

数据中心核心网络技术一览 - 2015-03-20 09:03:10

主机内二层转发(即服务器内虚机间转发) 基于本地软件交换机交换 VMWare 方案,通过服务器上软件交换机(如 Linux 网桥、OpenvSwitch)来实现。主要问题是对服务器性能有消耗。 802.1Qbh BPE(Bridging Port Extend) 已终止。Cisco 主导,数据层面为 PE(Port Extender)。 802.1BR Cisco 主导,将交换放在外部交换机,用 tag 来区分 vm 流量。 Cisco VN-Tag Cisco 私有技术, 802.1Qbg EVB(Ed

Tachyon源码结构分析(二) - 2015-03-20 06:03:08

发布人: 南京大学PASA大数据实验室 顾荣 前言 在上一篇《 Tachyon源码结构分析(一) 》中,我们介绍了Tachyon的四大模块(Client模块、Master模块、Worker模块以及Common模块)的基本功能及其相互关系。从本篇开始我们开始介绍各个模块的具体功能实现以及各个模块的源码结构。本篇接下来主要对Common模块以及Client模块进行源码结构分析。 版本选择 Tachyon目前的最新发布版为0.6.0,最新开发版为0.7.0-SNAPSHOT。本篇我们选择的Tachyon版本为0
最近要在MIC机群上做分布式开发,发现有两种模式可以用: 1) offload模式:该模式和GPGPU编程思想类似,把并行度高的代码转移到local的MIC处理器上执行,其它代码仍然在CPU上执行。MIC只负责本地计算,分布式通信必须在CPU上执行。 2)symmetric模式:编译出在MIC和CPU上执行的两份二进制代码。该模式逻辑上允许MIC进行分布式通信,虽然物理上消息还是从CPU走的。这种模式编程最大的难点是load balancing问题。 通过几天探索,发现了offload模式下的各种限制:

增量转换 oracle到MySQL - 2015-03-19 20:03:12

一:增量转换:    前提: 要实现增量更新的前提必须是原表必须要有一个时间字段,然后目标表根据这个时间字段来做查询和更新 大致思路 :get_systime这个输入得到实时动态的当前时间,然后通过更新来动态同步uptime 这张表的modifytime属性,uptime表需 要自己建立,并且要插入数值,否则不能循环,{表的结构:create table UPTIME   (  modifytime DATE,    name       VARCHAR2(40)  )   }      get_time
学习DIP第54天 转载请标明本文出处: http://blog.csdn.net/tonyshengtan ,出于尊重文章作者的劳动,转载请标明出处!文章代码已托管,欢迎共同开发: https://github.com/Tony-Tan/DIPpro 开篇废话 废话开始,本来打算昨天写这篇,半路被几个孙子(大学室友)拉去打Dota,结果输了一晚上,暴雪出的魔兽争霸和魔兽世界可谓游戏中的经典,一个是完美的游戏逻辑设计,其次是游戏画面,然后就有了各路模仿者,有感而发–做面向用户的应用程序,在满足软件基本要求
如何在Ubuntu上安装Apache,MySQL,PHP,Nginx,HAProxy,以及如何在docker上安装LAMP   在Ubuntu上安装LAMP: https://help.ubuntu.com/community/ApacheMySQLPHP https://www.digitalocean.com/community/tutorials/how-to-install-linux-apache-mysql-php-lamp-stack-on-ubuntu http://www.maketec
   storm-hdfs 这个插件支持  Rotation Actions 这个功能,官方文档解释是这样的,    ### File Rotation Actions   Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.   What `RotationAction`s do is provide a hook to allow you to

java调用API操作HDFS - 2015-03-18 15:03:01

java调用API操作HDFS 本文介绍Java调用API从hdfs读取数据 package mongodb;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;import java.util.Arrays;import org.apache.commons.lang.StringUtils;import org.apache.hadoo