主页 > 知识库 > 服务器 > 服务器综合 >
  • Hadoop集群(第6期):WordCount运行详解(上)
  • 副标题#e# 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用分而治之的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是任务的分解与结果的汇... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:190
  • Hadoop集群(第5期副刊):JDK和SSH无密码配置
  • 副标题#e# 1、Linux配置java环境变量 1.1 原文出处 地址: http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:29
  • Hadoop集群(第5期):Hadoop安装配置(下)
  • 副标题#e# 4、Hadoop集群安装 所有的机器上都要安装hadoop,现在就先在Master服务器安装,然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以root的身份进行。 4.1 安装hadoop 首先用root用户登录Master.Hadoop机器,查看我们之前用FTP上传至/home/... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:259
  • Hadoop集群(第5期):Hadoop安装配置(上)
  • 副标题#e# 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:197
  • Hadoop集群(第4期):SecureCRT使用
  • 副标题#e# 1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTe... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:46
  • Hadoop集群(第3期):VSFTP安装配置
  • 副标题#e# 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:121
  • Hadoop集群(第2期):机器信息分布表
  • 副标题#e# 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:49 点击:64
  • Hadoop集群(第8期):HDFS初探之旅(上)
  • 副标题#e# 1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:48 点击:234
  • Hadoop集群(第7期):Eclipse开发环境设置
  • 副标题#e# 1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:48 点击:223
  • Hadoop集群(第6期):WordCount运行详解(下)
  • 副标题#e# 1)Map过程 public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Conte... [阅读全文]
  • 作者: 发表于:2012-10-17 08:25:48 点击:88
首页 上一页 1 2 3 4 5 6 7 8 9 10 11 下一页 末页 43428