Spark+kafka安装配置

1. 安装

 

1.1 版本选择

可以选择从源代码编译,也可以选择使用预编译好的版本,预编译的版本有适配不同的hadoop版本,这里为了方便快速,直接使用预编译版本——spark-1.3.0-bin-hadoop2.4.tgz

 

1.2 集群模式选择

spark可运行在YARN(俗称hadoop第二代资源调度系统),解决了1.x版本中的很多问题。也可选择运行在apache mecos上,属于官方推荐;还可以不依赖其它系统以独立集群形式运行,这里选择最后一种,因为[......]

Read more

Posted in 大数据 | Tagged | Leave a comment

kafka安装及配置

选择使用scala2.10编译kafka最新稳定版本kafka_2.10-0.8.2.1.tgz

 

<1>将下载好的kafka_2.10-0.8.2.1.tgz解压到目录kafka

<2>启动Server

因为kafka需要使用zookeeper,如果你没有安装zookeeper的话,可以通过命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

启动一个单实例的z[......]

Read more

Posted in 大数据 | Tagged | Leave a comment

Zookeeper集群简单安装、配置、测试

jdk1.6版本

zookeeper3.4.6版本

准备两台机器,一般集群最好是三台,不过没条件两台也可以了,再不行,咋开两台虚拟机也行;

因为是直接使用的二进制版本,不自己编译,所以安装过程很简单,只需将从apache下载到zookeeper二进制版本解压到特定目录,安装好jdk,通过zookeeper的bin目录中启动脚本即可。

当然,前提是要先配置好zookeeper,conf目录中初始有zoo_sample.cfg,拷贝一个重命名为zoo.cfg,先阶段只需配置客[......]

Read more

Posted in 大数据 | Tagged | Leave a comment