南风意未起

Kafka概述定义 是一个分布式基于发布/订阅模式的消息队列，主要用于大数据处理领域。 1.1 消息队列的两种模式 点对点模式（一对一，消费者主动拉取数据，消息受到后信息消除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，Queue中不在有存储，所以消费者不可能消费到已经被消费的消息。Queue支持多个消费者，但是对一个消息而言，只会有一个消费者可以消费。 发布/订阅模式（一对多，消费者消费数据后不会清楚消息） 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有的消费者订阅者消费。 1.2 Kafka基础架构 基础架构说明 架构 说明 Producer 消息生产者，就是向Kafka Broker发消息的客户端 Consumer 消息消费者，向Kafka Broker取消息的客户端 Consumer Group (CG) 消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能 ...

前期准备工作虚拟机准备 至少三台Linux虚拟机，主机保证内存 10 G，其他从机保证在 4G 就可以了，因为主机要运行的服务会比较多。 配置好三台机器的网络IP，主机名称，关闭防火墙 SSH 免密登录配置好三台主机的免密登录 公钥生成 1ssh-ketgen -t rsa 将公钥拷贝到目标机器上 123ssh-copy-id hadoop101ssh-copy-id hadoop102ssh-copy-id hadoop103 集群同步脚本123456789101112131415161718192021#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==0)); then echo no args; exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名称user=`whoami`#5 循环for((host=1 ...

Linux的虚拟化Docker 入门学习Linux的准备目前Docker是基于Ubutun开发的，因此在Ubutun下使用Docker会有更好的效果。但是笔者喜欢用Centos，因此为了学习Docker，笔者特点安装了Centos7，对于一个万年Centos6的笔者来说，7的整体真的是惊艳到我了。不说了。安装好Centos7后，先修改静态IP，毕竟，笔者是一个喜欢命令行的人。 Centos7的网络配置在etc/sysconfig/network-scripts里面，查看当前网卡： 1ifconfig 12345678910111213141516171819202122vim ifcfg-ens33# 修改配置，修改后的配置如下TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE= ...

Phoinex 快速入门Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势。 二级索引支持(global index + local index) 编译SQL成为原生HBASE的可并行执行的scan 在数据层完成计算，server端的coprocessor执行聚合 下推where过滤条件到server端的scan filter上 利用统计信息优化、选择查询计划（5.x版本将支持CBO） skip scan功能提高扫描速度 一般情况下，我们有三种方式来访问Phoinex JDBC 使用Python编写的命令行工具（sqlline, sqlline-thin和psql等) SQuirrel 命令行工具psql的使用12345678910CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (s ...