Zeyu Lee

Azkaban 3插件的安装与配置

Fri, 08 Sep 2017 00:00:00 +0800

Azkaban的插件分为2类，一种是web-server用的报表、展示类插件（viwer），一种是exec-server用的工作流类型插件。

编译

git clone https://github.com/azkaban/azkaban-plugins.git

# 全部编译
cd azkaban-plugins
ant
cp ./dist/*/packages/*.tar.gz /plugins/path

# 单独编译
cd azkaban-plugins/jobtype
ant

安装

web-server 插件

目前有以下几个：

hdfsviewer
javaviewer
jobsummary
reportal
pigvisualizer

安装比较简单，其它解压到plugins/viewer既可（hdfsviewer需要改名为hdfs，reportal需要用viewer目录内的内容），最终结构如下

tree -L 2 ./plugins/viewer
./plugins/viewer
├── hdfs
│   ├── conf
│   ├── extlib
│   ├── lib
│   └── package.version
├── javaviewer
│   ├── conf
│   ├── extlib
│   ├── lib
│   ├── package.version
│   └── web
├── jobsummary
│   ├── conf
│   ├── extlib
│   ├── lib
│   ├── package.version
│   └── web
├── pigvisualizer
│   ├── conf
│   ├── extlib
│   ├── lib
│   ├── package.version
│   └── web
└── reportal
    ├── conf
    ├── lib
    └── web

如果Hadoop启用了安全验证，注意设置插件中conf目录下的配置文件到对应的版本，并复制对应的jar包到对应插件的lib里面，找不到就去其它插件里面找找。

hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_1_0

# hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
# azkaban-hadoopsecuritymanager-2.2.jar

# hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_3_0
# azkaban-hadoopsecuritymanager-3.0.0.jar

HDFS 和 Reportal 在头部可见，其它几个在几种特定的jobtypes结果中可见。

exec-server 插件

主要配置的是jobtypes，具体配置情况如下

# jobtypes/common.properties
# jobtypes/commonprivate.properties
hadoop.home=/hadoop/home/path
hive.home=/hadoop/hive/path
pig.home=/hadoop/pig/path
spark.home=/hadoop/spark/path

# jobtypes/hadoopJava 默认值

# jobtypes/hive/private.properties
jobtype.class=azkaban.jobtype.HadoopHiveJob
hive.aux.jar.path=${hive.home}/aux/lib
jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,${hive.home}/conf,${hive.aux.jar.path}

# jobtypes/java 默认值

# pig使用对应版本，高于0.12使用0.12
# jobtypes/pig-0.12.0/plugin.properties
pig.listener.visualizer=false
jobtype.classpath=${pig.home}/lib/*,${pig.home}/*

# jobtypes/pig-0.12.0/private.properties
jobtype.class=azkaban.jobtype.HadoopPigJob
jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,lib/*

# jobtypes/saprk 里少azkaban-jobtype-3.0.0.jar，从别的插件里copy过来
# jobtypes/spark/private.properties
jobtype.class=azkaban.jobtype.HadoopSparkJob
hadoop.classpath=${hadoop.home}/lib
jobtype.classpath=${hadoop.classpath}:${spark.home}/conf:${spark.home}/jars/*

reportal 插件里面目录和配置文件，请合并到 jobtypes 内，具体配置文件参照 jobtypes 里对应的插件。

Azkaban 3的安装与配置

Wed, 06 Sep 2017 00:00:00 +0800

本次Azkaban以3.34源代码为基础进行编译安装 Github地址，编译时需要使用gradle，需要Java 8及以上版本。

编译

git clone https://github.com/azkaban/azkaban.git

# 编译
./gradlew build

# 清理并编译（上次编译失败时执行）
./gradlew clean

# 跳过测试进行编译（会快一些）
./gradlew build -x test

gradlew 下载比较慢，可以从 gradle/wrapper/gradle-wrapper.properties 里面找到下载地址，提前下载好，执行一次编译命令并中断后，放在 $HOME/.gradle/wrapper/dists/gradle-{version}-all/{folder}

cp ./*/build/distributions/*.tar.gz /install/path

配置

单机模式

# 解压
tar -zxvf azkaban-solo-server-*-*-*.tar.gz

# 目录结构如下
#
# bin      执行脚本
# conf     配置文件
# lib      依赖库，自带了mysql-connector不需要下载了
# plugins  插件
# projects 执行job时，任务存放目录（系统会自动创建，请无视）
# web      前台页面
# logs     日志（需要新建，为了方便管理日志）

主配置文件 azkaban.properties

# Azkaban 个性化设置，除了时区和web资源路径需要注意，其它随意
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

# Azkaban 用户管理设置，默认值
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

# Azkaban 项目的设置，默认值
# 所有job参数的父类，覆盖关系见下表
executor.global.properties=conf/global.properties
# 执行job时任务存放目录
azkaban.project.dir=projects
# 数据库配置
database.type=h2
h2.path=./h2
h2.create.tables=true

# Velocity dev mode，官网里没介绍这个参数，也没去研究，默认值
velocity.dev.mode=false

# Azkaban 服务器设置，默认值
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081

# Azkaban 执行服务器端口，默认值
executor.port=12321

# 邮件设置（【坑1】由于需要支持tls并修改port，这里折腾了很久）
# port和tls官方文档里虽然没说，源码里面是支持的，25和false是默认值
mail.sender=
mail.host=
mail.port=25
mail.tls=false
mail.user=
mail.password=

# 任务通知邮件（【坑2】官方文档没有一点儿说明，不看源码肯定不知道）
# 这里配置了也没用，看了源码，至少在job里面设置了才能收到邮件
# job.failure.email=
# job.success.email=
# job.notify.email=

# 非 admin 账户对项目的创建及job上传权限，默认值
lockdown.create.projects=false
lockdown.upload.projects=false

# 缓存目录
cache.directory=cache

# JMX stats，默认值
jetty.connector.stats=true
executor.connector.stats=true

# Azkaban jobtypes 插件设置，默认值
# 涉及 executor 的插件配置起来都比较麻烦，后面有一篇博客专门说插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes

参数覆盖关系

参数来源	描述	优先级
global.properties（conf）	所有job类型	0（最低）
common.properties（jobtype）	所有job类型	1
plugin.properties（jobtype/{jobtype-name}）	某一种job类型	2
common.properties（job zip file）	某一个job所有环节	3
工作流属性	从UI或Ajax执行的job	4
{job-name}.job	某一个job内的配置	5

用户配置文件 azkaban-users.xml

<!--权限分 READ,WRITE,EXECUTE,SCHEDULE,CREATEPROJECTS,ADMIN 一级比一级高-->
<!--某个人的权限 = 角色 + 组，下面是我测试时配置的-->
<azkaban-users>
  <user groups="azkaban" password="azkaban" username="azkaban"/>
  <user groups="metrics" roles="admin" password="metrics" username="metrics"/>
  <user groups="group_leader" password="group_leader" username="group_leader"/>
  <user groups="group_inspector" password="group_inspector" username="group_inspector"/>

  <group name="azkaban" roles="admin"/>
  <group name="metrics" roles="metrics"/>
  <group name="group_leader" roles="leader"/>
  <group name="group_inspector" roles="inspector"/>
  <group name="group_schedule" roles="schedule"/>

  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
  <role name="leader" permissions="READ,WRITE,EXECUTE,SCHEDULE,CREATEPROJECTS"/>
  <role name="inspector" permissions="READ"/>
  <role name="write" permissions="WRITE"/>
  <role name="execute" permissions="EXECUTE"/>
  <role name="schedule" permissions="SCHEDULE"/>
  <role name="createprojects" permissions="CREATEPROJECTS"/>
</azkaban-users>

./conf/global.properties 和 ./plugins/jobtypes/commonprivate.properties 使用默认值即可。需要对 execute.as.user 进行修改的请参照官网 Plugin Configurations

启动

# 启动
./bin/azkaban-solo-start.sh
# 关闭
./bin/azkaban-solo-shutdown.sh

看不到 UI界面，请看logs里的报错

多机模式

# web-server
tar -zxvf azkaban-web-server-*-*-*.tar.gz
# executor-server
tar -zxvf azkaban-executor-server-*-*-*.tar.gz
# 建表语句
tar -zxvf azkaban-db-*-*-*.tar.gz

# 目录结构同单机基本相同，executor不需要web目录

Mysql数据库

# Mysql数据库初始化
source create-all-sql.sql

# executor 在启动时会向executors表插入记录，但默认是不启用，需要修改
# 【坑3】如果这里不改，每次 executor 启动都要手动设置为1，非常不便
ALTER TABLE `executors` CHANGE `active` `active` TINYINT DEFAULT 1;

web-server 主配置文件 azkaban.properties

# 仅列出于单机模式的不同
# 数据库配置
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=
mysql.password=
mysql.numconnections=100

# 多executor调度规则设置
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

executor-server 主配置文件 azkaban.properties

# 相比web-server配置很简单
# 数据库配置
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=
mysql.password=
mysql.numconnections=100

# 下面都是默认值
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Azkaban the parent for all jobs
executor.global.properties=conf/global.properties

启动

# 必须先启动executor-server，否则web-server会报找不到executor的错误
./bin/start-exec.sh
./bin/start-web.sh

job demo

# foo.job
type=command
command=echo "foo"

# bar.job
type=command
command=echo "bar"
dependencies=foo

打包成zip格式文件，新建项目后上传进行测试

站点网络架构示意图

Thu, 31 Aug 2017 00:00:00 +0800

日常工作中经常有开发的小伙伴不清楚运维嘴里的常用术语，导致反馈问题表述不准确，判断网络故障也没有一个清晰的思路，有事儿没事儿就甩给运维。作为一个经常跟运维混迹在一起的coder，实在忍受不了运维的吐槽，今天给公司小伙伴从运维的视角讲了讲网站的络架构，下面是用到的示意图（Drew By ProcessOn）

主要的知识点：

基础：OSI模型
数据链接层：ARP
网络层：IP
传输层：TCP & UDP
应用层：HTTP & DNS

IO密集型应用优化策略

Tue, 04 Jul 2017 00:00:00 +0800

最近刚刚推广的一个应用，在使用 JMeter 压测过程中出现了性能问题，具体表现为3000并发下 Load-average 和 CPU-Utilization 都不高，JVM内存也没有明显异常，压测结果中有2-5%的请求超过10秒。

通过对业务的了解，发现这是一个典型的IO密集型应用（对Redis的只读操作）。前端为Nginx，后端用Resin作为WebServer，代码中配置了连接池（最大连接数为1000，最大空闲连接为500），Redis服务器中查看的来自这个服务的连接数与连接池配置相同，且远没有达到Redis连接数的上限。netstat -s

grep -i listen 观察到压测期间，队列长度一直在大量增常，很多请求没有被正常处理。

从 Nginx、Resin、JVM、Linux 4个方面下手，对涉及到网络和进程数量的部分参数进行调整，以提高处理能力增加队列长度，降低超时率。

Nginx

# 设置为与CPU核心数量一致，before 2
worker_processes 8;
# 增加单进程最大并发连接，before 1024
worker_connections 65535;

Resin

# before 4000
accept-listen-backlog=8192
# before no set
accept-thread-min=256
# before 10
accept-thread-max=512
# defore 100
keepalive-max=256
# before 1024
thread-max=2048
# defore 20
thread-idle-max=512
# defore 10
thread-idle-min=256

JVM

# 没有复杂的递归操作，留出更多的内存创建子线程 defore 512k
xss=128k

Linux

# /etc/sysctl.conf
# 未完成三次握手的连接队列长度
net.ipv4.tcp_max_syn_backlog=8192
# TIME-WAIT 连接重用
net.ipv4.tcp_tw_reuse=1
# 已完成三次握手等待的队列长度
net.core.somaxconn=20480
# 网卡队列长度
net.core.netdev_max_backlog=51200

复测超时问题消失，负载和cpu使用率明显上升。

PHP7升级全过程记录

Thu, 08 Jun 2017 00:00:00 +0800

关于PHPNG的计划，在2014年初社区就有讨论，自己也是从那个时候开始，关注着这个里程碑版本的一举一动，毕竟上一次主版本号级的发布还是在遥远的2004年。14年底鸟哥的一篇博文“PHP7 VS HHVM”，为开发者展示了PHP7的巨大性能提升。又经过一年漫长的等待，终于在2015年的圣诞节前，迎来了PHP7的第一个正式发布版。

作为一个极端业务导向的二线公司，受限于技术积累和人力资源，我们把升级的时间初步定在正式发布的1年后。由于还有一些历史问题需要处理，所以分为2个大的阶段：

第一阶段（2016.4 ～ 2016.8）
- 升级PHP版本到5.6，处理历史遗留问题（Mysql、Mssql向PDO迁移，更换mysqlnd）
- 统一生产环境（RedHat 5.8 => CentOS 6.5，制作RPM标准包，统一发布方式）
- 在统一后的生产环境进行5.6的灰度发布，逐步安排上线
第二阶段（2016.12 ～ 2017.3）
- 了解PHP7原理
- 运行环境搭建，benchmark 测试
- 处理语法兼容工作，测试并修复bug
- 灰度发布
- 上线

业务的选择上，我们选取了移动站点作为试点，主要从这几个因素进行的考量：

项目新：2013年开坑，2015年经历了一次从5.3到5.5的升级
了解深：前后跟了这个项目2年多
流量大：每天处理大几千万请求，高峰时勉强过亿
有发展：移动化的红利还在

实践

Benchmark

测试使用的是官方提供的脚本 bench.php，简单的从执行时间上比较了一下（执行10次），效果惊人。

2015年从 PHP5.3 升级到 PHP5.5 也测试过一次，速度提升比这个小多了，不过内存占用下降了很多。

源码部分

我们在运行环境准备的时候，PHP已经发布到了7.0.14，使用的扩展（memcached、redis、xdebug、pthreads等）基本都有了至少一个稳定版本，除了第一次忘了用GCC 4.8+编译，在整个编译过程中也没有遇到问题。开发的扩展代码量很少，只是对几个常用处理过程用C进行了封装。参照wiki给出的指引，再结合编译过程中的错误提示，很快就解决了问题。

通过对比阅读 PHP7 和 PHP5 的源码，发现其之所以在保证兼容性的情况下还能达到很好的性能，主要的优化点在以下几个方面：

MAKE_STD_ZVAL 从栈上分配 zval，减少一次内存读取
Hashtable 中使用 arData 直接存储数据，内存使用更加高效
字符串结构体 _zend_string 存储了 hash 值，在数组中对字符串 key 的查找时减少一次 hash 计算

zval

PHP7 对 zval 结构体改变很大，之前的处理方式是type表示值的类型，变量的值存储在 zvalue_value 联合体中，is_ref__gc 和 refcount__gc 表示是否引用和引用计数器。这种方式有2个比较大的缺点：

占用内存多，实际使用中对象类型的变量少，zend_object_value 可以换成指针
结构体没有预留自定义的字段，扩展起来不方便

struct _zval_struct {
  zvalue_value  value;
  zend_uint     refcount__gc;
  zend_uchar    type;
  zend_uchar    is_ref__gc;
};

typedef union _zvalue_value {
  long   lval;
  double dval;
  struct {
    char *val;
    int   len;
  } str;
  HashTable *ht;
  zend_object_value obj;
} zvalue_value;

PHP7 的 zval 结构体包含 zend_value 用于存储变量的值（long or double）或者指针，另外还有 u1 和 u2 两个联合体，u1 是 zval 类型信息（共17种类型，见下zval.u1.type），u2 是辅助信息。另外，引用计数是在 zend_value 而不是 zval 上，变量之间的传递、赋值主要也是对 zend_value，新的做法显然更好一些。

struct _zval_struct {
  zend_value        value;          /* value */
  union {
    struct {
      ZEND_ENDIAN_LOHI_4(
        zend_uchar    type,         /* active type */
        zend_uchar    type_flags,
        zend_uchar    const_flags,
        zend_uchar    reserved)     /* call info for EX(This) */
    } v;
    uint32_t type_info;
  } u1;
  union {
    uint32_t     var_flags;
    uint32_t     next;            /* hash collision chain */
    uint32_t     cache_slot;      /* literal cache slot */
    uint32_t     lineno;          /* line number (for ast nodes) */
    uint32_t     num_args;        /* arguments number for EX(This) */
    uint32_t     fe_pos;          /* foreach position */
    uint32_t     fe_iter_idx;     /* foreach iterator index */
    uint32_t     access_flags;    /* class constant access flags */
    uint32_t     property_guard;  /* single property guard */
    uint32_t     extra;           /* not further specified */
  } u2;
};

typedef union _zend_value {
  zend_long         lval;           /* long value */
  double            dval;           /* double value */
  zend_refcounted  *counted;
  zend_string      *str;
  zend_array       *arr;
  zend_object      *obj;
  zend_resource    *res;
  zend_reference   *ref;
  zend_ast_ref     *ast;
  zval             *zv;
  void             *ptr;
  zend_class_entry *ce;
  zend_function    *func;
  struct {
    uint32_t w1;
    uint32_t w2;
  } ww;
} zend_value;

/* zval.u1.type */
/* regular data types */
#define IS_UNDEF                    0
#define IS_NULL                     1
#define IS_FALSE                    2
#define IS_TRUE                     3
#define IS_LONG                     4
#define IS_DOUBLE                   5
#define IS_STRING                   6
#define IS_ARRAY                    7
#define IS_OBJECT                   8
#define IS_RESOURCE                 9
#define IS_REFERENCE                10

/* constant expressions */
#define IS_CONSTANT                 11
#define IS_CONSTANT_AST             12

/* fake types */
#define _IS_BOOL                    13
#define IS_CALLABLE                 14

/* internal types */
#define IS_INDIRECT                 15
#define IS_PTR                      17

HashTable

PHP5 的 HashTable 结构体中，数据存储在 arBuckets 指针数组中，它是由 bucket 组成的双向链表，每个元素的值（zval结构）也存在这些 bucket 中，每个 bucket 中保存一个指向 zval 结构的指针，由于老的实现过于考虑通用性，所以不止需要一个指针，而是两个指针。这种结构下 bucket 和 zval 都需要分开分配，分配效率比较低。

typedef struct _hashtable {
  uint nTableSize;
  uint nTableMask;
  uint nNumOfElements;
  ulong nNextFreeElement;
  Bucket *pInternalPointer;
  Bucket *pListHead;
  Bucket *pListTail;
  Bucket **arBuckets;
  dtor_func_t pDestructor;
  zend_bool persistent;
  unsigned char nApplyCount;
  zend_bool bApplyProtection;
  #if ZEND_DEBUG
    int inconsistent;
  #endif
} HashTable;

typedef struct bucket {
  ulong h;
  uint nKeyLength;
  void *pData;
  void *pDataPtr;
  struct bucket *pListNext;
  struct bucket *pListLast;
  struct bucket *pNext;
  struct bucket *pLast;
  char *arKey;
} Bucket;

保证插入顺序的 bucket 实现

PHP7 的 HashTable 结构体中，bucket 是一个条目，zval是直接嵌入bucket结构体中，没有必要单独为他分配内存，也不会产生因内存分配引起的冗余信息，减少了空间浪费。

typedef struct _zend_array HashTable;

struct _zend_array {
  zend_refcounted_h gc;
  union {
    struct {
      ZEND_ENDIAN_LOHI_4(
        zend_uchar    flags,
        zend_uchar    nApplyCount,
        zend_uchar    nIteratorsCount,
        zend_uchar    consistency)
    } v;
    uint32_t flags;
  } u;
  uint32_t          nTableMask;
  Bucket           *arData;
  uint32_t          nNumUsed;
  uint32_t          nNumOfElements;
  uint32_t          nTableSize;
  uint32_t          nInternalPointer;
  zend_long         nNextFreeElement;
  dtor_func_t       pDestructor;
};

typedef struct _Bucket {
	zval              val;
	zend_ulong        h;        /* hash value (or numeric index)   */
	zend_string      *key;      /* string key or NULL for numerics */
} Bucket;

/*
 * HashTable Data Layout
 * =====================
 *
 *                 +=============================+
 *                 | HT_HASH(ht, ht->nTableMask) |
 *                 | ...                         |
 *                 | HT_HASH(ht, -1)             |
 *                 +-----------------------------+
 * ht->arData ---> | Bucket[0]                   |
 *                 | ...                         |
 *                 | Bucket[ht->nTableSize-1]    |
 *                 +=============================+
 */

PHP代码部分

引入Composer

以前的程序中使用了很多第三方库（smarty2、phpexcel、phpmailer、qrcode等），有一些用的版本比较老，升级PHP7的过程中也需要同步进行升级。为了将来的考虑，这次做的彻底一些，用Composer来管理第三方库，一些实在找不到替代品的只能自己处理了。现在再看这一步，真应该在升级5.6解决历史包袱的时候就应该处理掉，测试的工作量会少很多。

使用openssl替代mcrypt

吃过上面亏，后面再动手前先看了看刚发布的 PHP7.1 迁移手册中废弃的特性一节，准备比较一下 openssl 和 mcrypt。

通过上面两篇文章的介绍，openssl 作为 mcrypt 替代者不论从支持的加密种类还是加密速度上都完爆后者。自己经过测试验证，确认无误。替换方式也很简单，这里以 DES-CBC 为例。

$pad = 8 - (strlen($text) % 8);
$text .= str_repeat(chr($pad), $pad);

base64_encode(mcrypt_encrypt(MCRYPT_DES, $key, $text, MCRYPT_MODE_CBC, $iv));
openssl_encrypt($text, 'DES-CBC', $key, OPENSSL_ZERO_PADDING, $iv);

另外最后提一下，特别是在跨平台时，填充方式可能有的区别，有兴趣的可以看看这里

错误和异常处理

set_exception_handler() 不再保证收到的一定是 Exception 对象

抛出 Error 对象时，如果 set_exception_handler() 里的异常处理代码声明了类型 Exception ，将会导致 fatal error。

想要异常处理器同时支持 PHP5 和 PHP7，应该删掉异常处理器里的类型声明。如果代码仅仅是升级到 PHP7，则可以把类型 Exception 替换成 Throwable。

// PHP 5 时代的代码将会出现问题
function handler(Exception $e) { ... }
set_exception_handler('handler');

// 兼容 PHP 5 和 7
function handler($e) { ... }

// 仅支持 PHP 7
function handler(Throwable $e) { ... }

其它细碎变更

//有变化
list()
//移除
call_user_method()
call_user_method_array()
ereg_replace() //ereg整个系列函数
$HTTP_RAW_POST_DATA

参数优化

Opcache

opcache.enable = 1
opcache.enable_cli = 1
opcache.interned_strings_buffer = 8
//php文件多可以设置的大一些
opcache.max_accelerated_files = 8000
opcache.memory_consumption = 256
//文件检查周期，追求性能的在生产环境可以关闭，关闭后修改文件必须重启php-fpm才能生效
opcache.revalidate_freq = 600
opcache.fast_shutdown = 1
//开启hugepages支持
opcache.huge_code_pages = 1

opcache.file_cache这个还属于实验性质，在生产环境没有启用。

HugePages

开启系统的HugePages

sysctl vm.nr_hugepages=512

grep Huge /proc/meminfo
AnonHugePages:    391168 kB
HugePages_Total:     512
HugePages_Free:      477
HugePages_Rsvd:      103
HugePages_Surp:        0
Hugepagesize:       2048 kB

在第一次部署生产环境的时候还遇到了命令行下报错的情况。

/usr/local/php/bin/php -v
PHP Warning: Zend OPcache huge_code_pages: mmap(HUGETLB) failed: Cannot allocate memory (12) in Unknown on line 0

看了一下 text 段的占用，需要5个 HugePages，再看 HugePages_Free 发现只剩下4个了。调整参数到1024并重启 php-fpm，问题解决。出现这个问题主要是生产环境的 php-fpm 进程开的很多，导致 HugePages 不够用了。

size /usr/local/php/bin/php
   text	   data	    bss	    dec	    hex	filename
11092574	 778968	 149160	12020702	 b76bde	/usr/local/php/bin/php

分享一个查看进程 HugePages 占用的脚本

#进程hugepage占用，Redhat&CentOS首选
sudo grep -B 11 'KernelPageSize:     2048 kB' /proc/[pid]/smaps | grep "^Size:" | awk '{sum+=$2} END{print sum/1024}'

#!/usr/bin/perl
#查看huge_pages占用
sub counthugepages {
    my $pid=$_[0];
    open (NUMAMAPS, "/proc/$pid/numa_maps") || die "can't open numa_maps";
    my $HUGEPAGECOUNT=0;
    while (<NUMAMAPS>) {
        if (/huge.*dirty=(\d+)/) {
          $HUGEPAGECOUNT+=$1;
        }
    }
    close NUMAMAPS;
    return ($HUGEPAGECOUNT);
}

printf "%d huge pages\n",counthugepages($ARGV[0]);

结果

从3月中旬第一次灰度上线，到7月12日下午最后一台服务器升级完成。整个集群CPU使用率平均下降15% - 20%，负载也有很大程度的下降，完全达到预期。

总结

首先要感谢PHP社区各位成员的努力，让PHP的性能有了一次巨大提升，并且这次提升对于大多数应用领域的开发者来说，几乎可以算是透明的。

在这次漫长的升级过程中，各位小伙伴也为这次里程碑式的升级贡献了太多的智慧，付出了辛勤的劳动，感谢各位。

接下来还要推动公司内其它老项目的升级工作，希望其他小伙伴也能尽快享受到升级带来的实惠。

参考资料

PHP Internals Book

laruence/php7-internal

PHP’s new hashtable implementation

日请求亿级的 QQ 会员 AMS 平台 PHP7 升级实践

hugetlbpage

Linux HugePages

check for hugepages usage

让PHP7达到最高性能的几个Tips

mac选购、开发环境搭建及常用软件推荐

Wed, 04 Nov 2015 00:00:00 +0800

自己购买并使用MacBook Pro也有一段时间了，不论开会写代码都带着，身边有不少开发的小伙伴表示忍受不了信仰灯的诱惑，想趁着双11狠狠的剁一次手。恰逢15款发布，结合我浅显的使用体验，谈谈自己的感受。

选购

Mac定位是一款生产工具（想买来打游戏的还是看看外星人吧），对于一个会陪伴你3年以上，为你创造价值的武器，我个人觉得：在你能力范围内买最好的。

考虑到我没有视频、游戏和双系统的需要，综合便携性，我自己购买的是13寸的中配版本MacBook Pro（以下简称MBP）。MBP是全球联保的产品，1年内提供电话支持和维修服务。考虑到苹果产品维修价格过高，和其3年以上使用寿命，无脑推荐在购买MBP后再搭配Apple Care服务，可以延长2年的保修，淘宝价格在1100左右，选择可以邮寄序列号及手册的实体版本，不差钱的可以去实体店购买。

15款MacBook激进的使用了目前还不太普及的Type-C接口，又失去了信仰灯的加成，我个人完全不推荐，更详细的可以看Zealer的评测。

准备工作

在拿到机器，开始搭建开发环境 or 正式使用之前，请做以下两件事

准备一块500G－1T的移动硬盘，苹果系统内置了时光机（Time Machine），支持定时自动备份，如果在使用中出现重大系统问题、笔记本丢失、换新的笔记本，可以非常方便的恢复系统，做到完全的平滑回滚，我用了1年大概使用了600G空间。
升级操作系统：从我1年的使用经验来看，操作系统升级非常平滑，而且新版一般都有很多不错的功能，使用体验也变化不大。如果你升级系统出现崩溃，请用上面提到的时光机进行恢复，然后去买张彩票吧。

必备工具

番羽土啬工具 ShadowSocks + 账号，没有双币信用卡、不会搭建vps或嫌麻烦的，可以试试枫叶主机
终端工具 iterm2

搭建环境

终端工具

#切换zsh为默认shell
chsh -s /bin/zsh
#完全关闭iTerm后，确认切换是否成功
echo $SHELL
#输出 /bin/zsh 就对了

安装 oh-my-zsh 插件

sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"

编辑配置文件，选择一个你喜欢的主题，开启你需要的扩展

#oh-my-zsh配置文件
vi ~/.zshrc
#扩展配置 plugins=(svn git brew composer)
#主题配置 ZSH_THEME=random 不太确定哪个更适合你的，可以设置为随机
#所有的修改将在新开的iTerm标签生效

包管理器工具

homebrew是Mac平台下非常棒的包管理工具，对于快速搭建开发环境非常有帮助。我个人在安装前，一般都会先看看homebrew上有没有，个别情况下会使用源码编译安装。

homebrew安装的包默认在 /usr/local/Cellar/ ，在 /usr/local/opt/ 中通过软链接指向程序安装目录，配置文件一般在 /usr/local/etc/ 。

#以下所有brew操作最好配合番羽土啬工具使用，否则可能会出现下载失败的情况
#使用方法：开启shadowsocks并配置后，在需要执行的brew命令前，添加ALL_PROXY=socks5://127.0.0.1:1080

#安装nginx
brew install nginx

#从El Capitain开始，1000以下端口必须以root执行，不带sudo让nginx监听80端口需要调整nginx权限
chown root:wheel /usr/local/opt/nginx/bin/nginx
chmod u+s /usr/local/opt/nginx/bin/nginx
#调整nginx默认端口，改listen值为80，默认为8080端口
vi /usr/local/etc/nginx/nginx.conf

#添加自启动，并开启服务
cp /usr/local/opt/nginx/homebrew.mxcl.nginx.plist ~/Library/LaunchAgents
launchctl load ~/Library/LaunchAgents/homebrew.mxcl.nginx.plist
#检查nginx执行是否正常，有1行以上的结果基本就正常了
ps aux | grep nginx

#安装php及扩展
brew install homebrew/php/php56 homebrew/php/php56-igbinary homebrew/php/php56-mcrypt homebrew/php/php56-memcached homebrew/php/php56-msgpack homebrew/php/php56-pdo-dblib homebrew/php/php56-redis homebrew/php/php56-xhprof homebrew/php/php56-yaf homebrew/php/composer

#添加自启动，并开启服务
cp /usr/local/opt/php56/homebrew.mxcl.php56.plist ~/Library/LaunchAgents/
launchctl load ~/Library/LaunchAgents/homebrew.mxcl.php56.plist
#检查php执行是否正常
ps aux | grep php

#配置站点（省略）
#配置完成后可以执行 nginx -t 检查配置文件是否正确，nginx -s reload 重启nginx

#配置本地硬解，跟windows差不多
sudo vi /etc/host

#写个phpinfo() 检查nginx & php合体是否正确
vi /usr/local/opt/nginx/html/index.php

用homebrew管理软件

#更新brew并更新版本库
brew update
#查看过期的软件
brew outdated
#升级单个
brew upgrade xxxx
#升级全部
brew upgrade
#清理过期版本（确认新版本正常后再执行）
brew cleanup

配置环境变量

#添加到zsh
echo 'export PATH="$(brew --prefix php56)/sbin:$PATH"' >> ~/.zshrc
echo 'export PATH="/usr/local/sbin:$PATH"' >> ~/.zshrc
 
#如果你不打算用zsh，请添加到系统默认的bash
echo 'export PATH="$(brew --prefix php56)/sbin:$PATH"' >> ~/.bash_profile
echo 'export PATH="/usr/local/sbin:$PATH"' >> ~/.bash_profile

常用软件

Mac平台也有类似苹果手机的app store，一般称呼为Mac App Store（以下简称MAS）。由于苹果严格的审核政策和抢钱一样的分成策略，很多优秀的软件都没有上架MAS，即使上架到MAS的软件，其更新的实时性上也要差很多。如果能去官网下载，最好去官网。

除了QQ、微信、Evernote等这些主流免费应用外，以下列出的软件推荐在官网上下载：Alfred、FileZilla、Dash、Sequel Pro

剩下的自由发挥吧，这里有个榜单可以参考，另外MAS也有限免和冰点价格，请参考网站，碰到不错的价格就入手吧。

2017年4月补充

选购

2016款有带Touchbar的版本了，目前只有少数应用做了兼容，作为开发人员，没有实体Esc键个人觉得是最大的痛苦。要不要Touchbar的版本以及传说中的渣手感键盘，建议先去实体店体验一下，这里做一个简单对比。

版本	价格	接口	续航
有 touchbar	高	4 Type-C	稍差
无 touchbar	低	2 Type-C	稍好

homebrew

#服务管理
brew services list
brew services start zookeeper
brew services stop zookeeper
brew services restart zookeeper

#brew case管理三方软件
brew cask search firefox
brew cask install java
brew cask uninstall chrome

软件

上面说的ss已经好久不更新了，推荐一个新的工具 ShadowsocksX-NG

这一年多自己安装软件，基本与之前推荐的榜单使用感受相同。

Alfred PowerPack （workflow缺少官方源和类似brew的管理方式，目前只发现这一个缺点）
markdown编辑器 MacDown
Office全家桶 Office365
解压工具 Keka
密码管理软件 1Password
邮件客户端 ThunderBird （以前windows用的就是这个，平滑迁移）
系统监控 iStat Menus
鼠标Tips工具 PopClip
工具栏管理 Bartender 2

对Mysql索引类型的一次重新认识

Mon, 04 Jul 2011 00:00:00 +0800

今天下午突然收到报警邮件，投票系统的Mysql数据库有大量慢查询，导致前台站点访问出现异常。按图索骥开始进行分析，先看后端站点日志，发现出问题时一个没有启用验证码的投票被刷了，出问题的表是实现防刷功能的内存表，数据量大概有十几万行。先在后台开启验证码，恢复前台站点访问。

按道理内存表再慢也比MyISAM要快，除了数据不能有效落地之外，没有其它明显的缺点了，应用在防刷功能上最合适了，怎么会出现大面积锁表的情况呢？随着分析的深入，发现自己忽略了一个重要的问题，索引类型对内存表也有至关重要的影响，特别是在QPS比较高的情况下。

内存表使用的索引默认为HASH，而一般的MyISAM默认则为BTREE。

由于类型为HASH的索引是以hash以后的值作为键，hash之前的大小关系和hash之后的结果没有必然联系，所以HASH索引仅仅能满足”=”，”IN”和”<=>”查询，不能使用范围查询。简而言之就是与memcache一样的kv存储，不能通过范围查询也是理所当然的了。

进而可以想到，也有如下问题

无法对排序进行优化
不能利用部分索引查询
不能避免全表扫描

建表测试

CREATE TABLE `memory_test` (
  `id` int(10) unsigned NOT NULL DEFAULT '0',
  `firstname` varchar(10) NOT NULL DEFAULT '',
  `lastname` varchar(10) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `index` (`firstname`,`lastname`)
) ENGINE=MEMORY;

CREATE TABLE `myisam_test` (
  `id` int(10) unsigned NOT NULL DEFAULT '0',
  `firstname` varchar(10) NOT NULL DEFAULT '',
  `lastname` varchar(10) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `index` (`firstname`,`lastname`)
) ENGINE=MyISAM;

范围查询测试

EXPLAIN SELECT * FROM `memory_test` WHERE `id` > 5;
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
| id | select_type | table       | type | possible_keys | key  | key_len | ref  | rows | Extra       |
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
|  1 | SIMPLE      | memory_test | ALL  | PRIMARY       | NULL | NULL    | NULL |    6 | Using where |
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
#无法使用hash索引，对 memory_test 表进行了一次扫描行数为6的全表扫描

EXPLAIN SELECT * FROM `myisam_test` WHERE `id` > 5;
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table       | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------------+
|  1 | SIMPLE      | myisam_test | range | PRIMARY       | PRIMARY | 4       | NULL |    2 | Using where |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------------+
#使用主键索引，对 myisam_test 表进行了一次扫描行数为2的范围查询

排序测试

EXPLAIN SELECT * FROM `memory_test` ORDER BY `id` DESC;
+----+-------------+-------------+------+---------------+------+---------+------+------+----------------+
| id | select_type | table       | type | possible_keys | key  | key_len | ref  | rows | Extra          |
+----+-------------+-------------+------+---------------+------+---------+------+------+----------------+
|  1 | SIMPLE      | memory_test | ALL  | NULL          | NULL | NULL    | NULL |    6 | Using filesort |
+----+-------------+-------------+------+---------------+------+---------+------+------+----------------+
#仍然无法使用hash索引，产生一次全表扫描

EXPLAIN SELECT * FROM `myisam_test` ORDER BY `id` DESC;
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------+
| id | select_type | table       | type  | possible_keys | key     | key_len | ref  | rows | Extra |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------+
|  1 | SIMPLE      | myisam_test | index | NULL          | PRIMARY | 4       | NULL |    6 |       |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+-------+
#使用主键索引

联合索引中左前缀测试

EXPLAIN SELECT * FROM `memory_test` WHERE `firstname` = 'firstname1';
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
| id | select_type | table       | type | possible_keys | key  | key_len | ref  | rows | Extra       |
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
|  1 | SIMPLE      | memory_test | ALL  | index         | NULL | NULL    | NULL |    6 | Using where |
+----+-------------+-------------+------+---------------+------+---------+------+------+-------------+
#无法使用联合索引

EXPLAIN SELECT * FROM `myisam_test` WHERE `firstname` = 'firstname1';
+----+-------------+-------------+------+---------------+-------+---------+-------+------+-------------+
| id | select_type | table       | type | possible_keys | key   | key_len | ref   | rows | Extra       |
+----+-------------+-------------+------+---------------+-------+---------+-------+------+-------------+
|  1 | SIMPLE      | myisam_test | ref  | index         | index | 32      | const |    1 | Using where |
+----+-------------+-------------+------+---------------+-------+---------+-------+------+-------------+
#可以使用到 index 索引

如果非要对内存表进行范围查询怎么办？当然也不是没有解决办法，Mysql在建索引的时候是可以指定索引类型的。

对内存表建立BTREE索引

CREATE TABLE `memory_btree_test` (
  `id` int(10) unsigned NOT NULL DEFAULT '0',
  `firstname` varchar(10) NOT NULL DEFAULT '',
  `lastname` varchar(10) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `index` (`firstname`,`lastname`) USING BTREE
) ENGINE=MEMORY

联合索引左前缀

EXPLAIN SELECT * FROM `memory_btree_test` WHERE `firstname` = 'firstname1';
+----+-------------+-------------------+------+---------------+-------+---------+-------+------+-------------+
| id | select_type | table             | type | possible_keys | key   | key_len | ref   | rows | Extra       |
+----+-------------+-------------------+------+---------------+-------+---------+-------+------+-------------+
|  1 | SIMPLE      | memory_btree_test | ref  | index         | index | 32      | const |    1 | Using where |
+----+-------------+-------------------+------+---------------+-------+---------+-------+------+-------------+

总结：

Mysql的每个存储引擎（MyISAM、InnoDB、Memory）都有它的适用场景，索引类型也不例外，当然更不要说各种产品了（Memcache、Redis等等）。了解了每个产品的应用场景才能更好的帮我们解决实际困难，而不是时不时的给自己添堵。在这次故障上，还是体现了自己的无知，仍需要加强学习。

Linux常用命令

Tue, 21 Dec 2010 00:00:00 +0800

Linux中非常常用的命令，工作中99%会用到，熟练使用事半功倍

参考文献里的几个文章，对于想深入学习Linux的开发人员推荐阅读

grep

#忽略大小写，显示匹配到内容的及前后各5行内容，并附带行号
grep -in 'findme' --context=5 file

#显示没有匹配到内容的行
grep -v 'findme' file

#在当前目录中递归查询，没有匹配到内容的文件名
grep -r -L 'findme' ./*

#支持gzip文件的匹配
grep -Z -C 5 -i 'findme' file.gz

find

#在给定目录中，寻找访问时间在最近30分钟内的文件，并查看其文件信息
find path -atime -30m -type f -ls

#在给定目录的最大深度为2的目录结构中，寻找创建时间在1天以前的文件
find path -maxdepth 2 -ctime +1d -type f

#当前目录下，寻找空文件并删除
find ./ -empty -delete

#从给定目录中，按文件名寻找，并执行给定命令
find path -name 'file' -exec md5 {} \;

#寻找比给定文件修改时间新的链接
find path -newer file -type l

#寻找1MB以下文件
find path -size -1M -type f

#删除所有失效的链接
find -L path -type l -exec rm -- {} +

sed

#打印被替换的行
sed -n 's/test/TEST/p' file

#显示从第一个表达式到第二个表达式之间的行
sed -n '/^fls/,/^dd/p' file

#删除空行
sed '/^$/d' file

#删除第7行到最后一行
sed '7,$d' file

#替换以fml开头的行为fmlgo
sed 's/^fml/&go/' file
sed 's/^\(fml\)/\1go/' file

#删除第1到第3行，并进行替换，在结尾附加file2
sed -e '1,3d' -e 's/^fml/lmf/' -e '$r file2' file1

#输出奇数行
sed -n 'p;n' file

#输出偶数行
sed -n 'n;p' file

awk

#平均QPS
awk '{sec=substr($4,2,20);reqs++;reqsBySec[sec]++;} END{print reqs/length(reqsBySec)}' nginx.log

#最大QPS
awk '{sec=substr($4,2,20);reqsBySec[sec]++;} END{for(s in reqsBySec){printf("%s %s\n", reqsBySec[s], s)}}' nginx.log | sort -nr | head -n 3

#单个url最大体积
awk '{url=$7;size[url]+=$10} END{for(s in size){printf("%s %s\n",size[s],s)}}' nginx.log | sort -nr | head -n 5

#带宽
awk '{sec=substr($4,2,20);size[sec]+=$10} END{for(s in size){printf("%sKB %s\n",size[s]/1024,s)}}' nginx.log | sort -nr | head -n 5

xargs

#批量杀进程
ps aux | grep php-fpm | grep -v 'grep' | awk '{print $2}' | xargs kill -9

#替换指定位置
less filenames.txt | axrgs -I {} cp {} path

参考文献

Linux命令大全

linuxcommand

50 Most Frequently Used UNIX / Linux Commands

在Smarty里把页面输出压缩成1行

Sat, 17 Jul 2010 00:00:00 +0800

为了提高页面的加载速度，尝试对输出的html响应内容进行压缩。项目使用的是Smarty作为模版引擎，查了官方手册是支持过滤器的，三种过滤器区别如下

prefilter：编译成php脚本前
postfilter：编译成php脚本后
outputfilter：显示前

考虑到Smarty可能会升级，没有采用loadFilter这种标准扩展方式，而是在工厂类使用注册函数的方式实现。

$this->_smarty = new Smarty;
#Smarty3版本
$this->_smarty->registerFilter('output', 'htmlCompress');
#Smarty2版本
$this->_smarty->register_outputfilter('htmlCompress');

/**
 * Html代码压缩
 * @param string $tpl_source 模版资源路径
 * @param obj    $smarty     smarty对象
 * @return string
 */
function htmlCompress($tpl_source, $smarty)
{
    //这4类情况进行转换：
    //HTML注释（非贪婪匹配）
    //连续多个空白
    //HTML标记之间的空白，如 </p> <p> 之间的空白
    //js代码分号结尾后的空白
    $patterns = array('/<!--.*-->/U', '/\s+/m', '/>\s+</m', '/;\s+/m');
    $replacements = array('', ' ', '><', ';');
    return preg_replace($patterns, $replacements, $tpl_source);
}

写好了本地一跑js报错一大堆，又改了1个小时的内连js脚本才好。总结一下报错的原因无外乎以下2个，算是一个小坑吧。

//修改单行注释为块注释
/* 这个ok */

/* 结尾一定要写分号 */
$("p.intro").show();

使用SPL读取大文件

Sun, 24 Jan 2010 00:00:00 +0800

开发中需要读取一个大文件的指定行，试了很多种方法效果都不太理想，想起前几天翻看PHP手册中提到的SPL好像有能解决问题的办法，尝试了一下成功解决问题。

/**
 * @param $file_name string 文件路径
 * @param $start integer 起始行
 * @param $limit integer 向后读取行数
 * @return array 内容
 */
function get_line($file_name, $start, $limit)
{
    $f = new SplFileObject($file_name, ’r’);
    $f->seek($start);
    $ret = Array();

    for ($i = 0; $i < $limit; $i++) {
        $ret[] = trim($f->current());
        $f->next();
    }

    return $ret;
}

#测试的file.log文件700MB
$time_start = microtime(true);
print_r(get_line('/path/file.log', 6789, 5));
echo 'in '.(microtime(true) - $time_start).' seconds'.PHP_EOL;
#in 0.003400924346561 seconds