memcache

发表于

说明

memcache是一个多线程缓存服务器，通常用作缓存、存储session等非重要信息的存储
php有memcache、memcached两个扩展，memcached支持CAS

启动

1
2
3
4
5
6
7
memcached -m 256 -p 11211 -l 127.0.0.1
-m 内存最大使用数
-p 监听端口 默认11211
-l 监听的ip 默认所有ip,通常设置为内网ip
-u 指定运行用户
-t 线程数 通常设定为CPU核数
-c 最大并发数

访问

1
telnet 127.0.0.1 11211

命令

基本命令

stats       查看所有memcache服务器运行状态信息
add         添加一个条目到服务器
set         替换一个已经存在的数据，如果数据不存在则和add命令相同
get         从服务器获取指定数据
delete      删除单条数据，如要清楚所有数据，可使用flush
stats items 获取所有数据，可看到flag号
stats cachedump 3 0  返回指定的key 这里3表示flag号，0显示所有数据，如果是1表示显示1条
* add/set <key> <flag> <ttl> <数据长度>

PHP中命令使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<?php
//创建memcache对象
$mc = new Memcache();
//添加多态memcache服务器，自动实现分布式集群
$mc->addServer('127.0.0.1',11222);
$mc->addServer('192.1.7.10',11211);
//添加key hello
$mc->add('hello','hellovalue');
//设定key、value set相当于add or replace
$mc->set('key','value',0,10);
$mc->set('key2','value2',MEMCACHE_COMPRESSED,1460263778);
参数3是flag，可配置MEMCACHE_COMPRESSED压缩模式
参数4为过期时间 可用XX秒或具体时间戳，但方式1最大设定30天，超过30天需使用方式2
//获取value
$val = $mc->get('key');
//删除key
// $mc->delete('key');
//强制清空缓存
// $mc->flush();
$mc->close();

数据

使用LRU算法淘汰数据(近期最少使用算法)
    当使用内存超过最大可用内存时，memcached会启用LRU算法淘汰旧数据
默认限制存储数据不能超过1M

分布式

通过addServer()方法添加memcache服务器，memcache自动实现分布式
目前分布式有2种哈希策略

  • 哈希
    memcache默认使用的哈希策略
    缺点是容错性和扩容性不好,一旦集群数量改变，缓存会大量失效，造成“雪崩”

  • 一致性哈希 资料 资料2
    一致性哈希的好处是当集群中机器数量发生变化时，减少缓存失效范围，防止“雪崩”。php的memcache扩展在2.20版本后可通过配置memcache.hash_strategy=consistent支持一致性哈希，免去手动代码编写 资料

    一致性哈希PHP手动实现

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
        <?php
        /**
         * 一致性哈希查找
         */
        class ConsistentHash{
            //服务器列表
            private $serverList = array();
            //服务器列表是否已排序
            private $isSorted = false;
            /**
             * 添加服务器
             * @param String $server 服务器IP
             */
            public function addServer($server){
                $server = trim($server);
                $serverHash = $this->hash($server);
                if(!in_array($server,$this->serverList)){
                    $this->serverList[$serverHash] = $server;
                    $this->isSorted = false;
                    return true;
                }else{
                    return false;
                }
            }
            /**
             * 移除服务器
             * @param  String $server 服务器IP
             * @return Boolean
             */
            public function removeServer($server){
                $server = trim($server);
                $serverHash = $this->hash($server);
                foreach($this->serverList as $k=>$v){
                    if($v==$server){
                        unset($this->serverList[$k]);
                        $this->isSorted = false;
                        return true;
                    }
                }
                return false;
            }
            /**
             * 查找key所在服务器
             * @param  String $key key字符串
             * @return String/Boolean      服务器IP
             */
            public function lookup($key){
                $keyHash = $this->hash($key);
                if(count($this->serverList)==0){
                    return false;
                }
                if($this->isSorted == false){
                    $this->sort();
                }
                foreach($this->serverList as $k=>$v){
                    if($keyHash>$k){
                        return $v;
                    }
                }
                //无匹配返回key最大的服务器
                return $this->serverList[0];
            }
            /**
             * hash算法
             * @param  String $key key字符串
             * @return String     哈希值
             */
            public function hash($key){
                return crc32($key);
            }
            /**
             * 排序
             */
            public function sort(){
                krsort($this->serverList,SORT_NUMERIC);
                $this->isSorted = true;
            }
            /**
             * 获取服务器列表
             * @return Array 服务器列表
             */
            public function getServerList(){
                return $this->serverList;
            }
        }
        $strategy = new ConsistentHash();
    $strategy->addServer('192.1.1.1');
        $strategy->addServer('192.1.1.2');
    $strategy->addServer('192.1.1.3');
        $strategy->addServer('192.1.1.4');
    $strategy->removeServer('192.1.1.2');
        echo $strategy->lookup(1).PHP_EOL;
    echo $strategy->lookup(2).PHP_EOL;
        echo $strategy->lookup(3).PHP_EOL;
    echo $strategy->lookup(4).PHP_EOL;
        echo $strategy->lookup(5).PHP_EOL;
    echo $strategy->lookup(7).PHP_EOL;
        echo $strategy->lookup(8).PHP_EOL;
    echo $strategy->lookup(9).PHP_EOL;
        var_dump($strategy->getServerList());
        exit;

安全防护

1.内网访问
启动时通过-l指定特定可访问ip
    memcached -l 192.158.0.10 -m ...

2.设置防火墙
iptables -F
iptables -P INPUT DROP
iptables -A INPUT -p tcp -s 192.158.0.10 -dport 11211 -j ACCEPT
iptables -A INPUT -p udp -s 172.158.0.10 -dport 11211 -j ACCEPT