nosql——memcached（一）

# 第二十一章 Nosql

## 21.1Nosql介绍

### 什么是Nosql

* 非关系型数据库就是NoSQL，关系型数据库代表MySQL

* 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

* NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。

* NoSQL数据可以存储在内存里，查询速度非常快

* NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

* NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

### 常见Nosql数据库

* k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

* 文档数据库：mongodb   将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

* 列存储 Hbase

* 图  Neo4J、Infinite Graph、OrientDB

## 21.2memcached介绍

* Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。

* 官方站点 http://www.memcached.org/

* 数据结构简单(k-v)，数据存放在内存里

* 多线程 

* 基于c/s架构，协议简单 

* 基于libevent的事件处理 

* 自主内存存储处理（slab allowcation)

* 数据过期方式：Lazy Expiration 和LRU

### slab allowcation原理

* 将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。

* Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。

* Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。


### growth factor

* Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

* 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25 

* 命令：# memcached-tool 127.0.0.1:11211 display

### memcached数据过期方式

* Lazy Expiration

  * Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

* LRU

  * Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

## 21.3安装memcached

官方版本：  


本次实验使用系统自带版本：memcached.x86_64  1.4.15-10.el7_3.1  

### 安装

```

[root@adailinux ~]# yum install -y memcached libmemcached libevent  

#memcached依赖于libevent,而libmemecached是memcached的一个工具包，如果系统没有安装这两个包，需要手动安装。

```

## 启动

```

[root@adailinux ~]# systemctl start memcached

[root@adailinux ~]# ps aux |grep memcached

memcach+  2363  0.7  0.2 325556  1192 ?        Ssl  16:15   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

root      2370  0.0  0.1 112664   972 pts/0    S+   16:15   0:00 grep --color=auto memcached

说明：

-u：表示指定用户

-p：表示监听端口

-m：表示分配的内存

-c：表示最大并发数

[root@adailinux ~]# netstat -lntp |grep memcached

tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      2363/memcached      

tcp6       0      0 :::11211                :::*                    LISTEN      2363/memcached  

```

### memcached启动参数配置：

```

[root@adailinux ~]# vim /etc/sysconfig/memcached

PORT="11211"

USER="memcached"

MAXCONN="1024"

CACHESIZE="64"

OPTIONS=""

```

**说明：** OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。    

## 21.4 查看memcached的状态

```

方法1：

[root@adailinux ~]# memcached-tool 127.0.0.1:11211 stats

方法2：（前提是安装了libmemcached包）

[root@adailinux ~]# memstat --servers=127.0.0.1:11211

方法3：

[root@adailinux ~]# telnet 127.0.0.1 11211

#连接memcached

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

stats 

#查看memcached的状态

STAT pid 1277            （进程ID）

STAT uptime 176145         （服务器运行秒数,秒）

STAT time 1448592684       （服务器当前unix时间戳）

STAT version 1.4.15        （服务器版本）

STAT libevent 2.0.21-stable

STAT pointer_size 64       （操作系统字大小 32/64位）

STAT rusage_user 3.869494    （进程累计用户时间，秒）

STAT rusage_system 4.636292   （进程累计系统时间，秒）

STAT curr_connections 11     （当前打开连接数）

STAT total_connections 21    （曾打开的连接总数）

STAT connection_structures 12  （服务器分配的连接结构数）

STAT reserved_fds 20

STAT cmd_get 483          （执行get命令总数）

STAT cmd_set 144          （执行set命令总数）

STAT cmd_flush 0          （指向flush_all命令总数）

STAT cmd_touch 0

STAT get_hits 369         （get命中次数）

STAT get_misses 114        （get未命中次数）

STAT delete_misses 0       （delete未命中次数）

STAT delete_hits 0        （delete命中次数）

STAT incr_misses 0        （incr未命中次数）

STAT incr_hits 0         （incr命中次数）

STAT decr_misses 0        （decr未命中次数）

STAT decr_hits 0         （decr命中次数）

STAT cas_misses 0         （cas未命中次数）

STAT cas_hits 0          （cas命中次数）

STAT cas_badval 0         （使用擦拭次数）

STAT touch_hits 0

STAT touch_misses 0

STAT auth_cmds 0

STAT auth_errors 0

STAT bytes_read 82819      （读取字节总数）

STAT bytes_written 104266    （写入字节总数）

STAT limit_maxbytes 67108864  （分配的内存数（字节））

STAT accepting_conns 1      （目前接受的连接数）

STAT listen_disabled_num 0

STAT threads 4           （线程数）

STAT conn_yields 0

STAT hash_power_level 16

STAT hash_bytes 524288

STAT hash_is_expanding 0

STAT bytes 4789           （存储item字节数）

STAT curr_items 20         （item个数）

STAT total_items 144       （item总数）

STAT expired_unfetched 15

STAT evicted_unfetched 0

STAT evictions 0          （获取空间删除item的总数）

STAT reclaimed 36

END

quit

#退出

Connection closed by foreign host.

```

**说明：** 需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。

### 使用nc命令查看memcached状态

```

[root@adailinux ~]# yum install -y nc

[root@adailinux ~]# echo stats |nc 127.0.0.1 11211

```