• tibet

    30日14:35 抵达西藏

    D1,拉萨,布宫,大昭寺,逛逛八角街

    D2,拉萨—羊湖—江孜—日喀则

    (羊卓雍错,卡若拉冰川,宗山古堡,白居寺)

    D3,日喀则—定日—珠峰

    (景点:珠峰,绒布寺)

    D4,珠峰—日喀则

    (景点:扎什伦布寺)

    D5,日喀则—羊八井—纳木错

    (景点:纳木错,念青唐古拉山)

    D6,纳木错—拉萨

    对应海拔:

    拉萨:3650

    八一:2900

    泽当:3560

    江孜:4000

    日喀则:3850

    珠峰大本营:5200

    拉孜:4000

    纳木错:4718

  • 笑话

    1.两位棋手一动不动地在棋盘前已经沉默地坐了五个钟头了。 他们全神贯注地盯着每粒棋子。
    突然,一位棋手说:“原则上我是反对在下棋时说话的,但是我现在不得不开口问:我们到底该谁先下一步棋?”
    2.某日,一个对中文略知一二的老外去某工厂参观。
    半路当中,厂长说:“对不起,我去方便一下。”
    老外不懂这句中文,问翻译:“方便是什么意思。”
    翻译说,“就是去厕所。”老外:“哦……”
    参观结束,厂长热情地对老外说:“下次你方便的时候一起吃饭!”
    老外一脸不高兴,用生硬的中文说:“我在方便的时候从来不吃饭!”

    樱子跟小强说:“今天考试的时候我踢你一下,你就要给我瞄一下。 ”到了考试的时候,樱子踢了小强一下,小强便回答:喵!

    甲:你年薪多少?乙:1000万。甲:那一个月有80万多哦!乙:是的,这是基本工资。甲:不错嘛,做什么的?乙:做梦的 ……

    一美女从的士上下来,把照相机落在后座了。司机见状赶忙把头伸出窗外,冲着美女喊:“小姐,你相机~。” 美女一脸红,扭过头骂道:“你TMD像鸭!” 然后的士走了。然后美女追着喊:“师傅,我相机,我相机……”

    甲:老同学,好久不见了,你的女朋友小丽还好吗?乙:(得意洋洋):哈哈,她早就不是我的女朋友了!甲:嗯,你早该这样了,在大学时,我就听说她跟咱们班里好几个男生有染,想当年我还和她有过一腿呢!乙脸色铁青,半晌才低声吐出几个字:她现在是我的老婆…

    A:你的仇人和情敌同时掉入水里,有个板砖你砸谁?B:思考了一会。B:谁救砸谁。

    一天一个非洲人走在沙漠上,看到一个神灯,捡起便擦。
    出现了一个精灵说:“我可以实现你三个愿望。”
    非洲人说:“我要变白,我要天天可以喝到水,我要天天看到女人的屁股。”
    说完“碰”的一声他变成了一个马桶。

    一司机大雾天晚上迷了路,隐隐约约看见路边有一个路标,就把车停崴下来。可是雾太大,怎么也看不见写的什么字。于是决定爬上去看看。好不容易爬到顶上,终于看清上面的字:油漆未干。

    公园有一对恋人正在甜蜜,女孩撒娇说老公:我牙痛!男孩于是吻了女孩一口问:还疼吗女孩说不痛了!一会女孩又撒娇的说:老公,我脖子痛!男孩又吻了吻女孩的脖子,又问这回还疼吗女孩很开心的说:不痛了!旁边一老太太站着看了半天了,忍不住了,上前就问小伙子说:小伙子你真神了,你能治痔疮不能。

    几个人在高尔夫更衣室,一手机响很久,一男人按了免提键。女:亲爱的你在俱乐部吗?男:在。女:我看到一辆宝马才不到两百万。 男人:买 。女:还有那个楼盘又放盘了,6万一平。男:买。女:好爱你。男:也爱你。
旁边男人敬佩得目瞪口呆。男人挂了电话,问:这是谁的手机?

    某剩女在一次相亲时拐弯抹角地打听男方家底:“你最常用的交通工具是什么?” 男方回答:“飞机,动车。” 女方觉得男方属于高档商务白领,遂嫁之。 婚后发现男方是个民工,骑一辆破自行车上下班。 女怒道:“当初你竟然骗我。” 男茫然答道:“没骗你啊,我说的就是非机动车呀。”

  • 关于Nginx的一些优化(突破十万并发)

    worker_processes 8;

    nginx进程数,建议按照cpu数目来指定,一般为它的倍数。

    worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;

    为每个进程分配cpu,上例中将8个进程分配到8个cpu,当然可以写多个,或者将一个进程分配到多个cpu。

    worker_rlimit_nofile 102400;

    这个指令是指当一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(ulimit -n)与nginx进程数相除,但是nginx分配请求并不是那么均匀,所以最好与ulimit -n的值保持一致。

    use epoll;

    使用epoll的I/O模型,这个不用说了吧。

    worker_connections 102400;

    每个进程允许的最多连接数,理论上每台nginx服务器的最大连接数为worker_processes*worker_connections。

    keepalive_timeout 60;

    keepalive超时时间。

    client_header_buffer_size 4k;

    客户端请求头部的缓冲区大小,这个可以根据你的系统分页大小来设置,一般一个请求的头部大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。

    open_file_cache max=102400 inactive=20s;

    这个将为打开文件指定缓存,默认是没有启用的,max指定缓存数量,建议和打开文件数一致,inactive是指经过多长时间文件没被请求后删除缓存。

    open_file_cache_valid 30s;

    这个是指多长时间检查一次缓存的有效信息。

    open_file_cache_min_uses 1;

    open_file_cache指令中的inactive参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive时间内一次没被使用,它将被移除。

    net.ipv4.tcp_max_tw_buckets = 6000

    timewait的数量,默认是180000。

    net.ipv4.ip_local_port_range = 1024    65000

    允许系统打开的端口范围。

    net.ipv4.tcp_tw_recycle = 1

    启用timewait快速回收。

    net.ipv4.tcp_tw_reuse = 1

    开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接。

    net.ipv4.tcp_syncookies = 1

    开启SYN Cookies,当出现SYN等待队列溢出时,启用cookies来处理。

    net.core.somaxconn = 262144

    web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。

    net.core.netdev_max_backlog = 262144

    每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。

    net.ipv4.tcp_max_orphans = 262144

    系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)。

    net.ipv4.tcp_max_syn_backlog = 262144

    记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言,缺省值是1024,小内存的系统则是128。

    net.ipv4.tcp_timestamps = 0

    时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。

    net.ipv4.tcp_synack_retries = 1

    为了打开对端的连接,内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量。

    net.ipv4.tcp_syn_retries = 1

    在内核放弃建立连接之前发送SYN包的数量。

    net.ipv4.tcp_fin_timeout = 1

    如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒,你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB服务器,也有因为大量的死套接字而内存溢出的风险,FIN- WAIT-2的危险性比FIN-WAIT-1要小,因为它最多只能吃掉1.5K内存,但是它们的生存期长些。

    net.ipv4.tcp_keepalive_time = 30

    当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时。

    net.ipv4.ip_forward = 0
    net.ipv4.conf.default.rp_filter = 1
    net.ipv4.conf.default.accept_source_route = 0
    kernel.sysrq = 0
    kernel.core_uses_pid = 1
    net.ipv4.tcp_syncookies = 1
    kernel.msgmnb = 65536
    kernel.msgmax = 65536
    kernel.shmmax = 68719476736
    kernel.shmall = 4294967296
    net.ipv4.tcp_max_tw_buckets = 6000
    net.ipv4.tcp_sack = 1
    net.ipv4.tcp_window_scaling = 1
    net.ipv4.tcp_rmem = 4096        87380   4194304
    net.ipv4.tcp_wmem = 4096        16384   4194304
    net.core.wmem_default = 8388608
    net.core.rmem_default = 8388608
    net.core.rmem_max = 16777216
    net.core.wmem_max = 16777216
    net.core.netdev_max_backlog = 262144
    net.core.somaxconn = 262144
    net.ipv4.tcp_max_orphans = 3276800
    net.ipv4.tcp_max_syn_backlog = 262144
    net.ipv4.tcp_timestamps = 0
    net.ipv4.tcp_synack_retries = 1
    net.ipv4.tcp_syn_retries = 1
    net.ipv4.tcp_tw_recycle = 1
    net.ipv4.tcp_tw_reuse = 1
    net.ipv4.tcp_mem = 94500000 915000000 927000000
    net.ipv4.tcp_fin_timeout = 1
    net.ipv4.tcp_keepalive_time = 30
    net.ipv4.ip_local_port_range = 1024    65000
    user  www www;
    worker_processes 8;
    worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000;
    error_log  /www/log/nginx_error.log  crit;
    pid        /usr/local/nginx/nginx.pid;
    worker_rlimit_nofile 204800;
    
    events
    {
      use epoll;
      worker_connections 204800;
    }
    
    http
    {
      include       mime.types;
      default_type  application/octet-stream;
    
      charset  utf-8;
    
      server_names_hash_bucket_size 128;
      client_header_buffer_size 2k;
      large_client_header_buffers 4 4k;
      client_max_body_size 8m;
    
      sendfile on;
      tcp_nopush     on;
    
      keepalive_timeout 60;
    
      fastcgi_cache_path /usr/local/nginx/fastcgi_cache levels=1:2
       keys_zone=TEST:10m
       inactive=5m;
      fastcgi_connect_timeout 300;
      fastcgi_send_timeout 300;
      fastcgi_read_timeout 300;
      fastcgi_buffer_size 16k;
      fastcgi_buffers 16 16k;
      fastcgi_busy_buffers_size 16k;
      fastcgi_temp_file_write_size 16k;
      fastcgi_cache TEST;
      fastcgi_cache_valid 200 302 1h;
      fastcgi_cache_valid 301 1d;
      fastcgi_cache_valid any 1m;
      fastcgi_cache_min_uses 1;
      fastcgi_cache_use_stale error timeout invalid_header http_500;
    
      open_file_cache max=204800 inactive=20s;
      open_file_cache_min_uses 1;
      open_file_cache_valid 30s;
    
      tcp_nodelay on;
    
      gzip on;
      gzip_min_length  1k;
      gzip_buffers     4 16k;
      gzip_http_version 1.0;
      gzip_comp_level 2;
      gzip_types       text/plain application/x-javascript text/css application/xml;
      gzip_vary on;
    
      server
      {
        listen       8080;
        server_name  ad.test.com;
        index index.php index.htm;
        root  /www/html/;
    
        location /status
        {
            stub_status on;
        }
    
        location ~ .*\.(php|php5)?$
        {
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            include fcgi.conf;
        }
    
        location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|css)$
        {
          expires      30d;
        }
    
        log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" $http_x_forwarded_for';
        access_log  /www/log/access.log  access;
          }
    }
    fastcgi_cache_path /usr/local/nginx/fastcgi_cache levels=1:2 keys_zone=TEST:10m inactive=5m;

    这个指令为FastCGI缓存指定一个路径,目录结构等级,关键字区域存储时间和非活动删除时间。

    fastcgi_connect_timeout 300;

    指定连接到后端FastCGI的超时时间。

    fastcgi_send_timeout 300;

    向FastCGI传送请求的超时时间,这个值是指已经完成两次握手后向FastCGI传送请求的超时时间。

    fastcgi_read_timeout 300;

    接收FastCGI应答的超时时间,这个值是指已经完成两次握手后接收FastCGI应答的超时时间。

    fastcgi_buffer_size 16k;

    指定读取FastCGI应答第一部分需要用多大的缓冲区,这里可以设置为fastcgi_buffers指令指定的缓冲区大小,上面的指令指定它将使用1个16k的缓冲区去读取应答的第一部分,即应答头,其实这个应答头一般情况下都很小(不会超过1k),但是你如果在fastcgi_buffers指令中指定了缓冲区的大小,那么它也会分配一个fastcgi_buffers指定的缓冲区大小去缓存。

    fastcgi_buffers 16 16k;

    指定本地需要用多少和多大的缓冲区来缓冲FastCGI的应答,如上所示,如果一个php脚本所产生的页面大小为256k,则会为其分配16个16k的缓冲区来缓存,如果大于256k,增大于256k的部分会缓存到fastcgi_temp指定的路径中,当然这对服务器负载来说是不明智的方案,因为内存中处理数据速度要快于硬盘,通常这个值的设置应该选择一个你的站点中的php脚本所产生的页面大小的中间值,比如你的站点大部分脚本所产生的页面大小为256k就可以把这个值设置为16 16k,或者4 64k 或者64 4k,但很显然,后两种并不是好的设置方法,因为如果产生的页面只有32k,如果用4 64k它会分配1个64k的缓冲区去缓存,而如果使用64 4k它会分配8个4k的缓冲区去缓存,而如果使用16 16k则它会分配2个16k去缓存页面,这样看起来似乎更加合理。

    fastcgi_busy_buffers_size 32k;

    这个指令我也不知道是做什么用,只知道默认值是fastcgi_buffers的两倍。

    fastcgi_temp_file_write_size 32k;

    在写入fastcgi_temp_path时将用多大的数据块,默认值是fastcgi_buffers的两倍。

    fastcgi_cache TEST

    开启FastCGI缓存并且为其制定一个名称。个人感觉开启缓存非常有用,可以有效降低CPU负载,并且防止502错误。但是这个缓存会引起很多问题,因为它缓存的是动态页面。具体使用还需根据自己的需求。

    fastcgi_cache_valid 200 302 1h;
    fastcgi_cache_valid 301 1d;
    fastcgi_cache_valid any 1m;

    为指定的应答代码指定缓存时间,如上例中将200,302应答缓存一小时,301应答缓存1天,其他为1分钟。

    fastcgi_cache_min_uses 1;

    缓存在fastcgi_cache_path指令inactive参数值时间内的最少使用次数,如上例,如果在5分钟内某文件1次也没有被使用,那么这个文件将被移除。

    fastcgi_cache_use_stale error timeout invalid_header http_500;

    不知道这个参数的作用,猜想应该是让nginx知道哪些类型的缓存是没用的。 以上为nginx中FastCGI相关参数,另外,FastCGI自身也有一些配置需要进行优化,如果你使用php-fpm来管理FastCGI,可以修改配置文件中的以下值:

    <value name="max_children">60</value>

    同时处理的并发请求数,即它将开启最多60个子线程来处理并发连接。

    <value name="rlimit_files">102400</value>

    最多打开文件数。

    <value name="max_requests">204800</value>

    每个进程在重置之前能够执行的最多请求数。

  • PHP-redis中文文档

    phpredis是php的一个扩展,效率是相当高有链表排序功能,对创建内存级的模块业务关系很有用;以下是redis官方提供的命令使用技巧:

    下载地址如下:

    https://github.com/owlient/phpredis(支持redis 2.0.4)

    Redis::__construct构造函数
    $redis = new Redis();

    connect, open 链接redis服务
    参数
    host
    : string,服务地址
    port
    : int,端口号
    timeout
    : float,链接时长 (可选, 默认为 0 ,不限链接时间)
    注: 在redis.conf中也有时间,默认为300

    pconnect, popen 不会主动关闭的链接
    参考上面

    setOption 设置redis模式

    getOption 查看redis设置的模式

    ping 查看连接状态

    get 得到某个key的值(string值)
    如果该key不存在,return false

    set 写入key 和 value(string值)
    如果写入成功,return ture

    setex 带生存时间的写入值
    $redis->setex(‘key’, 3600, ‘value’); // sets key → value, with 1h TTL.

    setnx 判断是否重复的,写入值
    $redis->setnx(‘key’, ‘value’);
    $redis->setnx(‘key’, ‘value’);

    delete  删除指定key的值
    返回已经删除key的个数(长整数)
    $redis->delete(‘key1’, ‘key2’);
    $redis->delete(array(‘key3’, ‘key4’, ‘key5’));

    ttl
    得到一个key的生存时间

    persist
    移除生存时间到期的key
    如果key到期 true 如果不到期 false

    mset (redis版本1.1以上才可以用)
    同时给多个key赋值
    $redis->mset(array(‘key0’ => ‘value0’, ‘key1’ => ‘value1’));

    multi, exec, discard
    进入或者退出事务模式
    参数可选Redis::MULTI或Redis::PIPELINE. 默认是 Redis::MULTI
    Redis::MULTI:将多个操作当成一个事务执行
    Redis::PIPELINE:让(多条)执行命令简单的,更加快速的发送给服务器,但是没有任何原子性的保证
    discard:删除一个事务
    返回值
    multi(),返回一个redis对象,并进入multi-mode模式,一旦进入multi-mode模式,以后调用的所有方法都会返回相同的对象,只到exec()方法被调用。

    watch, unwatch (代码测试后,不能达到所说的效果)
    监测一个key的值是否被其它的程序更改。如果这个key在watch 和 exec (方法)间被修改,这个 MULTI/EXEC 事务的执行将失败(return false)
    unwatch  取消被这个程序监测的所有key
    参数,一对key的列表
    $redis->watch(‘x’);

    $ret = $redis->multi() ->incr(‘x’) ->exec();

    subscribe *
    方法回调。注意,该方法可能在未来里发生改变

    publish *
    发表内容到某一个通道。注意,该方法可能在未来里发生改变

    exists
    判断key是否存在。存在 true 不在 false

    incr, incrBy
    key中的值进行自增1,如果填写了第二个参数,者自增第二个参数所填的值
    $redis->incr(‘key1’);
    $redis->incrBy(‘key1’, 10);

    decr, decrBy
    做减法,使用方法同incr

    getMultiple
    传参
    由key组成的数组
    返回参数
    如果key存在返回value,不存在返回false
    $redis->set(‘key1’, ‘value1’); $redis->set(‘key2’, ‘value2’); $redis->set(‘key3’, ‘value3’); $redis->getMultiple(array(‘key1’, ‘key2’, ‘key3’));
    $redis->lRem(‘key1’, ‘A’, 2);
    $redis->lRange(‘key1’, 0, -1);

    list相关操作
    lPush
    $redis->lPush(key, value);
    在名称为key的list左边(头)添加一个值为value的 元素

    rPush
    $redis->rPush(key, value);
    在名称为key的list右边(尾)添加一个值为value的 元素

    lPushx/rPushx
    $redis->lPushx(key, value);
    在名称为key的list左边(头)/右边(尾)添加一个值为value的元素,如果value已经存在,则不添加

    lPop/rPop
    $redis->lPop(‘key’);
    输出名称为key的list左(头)起/右(尾)起的第一个元素,删除该元素

    blPop/brPop
    $redis->blPop(‘key1’, ‘key2’, 10);
    lpop命令的block版本。即当timeout为0时,若遇到名称为key i的list不存在或该list为空,则命令结束。如果timeout>0,则遇到上述情况时,等待timeout秒,如果问题没有解决,则对keyi+1开始的list执行pop操作

    lSize
    $redis->lSize(‘key’);
    返回名称为key的list有多少个元素

    lIndex, lGet
    $redis->lGet(‘key’, 0);
    返回名称为key的list中index位置的元素

    lSet
    $redis->lSet(‘key’, 0, ‘X’);
    给名称为key的list中index位置的元素赋值为value

    lRange, lGetRange
    $redis->lRange(‘key1’, 0, -1);
    返回名称为key的list中start至end之间的元素(end为 -1 ,返回所有)

    lTrim, listTrim
    $redis->lTrim(‘key’, start, end);
    截取名称为key的list,保留start至end之间的元素

    lRem, lRemove
    $redis->lRem(‘key’, ‘A’, 2);
    删除count个名称为key的list中值为value的元素。count为0,删除所有值为value的元素,count>0从头至尾删除count个值为value的元素,count<0从尾到头删除|count|个值为value的元素

    lInsert
    在名称为为key的list中,找到值为pivot 的value,并根据参数Redis::BEFORE | Redis::AFTER,来确定,newvalue 是放在 pivot 的前面,或者后面。如果key不存在,不会插入,如果 pivot不存在,return -1
    $redis->delete(‘key1’); $redis->lInsert(‘key1’, Redis::AFTER, ‘A’, ‘X’); $redis->lPush(‘key1’, ‘A’); $redis->lPush(‘key1’, ‘B’); $redis->lPush(‘key1’, ‘C’); $redis->lInsert(‘key1’, Redis::BEFORE, ‘C’, ‘X’);
    $redis->lRange(‘key1’, 0, -1);
    $redis->lInsert(‘key1’, Redis::AFTER, ‘C’, ‘Y’);
    $redis->lRange(‘key1’, 0, -1);
    $redis->lInsert(‘key1’, Redis::AFTER, ‘W’, ‘value’);

    rpoplpush
    返回并删除名称为srckey的list的尾元素,并将该元素添加到名称为dstkey的list的头部
    $redis->delete(‘x’, ‘y’);
    $redis->lPush(‘x’, ‘abc’); $redis->lPush(‘x’, ‘def’); $redis->lPush(‘y’, ‘123’); $redis->lPush(‘y’, ‘456’); // move the last of x to the front of y. var_dump($redis->rpoplpush(‘x’, ‘y’));
    var_dump($redis->lRange(‘x’, 0, -1));
    var_dump($redis->lRange(‘y’, 0, -1));

    string(3) “abc”
    array(1) { [0]=> string(3) “def” }
    array(3) { [0]=> string(3) “abc” [1]=> string(3) “456” [2]=> string(3) “123” }

    SET操作相关
    sAdd
    向名称为key的set中添加元素value,如果value存在,不写入,return false
    $redis->sAdd(key , value);

    sRem, sRemove
    删除名称为key的set中的元素value
    $redis->sAdd(‘key1’ , ‘set1’);
    $redis->sAdd(‘key1’ , ‘set2’);
    $redis->sAdd(‘key1’ , ‘set3’);
    $redis->sRem(‘key1’, ‘set2’);

    sMove
    将value元素从名称为srckey的集合移到名称为dstkey的集合
    $redis->sMove(seckey, dstkey, value);

    sIsMember, sContains
    名称为key的集合中查找是否有value元素,有ture 没有 false
    $redis->sIsMember(key, value);

    sCard, sSize
    返回名称为key的set的元素个数

    sPop
    随机返回并删除名称为key的set中一个元素

    sRandMember
    随机返回名称为key的set中一个元素,不删除

    sInter
    求交集

    sInterStore
    求交集并将交集保存到output的集合
    $redis->sInterStore(‘output’, ‘key1’, ‘key2’, ‘key3’)

    sUnion
    求并集
    $redis->sUnion(‘s0’, ‘s1’, ‘s2’);
    s0,s1,s2 同时求并集

    sUnionStore
    求并集并将并集保存到output的集合
    $redis->sUnionStore(‘output’, ‘key1’, ‘key2’, ‘key3’);

    sDiff
    求差集

    sDiffStore
    求差集并将差集保存到output的集合

    sMembers, sGetMembers
    返回名称为key的set的所有元素

    sort
    排序,分页等
    参数
    ‘by’ => ‘some_pattern_*’,
    ‘limit’ => array(0, 1),
    ‘get’ => ‘some_other_pattern_*’ or an array of patterns,
    ‘sort’ => ‘asc’ or ‘desc’,
    ‘alpha’ => TRUE,
    ‘store’ => ‘external-key’
    例子
    $redis->delete(‘s’); $redis->sadd(‘s’, 5); $redis->sadd(‘s’, 4); $redis->sadd(‘s’, 2); $redis->sadd(‘s’, 1); $redis->sadd(‘s’, 3);
    var_dump($redis->sort(‘s’)); // 1,2,3,4,5
    var_dump($redis->sort(‘s’, array(‘sort’ => ‘desc’))); // 5,4,3,2,1
    var_dump($redis->sort(‘s’, array(‘sort’ => ‘desc’, ‘store’ => ‘out’))); // (int)5

    string命令
    getSet
    返回原来key中的值,并将value写入key
    $redis->set(‘x’, ’42’);
    $exValue = $redis->getSet(‘x’, ‘lol’); // return ’42’, replaces x by ‘lol’
    $newValue = $redis->get(‘x’)’ // return ‘lol’

    append
    string,名称为key的string的值在后面加上value
    $redis->set(‘key’, ‘value1’);
    $redis->append(‘key’, ‘value2’);
    $redis->get(‘key’);

    getRange (方法不存在)
    返回名称为key的string中start至end之间的字符
    $redis->set(‘key’, ‘string value’);
    $redis->getRange(‘key’, 0, 5);
    $redis->getRange(‘key’, -5, -1);

    setRange (方法不存在)
    改变key的string中start至end之间的字符为value
    $redis->set(‘key’, ‘Hello world’);
    $redis->setRange(‘key’, 6, “redis”);
    $redis->get(‘key’);

    strlen
    得到key的string的长度
    $redis->strlen(‘key’);

    getBit/setBit
    返回2进制信息

    zsetsorted set)操作相关
    zAdd(key, score, member):向名称为key的zset中添加元素member,score用于排序。如果该元素已经存在,则根据score更新该元素的顺序。
    $redis->zAdd(‘key’, 1, ‘val1’);
    $redis->zAdd(‘key’, 0, ‘val0’);
    $redis->zAdd(‘key’, 5, ‘val5’);
    $redis->zRange(‘key’, 0, -1); // array(val0, val1, val5)

    zRange(key, start, end,withscores):返回名称为key的zset(元素已按score从小到大排序)中的index从start到end的所有元素
    $redis->zAdd(‘key1’, 0, ‘val0’);
    $redis->zAdd(‘key1’, 2, ‘val2’);
    $redis->zAdd(‘key1’, 10, ‘val10’);
    $redis->zRange(‘key1’, 0, -1); // with scores $redis->zRange(‘key1’, 0, -1, true);

    zDelete, zRem
    zRem(key, member) :删除名称为key的zset中的元素member
    $redis->zAdd(‘key’, 0, ‘val0’);
    $redis->zAdd(‘key’, 2, ‘val2’);
    $redis->zAdd(‘key’, 10, ‘val10’);
    $redis->zDelete(‘key’, ‘val2’);
    $redis->zRange(‘key’, 0, -1);

    zRevRange(key, start, end,withscores):返回名称为key的zset(元素已按score从大到小排序)中的index从start到end的所有元素.withscores: 是否输出socre的值,默认false,不输出
    $redis->zAdd(‘key’, 0, ‘val0’);
    $redis->zAdd(‘key’, 2, ‘val2’);
    $redis->zAdd(‘key’, 10, ‘val10’);
    $redis->zRevRange(‘key’, 0, -1); // with scores $redis->zRevRange(‘key’, 0, -1, true);

    zRangeByScore, zRevRangeByScore
    $redis->zRangeByScore(key, star, end, array(withscores, limit ));
    返回名称为key的zset中score >= star且score <= end的所有元素

    zCount
    $redis->zCount(key, star, end);
    返回名称为key的zset中score >= star且score <= end的所有元素的个数

    zRemRangeByScore, zDeleteRangeByScore
    $redis->zRemRangeByScore(‘key’, star, end);
    删除名称为key的zset中score >= star且score <= end的所有元素,返回删除个数

    zSize, zCard
    返回名称为key的zset的所有元素的个数

    zScore
    $redis->zScore(key, val2);
    返回名称为key的zset中元素val2的score

    zRank, zRevRank
    $redis->zRevRank(key, val);
    返回名称为key的zset(元素已按score从小到大排序)中val元素的rank(即index,从0开始),若没有val元素,返回“null”。zRevRank 是从大到小排序

    zIncrBy
    $redis->zIncrBy(‘key’, increment, ‘member’);
    如果在名称为key的zset中已经存在元素member,则该元素的score增加increment;否则向集合中添加该元素,其score的值为increment

    zUnion/zInter
    参数
    keyOutput
    arrayZSetKeys
    arrayWeights
    aggregateFunction
    Either “SUM”, “MIN”, or “MAX”: defines the behaviour to use on duplicate entries during the zUnion.
    对N个zset求并集和交集,并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score,在进行AGGREGATE运算前,都要乘以对于的WEIGHT参数。如果没有提供WEIGHT,默认为1。默认的AGGREGATE是SUM,即结果集合中元素的score是所有集合对应元素进行SUM运算的值,而MIN和MAX是指,结果集合中元素的score是所有集合对应元素中最小值和最大值。

    Hash操作
    hSet
    $redis->hSet(‘h’, ‘key1’, ‘hello’);
    向名称为h的hash中添加元素key1—>hello

    hGet
    $redis->hGet(‘h’, ‘key1’);
    返回名称为h的hash中key1对应的value(hello)

    hLen
    $redis->hLen(‘h’);
    返回名称为h的hash中元素个数

    hDel
    $redis->hDel(‘h’, ‘key1’);
    删除名称为h的hash中键为key1的域

    hKeys
    $redis->hKeys(‘h’);
    返回名称为key的hash中所有键

    hVals
    $redis->hVals(‘h’)
    返回名称为h的hash中所有键对应的value

    hGetAll
    $redis->hGetAll(‘h’);
    返回名称为h的hash中所有的键(field)及其对应的value

    hExists
    $redis->hExists(‘h’, ‘a’);
    名称为h的hash中是否存在键名字为a的域

    hIncrBy
    $redis->hIncrBy(‘h’, ‘x’, 2);
    将名称为h的hash中x的value增加2

    hMset
    $redis->hMset(‘user:1’, array(‘name’ => ‘Joe’, ‘salary’ => 2000));
    向名称为key的hash中批量添加元素

    hMGet
    $redis->hmGet(‘h’, array(‘field1’, ‘field2’));
    返回名称为h的hash中field1,field2对应的value

    redis 操作相关
    flushDB
    清空当前数据库

    flushAll
    清空所有数据库

    randomKey
    随机返回key空间的一个key
    $key = $redis->randomKey();

    select
    选择一个数据库
    move
    转移一个key到另外一个数据库
    $redis->select(0); // switch to DB 0
    $redis->set(‘x’, ’42’); // write 42 to x
    $redis->move(‘x’, 1); // move to DB 1
    $redis->select(1); // switch to DB 1
    $redis->get(‘x’); // will return 42

    rename, renameKey
    给key重命名
    $redis->set(‘x’, ’42’);
    $redis->rename(‘x’, ‘y’);
    $redis->get(‘y’); // → 42
    $redis->get(‘x’); // → `FALSE`

    renameNx
    与remane类似,但是,如果重新命名的名字已经存在,不会替换成功

    setTimeout, expire
    设定一个key的活动时间(s)
    $redis->setTimeout(‘x’, 3);

    expireAt
    key存活到一个unix时间戳时间
    $redis->expireAt(‘x’, time() + 3);

    keys, getKeys
    返回满足给定pattern的所有key
    $keyWithUserPrefix = $redis->keys(‘user*’);

    dbSize
    查看现在数据库有多少key
    $count = $redis->dbSize();

    auth
    密码认证
    $redis->auth(‘foobared’);

    bgrewriteaof
    使用aof来进行数据库持久化
    $redis->bgrewriteaof();

    slaveof
    选择从服务器
    $redis->slaveof(‘10.0.1.7’, 6379);

    save
    将数据同步保存到磁盘

    bgsave
    将数据异步保存到磁盘

    lastSave
    返回上次成功将数据保存到磁盘的Unix时戳

    info
    返回redis的版本信息等详情

    type
    返回key的类型值
    string: Redis::REDIS_STRING
    set: Redis::REDIS_SET
    list: Redis::REDIS_LIST
    zset: Redis::REDIS_ZSET
    hash: Redis::REDIS_HASH
    other: Redis::REDIS_NOT_FOUND

  • convert -resize 命令用法 {%} {@} {!} {<} {>} {^}

    1. 默认时,宽度和高度表示要最终需要转换图像的最大尺寸,同时Convert会控制图片的宽和高,保证图片按比例进行缩放。
    如:convert -resize 600×600 src.jpg dst.jpg
    转换后的dst.jpg的图片大小(宽度为600,而高度已经按比例调整为450).
    2.如果需要转换成600×600,而图片无需保持原有比例,可以在宽高后面加上一个感叹号!.
    如:convert -resize 600×600! src.jpg dst.jpg
    3. 只指定高度,图片会转换成指定的高度值,而宽度会按原始图片比例进行转换。
    如:convert -resize 400 src.jpg dst.jpg
    转换后的dst.jpg的图片大小(宽度为400,而高度已经按比例调整为300),和例1有点类似。
    4. 默认都是使用像素作为单位,也可以使用百分比来形象图片的缩放。
    如:convert -resize 50%x100%! src.jpg dst.jpg 或者convert -resize 50%x100% src.jpg dst.jpg
    此参数只会按你的比例计算后缩放,不保持原有比例。(结果尺寸为100×150)
    5.使用 @ 来制定图片的像素个数。
    如:convert -resize “10000@” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(115×86),图片保持原有比例(115×86= 9080 < 10000)。
    6.当原始文件大于指定的宽高时,才进行图片放大缩小,可使用>命令后缀。
    如:convert -resize “100×50>” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(67×50),图片保持原有比例。
    如:convert -resize “100×50>!” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(100×50),图片不保持原有比例。
    7.当原始文件小于指定的宽高时,才进行图片放大转换,可使用<命令后缀。
    如:convert -resize “100×500<” src.jpg dst.jpg 或者convert -resize “100×100<!” src.jpg dst.jpg
    此命令执行后,dst.jpg和src.jpg大小相同,因为原始图片宽比100大。
    如:convert -resize “600×600<” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(600×450),图片保持原有比例。
    如:convert -resize “600×600<!” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(600×600),图片不保持原有比例。
    8.使用^命令后缀可以使用宽高中较小的那个值作为尺寸
    如:convert -resize “300×300^” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(400×300),图片保持原有比例,(300:300 < 200:150,选择高作为最小尺寸)。
    如:convert -resize “300×200^” src.jpg dst.jpg
    此命令执行后,dst.jpg图片大小为(300×225),图片保持原有比例,(300:200 > 200:150,选择宽作为最小尺寸)。
  • MySQL索引类型及优化

    索引是快速搜索的关键。MySQL索引的建立对于MySQL的高效运行是很重要的。下面介绍几种常见的MySQL索引类型。

    在数据库表中,对字段建立索引可以大大提高查询速度。假如我们创建了一个 mytable表:

    CREATE TABLE mytable(

    ID INT NOT NULL,

    username VARCHAR(16) NOT NULL

    );

    我们随机向里面插入了10000条记录,其中有一条:5555, admin。

    在查找username=”admin”的记录 SELECT * FROM mytable WHERE username=’admin’;时,如果在username上已经建立了索引,MySQL无须任何扫描,即准确可找到该记录。相反,MySQL会扫描所有记录,即要查询10000条记录。

    索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。

    MySQL索引类型包括:

    (1)普通索引

    这是最基本的索引,它没有任何限制。它有以下几种创建方式:

    ◆创建索引

    CREATE INDEX indexName ON mytable(username(length));
    如果是CHAR,VARCHAR类型,length可以小于字段实际长度;如果是BLOB和TEXT类型,必须指定 length,下同。

    ◆修改表结构

    ALTER mytable ADD INDEX [indexName] ON (username(length))
    ◆创建表的时候直接指定

    CREATE TABLE mytable(

    ID INT NOT NULL,

    username VARCHAR(16) NOT NULL,

    INDEX [indexName] (username(length))

    );
    删除索引的语法:

    DROP INDEX [indexName] ON mytable;
    (2)唯一索引

    它与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。它有以下几种创建方式:

    ◆创建索引

    CREATE UNIQUE INDEX indexName ON mytable(username(length))
    ◆修改表结构

    ALTER mytable ADD UNIQUE [indexName] ON (username(length))
    ◆创建表的时候直接指定

    CREATE TABLE mytable(

    ID INT NOT NULL,

    username VARCHAR(16) NOT NULL,

    UNIQUE [indexName] (username(length))

    );
    (3)主键索引

    它是一种特殊的唯一索引,不允许有空值。一般是在建表的时候同时创建主键索引:

    CREATE TABLE mytable(

    ID INT NOT NULL,

    username VARCHAR(16) NOT NULL,

    PRIMARY KEY(ID)

    );
    当然也可以用 ALTER 命令。记住:一个表只能有一个主键。

    (4)组合索引

    为了形象地对比单列索引和组合索引,为表添加多个字段:

    CREATE TABLE mytable(

    ID INT NOT NULL,

    username VARCHAR(16) NOT NULL,

    city VARCHAR(50) NOT NULL,

    age INT NOT NULL

    );
    为了进一步榨取MySQL的效率,就要考虑建立组合索引。就是将 name, city, age建到一个索引里:

    ALTER TABLE mytable ADD INDEX name_city_age (name(10),city,age);
    建表时,usernname长度为 16,这里用 10。这是因为一般情况下名字的长度不会超过10,这样会加速索引查询速度,还会减少索引文件的大小,提高INSERT的更新速度。

    如果分别在 usernname,city,age上建立单列索引,让该表有3个单列索引,查询时和上述的组合索引效率也会大不一样,远远低于我们的组合索引。虽然此时有了三个索引,但MySQL只能用到其中的那个它认为似乎是最有效率的单列索引。

    建立这样的组合索引,其实是相当于分别建立了下面三组组合索引:

    usernname,city,age

    usernname,city

    usernname
    为什么没有 city,age这样的组合索引呢?这是因为MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并不是只要包含这三列的查询都会用到该组合索引,下面的几个SQL就会用到这个组合索引:

    SELECT * FROM mytable WHREE username=”admin” AND city=”郑州”

    SELECT * FROM mytable WHREE username=”admin”
    而下面几个则不会用到:

    SELECT * FROM mytable WHREE age=20 AND city=”郑州”

    SELECT * FROM mytable WHREE city=”郑州”
    (5)建立索引的时机

    到这里我们已经学会了建立索引,那么我们需要在什么情况下建立索引呢?一般来说,在WHERE和JOIN中出现的列需要建立索引,但也不完全如此,因为MySQL只对<,<=,=,>,>=,BETWEEN,IN,以及某些时候的LIKE才会使用索引。例如:

    SELECT t.Name

    FROM mytable t LEFT JOIN mytable m

    ON t.Name=m.username WHERE m.age=20 AND m.city=’郑州’
    此时就需要对city和age建立索引,由于mytable表的userame也出现在了JOIN子句中,也有对它建立索引的必要。

    刚才提到只有某些时候的LIKE才需建立索引。因为在以通配符%和_开头作查询时,MySQL不会使用索引。例如下句会使用索引:

    SELECT * FROM mytable WHERE username like’admin%’
    而下句就不会使用:

    SELECT * FROM mytable WHEREt Name like’%admin’
    因此,在使用LIKE时应注意以上的区别。

    (6)索引的不足之处

    上面都在说使用索引的好处,但过多的使用索引将会造成滥用。因此索引也会有它的缺点:

    ◆虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。

    ◆建立索引会占用磁盘空间的索引文件。一般情况这个问题不太严重,但如果你在一个大表上创建了多种组合索引,索引文件的会膨胀很快。

    索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询语句。

    (7)使用索引的注意事项

    使用索引时,有以下一些技巧和注意事项:

    ◆索引不会包含有NULL值的列

    只要列中包含有NULL值都将不会被包含在索引中,复合索引中只要有一列含有NULL值,那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

    ◆使用短索引

    对串列进行索引,如果可能应该指定一个前缀长度。例如,如果有一个CHAR(255)的列,如果在前10个或20个字符内,多数值是惟一的,那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

    ◆索引列排序

    MySQL查询只使用一个索引,因此如果where子句中已经使用了索引的话,那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作;尽量不要包含多个列的排序,如果需要最好给这些列创建复合索引。

    ◆like语句操作

    一般情况下不鼓励使用like操作,如果非使用不可,如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

    ◆不要在列上进行运算

    select * from users where YEAR(adddate)<2007;
    将在每个行上进行运算,这将导致索引失效而进行全表扫描,因此我们可以改成

    select * from users where adddate<‘2007-01-01’;
    ◆不使用NOT IN和<>操作

    以上,就对其中MySQL索引类型进行了介绍。

    索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点。考虑如下情况,假设数据库中一个表有10^6条记 录,DBMS的页面大小为4K,并存储100条记录。如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4 个页面,如果这10^4个页面在磁盘上随机分布,需要进行10^4次I/O,假设磁盘每次I/O时间为10ms(忽略数据传输时间),则总共需要 100s(但实际上要好很多很多)。如果对之建立B-Tree索引,则只需要进行log100(10^6)=3次页面读取,最坏情况下耗时30ms。这就 是索引带来的效果,很多时候,当你的应用程序进行SQL查询速度很慢时,应该想想是否可以建索引。进入正题:

    第二章、索引与优化

    1、选择索引的数据类型

    MySQL支持很多数据类型,选择合适的数据类型存储数据对性能有很大的影响。通常来说,可以遵循以下一些指导原则:

    (1)越小的数据类型通常更好:越小的数据类型通常在磁盘、内存和CPU缓存中都需要更少的空间,处理起来更快。
    (2)简单的数据类型更好:整型数据比起字符,处理开销更小,因为字符串的比较更复杂。在MySQL中,应该用内置的日期和时间数据类型,而不是用字符串来存储时间;以及用整型数据类型存储IP地址。
    (3)尽量避免NULL:应该指定列为NOT NULL,除非你想存储NULL。在MySQL中,含有空值的列很难进行查询优化,因为它们使得索引、索引的统计信息以及比较运算更加复杂。你应该用0、一个特殊的值或者一个空串代替空值。

    1.1、选择标识符
    选择合适的标识符是非常重要的。选择时不仅应该考虑存储类型,而且应该考虑MySQL是怎样进行运算和比较的。一旦选定数据类型,应该保证所有相关的表都使用相同的数据类型。
    (1)   整型:通常是作为标识符的最好选择,因为可以更快的处理,而且可以设置为AUTO_INCREMENT。

    (2)   字符串:尽量避免使用字符串作为标识符,它们消耗更好的空间,处理起来也较慢。而且,通常来说,字符串都是随机的,所以它们在索引中的位置也是随机的,这会导致页面分裂、随机访问磁盘,聚簇索引分裂(对于使用聚簇索引的存储引擎)。

    2、索引入门
    对于任何DBMS,索引都是进行优化的最主要的因素。对于少量的数据,没有合适的索引影响不是很大,但是,当随着数据量的增加,性能会急剧下降。
    如果对多列进行索引(组合索引),列的顺序非常重要,MySQL仅能对索引最左边的前缀进行有效的查找。例如:
    假 设存在组合索引it1c1c2(c1,c2),查询语句select * from t1 where c1=1 and c2=2能够使用该索引。查询语句select * from t1 where c1=1也能够使用该索引。但是,查询语句select * from t1 where c2=2不能够使用该索引,因为没有组合索引的引导列,即,要想使用c2列进行查找,必需出现c1等于某值。

    2.1、索引的类型
    索引是在存储引擎中实现的,而不是在服务器层中实现的。所以,每种存储引擎的索引都不一定完全相同,并不是所有的存储引擎都支持所有的索引类型。
    2.1.1、B-Tree索引
    假设有如下一个表:

    CREATE TABLE People (

    last_name varchar(50)    not null,

    first_name varchar(50)    not null,

    dob        date           not null,

    gender     enum(‘m’, ‘f’) not null,

    key(last_name, first_name, dob)

    );

    其索引包含表中每一行的last_name、first_name和dob列。其结构大致如下:

    索引存储的值按索引列中的顺序排列。可以利用B-Tree索引进行全关键字、关键字范围和关键字前缀查询,当然,如果想使用索引,你必须保证按索引的最左边前缀(leftmost prefix of the index)来进行查询。
    (1)匹配全值(Match the full value):对索引中的所有列都指定具体的值。例如,上图中索引可以帮助你查找出生于1960-01-01的Cuba Allen。
    (2)匹配最左前缀(Match a leftmost prefix):你可以利用索引查找last name为Allen的人,仅仅使用索引中的第1列。
    (3)匹配列前缀(Match a column prefix):例如,你可以利用索引查找last name以J开始的人,这仅仅使用索引中的第1列。
    (4)匹配值的范围查询(Match a range of values):可以利用索引查找last name在Allen和Barrymore之间的人,仅仅使用索引中第1列。
    (5)匹配部分精确而其它部分进行范围匹配(Match one part exactly and match a range on another part):可以利用索引查找last name为Allen,而first name以字母K开始的人。
    (6)仅对索引进行查询(Index-only queries):如果查询的列都位于索引中,则不需要读取元组的值。
    由于B-树中的节点都是顺序存储的,所以可以利用索引进行查找(找某些值),也可以对查询结果进行ORDER BY。当然,使用B-tree索引有以下一些限制:
    (1) 查询必须从索引的最左边的列开始。关于这点已经提了很多遍了。例如你不能利用索引查找在某一天出生的人。
    (2) 不能跳过某一索引列。例如,你不能利用索引查找last name为Smith且出生于某一天的人。
    (3) 存储引擎不能使用索引中范围条件右边的列。例如,如果你的查询语句为WHERE last_name=”Smith” AND first_name LIKE ‘J%’ AND dob=’1976-12-23’,则该查询只会使用索引中的前两列,因为LIKE是范围查询。

    2.1.2、Hash索引
    MySQL 中,只有Memory存储引擎显示支持hash索引,是Memory表的默认索引类型,尽管Memory表也可以使用B-Tree索引。Memory存储 引擎支持非唯一hash索引,这在数据库领域是罕见的,如果多个值有相同的hash code,索引把它们的行指针用链表保存到同一个hash表项中。
    假设创建如下一个表:
    CREATE TABLE testhash (
    fname VARCHAR(50) NOT NULL,
    lname VARCHAR(50) NOT NULL,
    KEY USING HASH(fname)
    ) ENGINE=MEMORY;
    包含的数据如下:

    假设索引使用hash函数f( ),如下:

    f(‘Arjen’) = 2323

    f(‘Baron’) = 7437

    f(‘Peter’) = 8784

    f(‘Vadim’) = 2458

    此时,索引的结构大概如下:

    Slots是有序的,但是记录不是有序的。当你执行
    mysql> SELECT lname FROM testhash WHERE fname=’Peter’;
    MySQL会计算’Peter’的hash值,然后通过它来查询索引的行指针。因为f(‘Peter’) = 8784,MySQL会在索引中查找8784,得到指向记录3的指针。
    因为索引自己仅仅存储很短的值,所以,索引非常紧凑。Hash值不取决于列的数据类型,一个TINYINT列的索引与一个长字符串列的索引一样大。

    Hash索引有以下一些限制:
    (1)由于索引仅包含hash code和记录指针,所以,MySQL不能通过使用索引避免读取记录。但是访问内存中的记录是非常迅速的,不会对性造成太大的影响。
    (2)不能使用hash索引排序。
    (3)Hash索引不支持键的部分匹配,因为是通过整个索引值来计算hash值的。
    (4)Hash索引只支持等值比较,例如使用=,IN( )和<=>。对于WHERE price>100并不能加速查询。
    2.1.3、空间(R-Tree)索引
    MyISAM支持空间索引,主要用于地理空间数据类型,例如GEOMETRY。
    2.1.4、全文(Full-text)索引
    全文索引是MyISAM的一个特殊索引类型,主要用于全文检索。

    3、高性能的索引策略
    3.1、聚簇索引(Clustered Indexes)
    聚 簇索引保证关键字的值相近的元组存储的物理位置也相同(所以字符串类型不宜建立聚簇索引,特别是随机字符串,会使得系统进行大量的移动操作),且一个表只 能有一个聚簇索引。因为由存储引擎实现索引,所以,并不是所有的引擎都支持聚簇索引。目前,只有solidDB和InnoDB支持。
    聚簇索引的结构大致如下:

    注: 叶子页面包含完整的元组,而内节点页面仅包含索引的列(索引的列为整型)。一些DBMS允许用户指定聚簇索引,但是MySQL的存储引擎到目前为止都不支 持。InnoDB对主键建立聚簇索引。如果你不指定主键,InnoDB会用一个具有唯一且非空值的索引来代替。如果不存在这样的索引,InnoDB会定义 一个隐藏的主键,然后对其建立聚簇索引。一般来说,DBMS都会以聚簇索引的形式来存储实际的数据,它是其它二级索引的基础。

    3.1.1、InnoDB和MyISAM的数据布局的比较
    为了更加理解聚簇索引和非聚簇索引,或者primary索引和second索引(MyISAM不支持聚簇索引),来比较一下InnoDB和MyISAM的数据布局,对于如下表:

    CREATE TABLE layout_test (

    col1 int NOT NULL,

    col2 int NOT NULL,

    PRIMARY KEY(col1),

    KEY(col2)

    );

    假设主键的值位于1—10,000之间,且按随机顺序插入,然后用OPTIMIZE TABLE进行优化。col2随机赋予1—100之间的值,所以会存在许多重复的值。
    (1)   MyISAM的数据布局
    其布局十分简单,MyISAM按照插入的顺序在磁盘上存储数据,如下:

    注:左边为行号(row number),从0开始。因为元组的大小固定,所以MyISAM可以很容易的从表的开始位置找到某一字节的位置。
    据些建立的primary key的索引结构大致如下:

    注:MyISAM不支持聚簇索引,索引中每一个叶子节点仅仅包含行号(row number),且叶子节点按照col1的顺序存储。
    来看看col2的索引结构:

    实际上,在MyISAM中,primary key和其它索引没有什么区别。Primary key仅仅只是一个叫做PRIMARY的唯一,非空的索引而已。

    (2)   InnoDB的数据布局
    InnoDB按聚簇索引的形式存储数据,所以它的数据布局有着很大的不同。它存储表的结构大致如下:

    注:聚簇索引中的每个叶子节点包含primary key的值,事务ID和回滚指针(rollback pointer)——用于事务和MVCC,和余下的列(如col2)。

    相 对于MyISAM,二级索引与聚簇索引有很大的不同。InnoDB的二级索引的叶子包含primary key的值,而不是行指针(row pointers),这减小了移动数据或者数据页面分裂时维护二级索引的开销,因为InnoDB不需要更新索引的行指针。其结构大致如下:

    聚簇索引和非聚簇索引表的对比:

    3.1.2、按primary key的顺序插入行(InnoDB)

    如 果你用InnoDB,而且不需要特殊的聚簇索引,一个好的做法就是使用代理主键(surrogate key)——独立于你的应用中的数据。最简单的做法就是使用一个AUTO_INCREMENT的列,这会保证记录按照顺序插入,而且能提高使用 primary key进行连接的查询的性能。应该尽量避免随机的聚簇主键,例如,字符串主键就是一个不好的选择,它使得插入操作变得随机。

    3.2、覆盖索引(Covering Indexes)
    如果索引包含满足查询的所有数据,就称为覆盖索引。覆盖索引是一种非常强大的工具,能大大提高查询性能。只需要读取索引而不用读取数据有以下一些优点:
    (1)索引项通常比记录要小,所以MySQL访问更少的数据;
    (2)索引都按值的大小顺序存储,相对于随机访问记录,需要更少的I/O;
    (3)大多数据引擎能更好的缓存索引。比如MyISAM只缓存索引。
    (4)覆盖索引对于InnoDB表尤其有用,因为InnoDB使用聚集索引组织数据,如果二级索引中包含查询所需的数据,就不再需要在聚集索引中查找了。
    覆盖索引不能是任何索引,只有B-TREE索引存储相应的值。而且不同的存储引擎实现覆盖索引的方式都不同,并不是所有存储引擎都支持覆盖索引(Memory和Falcon就不支持)。
    对 于索引覆盖查询(index-covered query),使用EXPLAIN时,可以在Extra一列中看到“Using index”。例如,在sakila的inventory表中,有一个组合索引(store_id,film_id),对于只需要访问这两列的查 询,MySQL就可以使用索引,如下:

    mysql> EXPLAIN SELECT store_id, film_id FROM sakila.inventory\G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: inventory

    type: index

    possible_keys: NULL

    key: idx_store_id_film_id

    key_len: 3

    ref: NULL

    rows: 5007

    Extra: Using index

    1 row in set (0.17 sec)

    在 大多数引擎中,只有当查询语句所访问的列是索引的一部分时,索引才会覆盖。但是,InnoDB不限于此,InnoDB的二级索引在叶子节点中存储了 primary key的值。因此,sakila.actor表使用InnoDB,而且对于是last_name上有索引,所以,索引能覆盖那些访问actor_id的查 询,如:

    mysql> EXPLAIN SELECT actor_id, last_name

    -> FROM sakila.actor WHERE last_name = ‘HOPPER’\G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: actor

    type: ref

    possible_keys: idx_actor_last_name

    key: idx_actor_last_name

    key_len: 137

    ref: const

    rows: 2

    Extra: Using where; Using index

    3.3、利用索引进行排序
    MySQL 中,有两种方式生成有序结果集:一是使用filesort,二是按索引顺序扫描。利用索引进行排序操作是非常快的,而且可以利用同一索引同时进行查找和排 序操作。当索引的顺序与ORDER BY中的列顺序相同且所有的列是同一方向(全部升序或者全部降序)时,可以使用索引来排序。如果查询是连接多个表,仅当ORDER BY中的所有列都是第一个表的列时才会使用索引。其它情况都会使用filesort。

    create table actor(

    actor_id int unsigned NOT NULL AUTO_INCREMENT,

    name      varchar(16) NOT NULL DEFAULT ”,

    password        varchar(16) NOT NULL DEFAULT ”,

    PRIMARY KEY(actor_id),

    KEY     (name)

    ) ENGINE=InnoDB

    insert into actor(name,password) values(‘cat01′,’1234567’);

    insert into actor(name,password) values(‘cat02′,’1234567’);

    insert into actor(name,password) values(‘ddddd’,’1234567′);

    insert into actor(name,password) values(‘aaaaa’,’1234567′);

    mysql> explain select actor_id from actor order by actor_id \G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: actor

    type: index

    possible_keys: NULL

    key: PRIMARY

    key_len: 4

    ref: NULL

    rows: 4

    Extra: Using index

    1 row in set (0.00 sec)

    mysql> explain select actor_id from actor order by password \G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: actor

    type: ALL

    possible_keys: NULL

    key: NULL

    key_len: NULL

    ref: NULL

    rows: 4

    Extra: Using filesort

    1 row in set (0.00 sec)

    mysql> explain select actor_id from actor order by name \G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: actor

    type: index

    possible_keys: NULL

    key: name

    key_len: 18

    ref: NULL

    rows: 4

    Extra: Using index

    1 row in set (0.00 sec)

    当 MySQL不能使用索引进行排序时,就会利用自己的排序算法(快速排序算法)在内存(sort buffer)中对数据进行排序,如果内存装载不下,它会将磁盘上的数据进行分块,再对各个数据块进行排序,然后将各个块合并成有序的结果集(实际上就是 外排序)。对于filesort,MySQL有两种排序算法。
    (1)两遍扫描算法(Two passes)
    实现方式是先将须要排序的字段和可以直接定位到相关行数据的指针信息取出,然后在设定的内存(通过参数sort_buffer_size设定)中进行排序,完成排序之后再次通过行指针信息取出所需的Columns。
    注:该算法是4.1之前采用的算法,它需要两次访问数据,尤其是第二次读取操作会导致大量的随机I/O操作。另一方面,内存开销较小。
    (3)   一次扫描算法(single pass)
    该算法一次性将所需的Columns全部取出,在内存中排序后直接将结果输出。
    注: 从 MySQL 4.1 版本开始使用该算法。它减少了I/O的次数,效率较高,但是内存开销也较大。如果我们将并不需要的Columns也取出来,就会极大地浪费排序过程所需要 的内存。在 MySQL 4.1 之后的版本中,可以通过设置 max_length_for_sort_data 参数来控制 MySQL 选择第一种排序算法还是第二种。当取出的所有大字段总大小大于 max_length_for_sort_data 的设置时,MySQL 就会选择使用第一种排序算法,反之,则会选择第二种。为了尽可能地提高排序性能,我们自然更希望使用第二种排序算法,所以在 Query 中仅仅取出需要的 Columns 是非常有必要的。

    当对连接操作进行排序时,如果ORDER BY仅仅引用第一个表的列,MySQL对该表进行filesort操作,然后进行连接处理,此时,EXPLAIN输出“Using filesort”;否则,MySQL必须将查询的结果集生成一个临时表,在连接完成之后进行filesort操作,此时,EXPLAIN输出 “Using temporary;Using filesort”。

    3.4、索引与加锁
    索引对于InnoDB非 常重要,因为它可以让查询锁更少的元组。这点十分重要,因为MySQL 5.0中,InnoDB直到事务提交时才会解锁。有两个方面的原因:首先,即使InnoDB行级锁的开销非常高效,内存开销也较小,但不管怎么样,还是存 在开销。其次,对不需要的元组的加锁,会增加锁的开销,降低并发性。
    InnoDB仅对需要访问的元组加锁,而索引能够减少InnoDB访问的元组 数。但是,只有在存储引擎层过滤掉那些不需要的数据才能达到这种目的。一旦索引不允许InnoDB那样做(即达不到过滤的目的),MySQL服务器只能对 InnoDB返回的数据进行WHERE操作,此时,已经无法避免对那些元组加锁了:InnoDB已经锁住那些元组,服务器无法解锁了。
    来看个例子:

    create table actor(

    actor_id int unsigned NOT NULL AUTO_INCREMENT,

    name      varchar(16) NOT NULL DEFAULT ”,

    password        varchar(16) NOT NULL DEFAULT ”,

    PRIMARY KEY(actor_id),

    KEY     (name)

    ) ENGINE=InnoDB

    insert into actor(name,password) values(‘cat01′,’1234567’);

    insert into actor(name,password) values(‘cat02′,’1234567’);

    insert into actor(name,password) values(‘ddddd’,’1234567′);

    insert into actor(name,password) values(‘aaaaa’,’1234567′);

    SET AUTOCOMMIT=0;

    BEGIN;

    SELECT actor_id FROM actor WHERE actor_id < 4

    AND actor_id <> 1 FOR UPDATE;

    该查询仅仅返回2—3的数据,实际已经对1—3的数据加上排它锁了。InnoDB锁住元组1是因为MySQL的查询计划仅使用索引进行范围查询(而没有进行过滤操作,WHERE中第二个条件已经无法使用索引了):

    mysql> EXPLAIN SELECT actor_id FROM test.actor

    -> WHERE actor_id < 4 AND actor_id <> 1 FOR UPDATE \G

    *************************** 1. row ***************************

    id: 1

    select_type: SIMPLE

    table: actor

    type: index

    possible_keys: PRIMARY

    key: PRIMARY

    key_len: 4

    ref: NULL

    rows: 4

    Extra: Using where; Using index

    1 row in set (0.00 sec)

    mysql>

    表明存储引擎从索引的起始处开始,获取所有的行,直到actor_id<4为假,服务器无法告诉InnoDB去掉元组1。
    为了证明row 1已经被锁住,我们另外建一个连接,执行如下操作:

    SET AUTOCOMMIT=0;

    BEGIN;

    SELECT actor_id FROM actor WHERE actor_id = 1 FOR UPDATE;

    该查询会被挂起,直到第一个连接的事务提交释放锁时,才会执行(这种行为对于基于语句的复制(statement-based replication)是必要的)。
    如上所示,当使用索引时,InnoDB会锁住它不需要的元组。更糟糕的是,如果查询不能使用索引,MySQL会进行全表扫描,并锁住每一个元组,不管是否真正需要。

  • predis操作大全

    redis是php连接redis的操作库,由于它完全使用php编写,大量使用命名空间以及闭包等功能,只支持php5.3以上版本,故实测性能一般,每秒25000次读写,相信改换c语言编写的php扩展后性能会大幅提升(比如使用C扩展phpredis https://github.com/owlient/phpredis)。

    将session数据存放到redis也很简单:
    session.save_handler = redis
    session.save_path = “tcp://127.0.0.1:6379″

    以下是汇总一些操作,并不断更新。

    //使用autoload加载相关库,这边重点就是为了require $file;
    spl_autoload_register(function($class) {
    $file = __DIR__.’/lib/Predis/’.$class.’.php’;
    if (file_exists($file)) {
    require $file;
    return true;
    }
    });

    //配置连接的IP、端口、以及相应的数据库
    $server = array(
    ‘host’     => ‘127.0.0.1’,
    ‘port’     => 6379,
    ‘database’ => 15
    );
    $redis = new Client($server);

    //普通set/get操作
    $redis->set(‘library’, ‘predis’);
    $retval = $redis->get(‘library’);
    echo $retval; //显示 ‘predis’

    //setex set一个存储时效
    $redis->setex(‘str’, 10, ‘bar’); //表示存储有效期为10秒

    //setnx/msetnx相当于add操作,不会覆盖已有值
    $redis->setnx(‘foo’,12); //true
    $redis->setnx(‘foo’,34); //false

    //getset操作,set的变种,结果返回替换前的值
    $redis->getset(‘foo’,56);//返回34

    // incrby/incr/decrby/decr 对值的递增和递减
    $redis->incr(‘foo’); //foo为57
    $redis->incrby(‘foo’,2); //foo为59

    //exists检测是否存在某值
    $redis->exists(‘foo’);//true

    //del 删除
    $redis->del(‘foo’);//true

    //type 类型检测,字符串返回string,列表返回 list,set表返回set/zset,hash表返回hash
    $redis->type(‘foo’);//不存在,返回none
    $redis->set(‘str’,’test’);
    $redis->type(‘str’); //字符串,返回string

    //append 连接到已存在字符串
    $redis->append(‘str’,’_123′); //返回累加后的字符串长度8,此进str为 ‘test_123’

    //setrange 部分替换操作
    $redis->setrange(‘str’,0,’abc’); //返回3,参数2为0时等同于set操作
    $redis->setrange(‘str’,2,’cd’);//返回4,表示从第2个字符后替换,这时’str’为’abcd’

    //substr 部分获取操作
    $redis->substr(‘str’,0,2);//表示从第0个起,取到第2个字符,共3个,返回’abc’

    //strlen 获取字符串长度
    $redis->strlen(‘str’); //返回4

    //setbit/getbit 位存储和获取
    $redis->setbit(‘binary’,31,1);  //表示在第31位存入1,这边可能会有大小端问题?不过没关系,getbit 应该不会有问题
    $redis->getbit(‘binary’,31);    //返回1

    //keys 模糊查找功能,支持*号以及?号(匹配一个字符)
    $redis->set(‘foo1’,123);
    $redis->set(‘foo2’,456);
    $redis->keys(‘foo*’); //返回foo1和foo2的array
    $redis->keys(‘f?o?’);  //同上

    //randomkey 随机返回一个key
    $redis->randomkey(); //可能是返回 ‘foo1’或者是’foo2’及其它任何一存在redis的key

    //rename/renamenx 对key进行改名,所不同的是renamenx不允许改成已存在的key
    $redis->rename(‘str’,’str2′); //把原先命名为’str’的key改成了’str2′

    //expire 设置key-value的时效性,ttl 获取剩余有效期,persist 重新设置为永久存储
    $redis->expire(‘foo’, 1); //设置有效期为1秒
    $redis->ttl(‘foo’); //返回有效期值1s
    $redis->expire(‘foo’); //取消expire行为

    //dbsize 返回redis当前数据库的记录总数
    $redis->dbsize();

    //rpush/rpushx 有序列表操作,从队列后插入元素
    //lpush/lpushx 和rpush/rpushx的区别是插入到队列的头部,同上,’x’含义是只对已存在的key进行操作
    $redis->rpush(‘fooList’, ‘bar1’); //返回一个列表的长度1
    $redis->lpush(‘fooList’, ‘bar0’); //返回一个列表的长度2
    $redis->rpushx(‘fooList’, ‘bar2’); //返回3,rpushx只对已存在的队列做添加,否则返回0
    //llen返回当前列表长度
    $redis->llen(‘fooList’);//3

    //lrange 返回队列中一个区间的元素
    $redis->lrange(‘fooList’,0,1); //返回数组包含第0个至第1个共2个元素
    $redis->lrange(‘fooList’,0,-1);//返回第0个至倒数第一个,相当于返回所有元素,注意redis中很多时候会用到负数,下同

    //lindex 返回指定顺序位置的list元素
    $redis->lindex(‘fooList’,1); //返回’bar1′

    //lset 修改队列中指定位置的value
    $redis->lset(‘fooList’,1,’123′);//修改位置1的元素,返回true

    //lrem 删除队列中左起指定数量的字符
    $redis->lrem(‘fooList’,1,’_’); //删除队列中左起(右起使用-1)1个字符’_'(若有)

    //lpop/rpop 类似栈结构地弹出(并删除)最左或最右的一个元素
    $redis->lpop(‘fooList’); //’bar0′
    $redis->rpop(‘fooList’); //’bar2′

    //ltrim 队列修改,保留左边起若干元素,其余删除
    $redis->ltrim(‘fooList’, 0,1); //保留左边起第0个至第1个元素

    //rpoplpush 从一个队列中pop出元素并push到另一个队列
    $redis->rpush(‘list1′,’ab0’);
    $redis->rpush(‘list1′,’ab1’);
    $redis->rpush(‘list2′,’ab2’);
    $redis->rpush(‘list2′,’ab3’);
    $redis->rpoplpush(‘list1′,’list2’);//结果list1 =>array(‘ab0’),list2 =>array(‘ab1′,’ab2′,’ab3’)
    $redis->rpoplpush(‘list2′,’list2’);//也适用于同一个队列,把最后一个元素移到头部list2 =>array(‘ab3′,’ab1′,’ab2’)

    //linsert 在队列的中间指定元素前或后插入元素
    $redis->linsert(‘list2’, ‘before’,’ab1′,’123′); //表示在元素’ab1’之前插入’123′
    $redis->linsert(‘list2’, ‘after’,’ab1′,’456′);   //表示在元素’ab1’之后插入’456′

    //blpop/brpop 阻塞并等待一个列队不为空时,再pop出最左或最右的一个元素(这个功能在php以外可以说非常好用)
    //brpoplpush 同样是阻塞并等待操作,结果同rpoplpush一样
    $redis->blpop(‘list3’,10); //如果list3为空则一直等待,直到不为空时将第一元素弹出,10秒后超时

  • linux 指定文件类型 批量更改目录权限

    find . type d -exec chmod 755 {} \;  更改所有的目录权限
    find . -type f -exec chmod 644 {} \; 更改所有文件权限
  • linux下如何删除(中文)乱码文件名的文件或者文件夹

    linux下:

    如果FTP上传没有选用 BIN(二进制),解压就会出现乱码

    如果有中文,有些就会出现乱码

    1. ls -i          列出乱码文件,前面的文件的 i 节点号
    2. find ./ -inum 123456 -print -exec rm {} -rf \;

    (上面的:123456 换成你的乱码文件节点号)

  • jquery reference

    Selector Example Selects
    * $(“*”) All elements
    #id $(“#lastname”) The element with id=lastname
    .class $(“.intro”) All elements with
    element $(“p”) All p elements
    .class.class $(“.intro.demo”) All elements with the classes “intro” and “demo”
    :first $(“p:first”) The first p element
    :last $(“p:last”) The last p element
    :even $(“tr:even”) All even tr elements
    :odd $(“tr:odd”) All odd tr elements
    :eq(index) $(“ul li:eq(3)”) The fourth element in a list (index starts at 0)
    :gt(no) $(“ul li:gt(3)”) List elements with an index greater than 3
    :lt(no) $(“ul li:lt(3)”) List elements with an index less than 3
    :not(selector) $(“input:not(:empty)”) All input elements that are not empty
    :header $(“:header”) All header elements h1, h2 …
    :animated $(“:animated”) All animated elements
    :contains(text) $(“:contains(‘W3Schools’)”) All elements which contains the text
    :empty $(“:empty”) All elements with no child (elements) nodes
    :hidden $(“p:hidden”) All hidden p elements
    :visible $(“table:visible”) All visible tables
    s1,s2,s3 $(“th,td,.intro”) All elements with matching selectors
    [attribute] $(“[href]”) All elements with a href attribute
    [attribute=value] $(“[href=’default.htm’]”) All elements with a href attribute value equal to “default.htm”
    [attribute!=value] $(“[href!=’default.htm’]”) All elements with a href attribute value not equal to “default.htm”
    [attribute$=value] $(“[href$=’.jpg’]”) All elements with a href attribute value ending with “.jpg”
    [attribute^=value] $(“[href^=’jquery_’]”) All elements with a href attribute value starting with “jquery_”
    :input $(“:input”) All input elements
    :text $(“:text”) All input elements with type=”text”
    :password $(“:password”) All input elements with type=”password”
    :radio $(“:radio”) All input elements with type=”radio”
    :checkbox $(“:checkbox”) All input elements with type=”checkbox”
    :submit $(“:submit”) All input elements with type=”submit”
    :reset $(“:reset”) All input elements with type=”reset”
    :button $(“:button”) All input elements with type=”button”
    :image $(“:image”) All input elements with type=”image”
    :file $(“:file”) All input elements with type=”file”
    :enabled $(“:enabled”) All enabled input elements
    :disabled $(“:disabled”) All disabled input elements
    :selected $(“:selected”) All selected input elements
    :checked $(“:checked”) All checked input elements