php检索数据到内存,php缓存数据到内存

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

如何解决PHP查询大量数据内存耗尽的问题

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能，比如说，计算行数，将指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存，也就是用空间换速度。

相对的，另外一种PHP查询模式是非缓冲查询，数据库服务器会一条一条的返回数据，而不是一次全部返回，这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。

很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。

php有没有类似Java接收从控制台输入的信息，写入到内存中去的代码

php可以从标准输入中读取数据，至于你说的写入到内存中不太明白你的意思，数据本来不就是在内存中存者么。

php怎么查看一个变量的占用内存

我们在前面的php高效写法提到，尽量不要复制变量，特别是数组。一般来说，PHP数组的内存利用率只有 1/10, 也就是说，一个在C语言里面100M 内存的数组，在PHP里面就要1G。下面我们可以粗略的估算PHP数组占用内存的大小,首先我们测试1000个元素的整数占用的内存：

[php] view plain copy print?

?php

echo memory_get_usage() , 'br';

$start = memory_get_usage();

$a = Array();

for ($i=0; $i1000; $i++) {

$a[$i] = $i + $i;

}

$mid = memory_get_usage();

echo memory_get_usage() , 'br';

for ($i=1000; $i2000; $i++) {

$a[$i] = $i + $i;

}

$end = memory_get_usage();

echo memory_get_usage() , 'br';

echo 'argv:', ($mid - $start)/1000 ,'bytes' , 'br';

echo 'argv:',($end - $mid)/1000 ,'bytes' , 'br';

输出是:

353352

437848

522024

argv:84.416bytes

argv:84.176bytes

大概了解1000

个元素的整数数组需要占用 82k 内存，平均每个元素占用 84 个字节。而纯 C 中整体只需要 4k(一个整型占用4byte * 1000

)。memory_get_usage() 返回的结果并不是全是被数组占用了，还要包括一些 PHP

运行本身分配的一些结构，可能用内置函数生成的数组更接近真实的空间:

[php] view plain copy print?

?php

$start = memory_get_usage();

$a = array_fill(0, 10000, 1);

$mid = memory_get_usage(); //10k elements array;

echo 'argv:', ($mid - $start )/10000,'byte' , 'br';

$b = array_fill(0, 10000, 1);

$end = memory_get_usage(); //10k elements array;

echo 'argv:', ($end - $mid)/10000 ,'byte' , 'br';

得到:

argv:54.5792byte

argv:54.5784byte

从这个结果来看似乎一个数组元素大约占用了54个字节左右。

首先看一下32位机C语言各种类型占用的字节：

[cpp] view plain copy print?

#include "stdafx.h"

//#include stdio.h

int main() {

printf("int:%d\nlong:%d\ndouble:%d\nchar*:%d\nsize_t:%d\n",

sizeof(int), sizeof(long),

sizeof(double), sizeof(char *),

sizeof(size_t));

return 0;

}

int:4

long:4

double:8

har*:4

size_t:4

在PHP中都使用long类型来代表数字，没有使用int类型

大家都明白PHP是一种弱类型的语言，它不会去区分变量的类型，没有int float char *之类的概念。

我们看看php在zend里面存储的变量，PHP中每个变量都有对应的 zval， Zval结构体定义在Zend/zend.h里面，其结构:

[cpp] view plain copy print?

typedef struct _zval_struct zval;

struct _zval_struct {

/* Variable information */

zvalue_value value; /* The value 1 12字节(32位机是12，64位机需要8+4+4=16) */

zend_uint refcount__gc; /* The number of references to this value (for GC) 4字节 */

zend_uchar type; /* The active type 1字节*/

zend_uchar is_ref__gc; /* Whether this value is a reference () 1字节*/

};

PHP使用一种UNION结构来存储变量的值,即zvalue_value 是一个union，UNION变量所占用的内存是由最大

成员数据空间决定。

[cpp] view plain copy print?

typedef union _zvalue_value {

long lval; /* long value */

double dval; /* double value */

struct { /* string value */

char *val;

int len;

} str;

HashTable *ht; /* hash table value */

zend_object_value obj; /*object value */

} zvalue_value;

最大成员数据空间是struct str，指针占*val用4字节，INT占用4字节，共8字节。

struct zval占用的空间为8+4+1+1 = 14字节，

其实呢，在zval中数组，字符串和对象还需要另外的存储结构，数组则是一个 HashTable:

HashTable结构体定义在Zend/zend_hash.h.

[cpp] view plain copy print?

typedef struct _hashtable {

uint nTableSize;//4

uint nTableMask;//4

uint nNumOfElements;//4

ulong nNextFreeElement;//4

Bucket *pInternalPointer; /* Used for element traversal 4*/

Bucket *pListHead;//4

Bucket *pListTail;//4

Bucket **arBuckets;//4

dtor_func_t pDestructor;//4

zend_bool persistent;//1

unsigned char nApplyCount;//1

zend_bool bApplyProtection;//1

#if ZEND_DEBUG

int inconsistent;//4

#endif

} HashTable;

HashTable 结构需要 39 个字节，每个数组元素存储在 Bucket 结构中:

[cpp] view plain copy print?

typedef struct bucket {

ulong h; /* Used for numeric indexing 4字节 */

uint nKeyLength; /* The length of the key (for string keys) 4字节 */

void *pData; /* 4字节*/

void *pDataPtr; /* 4字节*/

struct bucket *pListNext; /* PHP arrays are ordered. This gives the next element in that order4字节*/

struct bucket *pListLast; /* and this gives the previous element 4字节 */

struct bucket *pNext; /* The next element in this (doubly) linked list 4字节*/

struct bucket *pLast; /* The previous element in this (doubly) linked list 4字节*/

char arKey[1]; /* Must be last element 1字节*/

} Bucket;

Bucket

结构需要 33 个字节，键长超过四个字节的部分附加在 Bucket 后面，而元素值很可能是一个 zval 结构，另外每个数组会分配一个由

arBuckets 指向的 Bucket 指针数组，虽然不能说每增加一个元素就需要一个指针，但是实际情况可能更糟。这么算来一个数组元素就会占用

54 个字节，与上面的估算几乎一样。

一个空数组至少会占用 14(zval) + 39(HashTable) + 33(arBuckets) = 86

个字节，作为一个变量应该在符号表中有个位置，也是一个数组元素，因此一个空数组变量需要 118

个字节来描述和存储。从空间的角度来看，小型数组平均代价较大，当然一个脚本中不会充斥数量很大的小型数组，可以以较小的空间代价来获取编程上的快捷。但如果将数组当作容器来使用就是另一番景象了，实际应用经常会遇到多维数组，而且元素居多。比如10k个元素的一维数组大概消耗540k内存，而10k

x 10 的二维数组理论上只需要 6M 左右的空间，但是按照 memory_get_usage

的结果则两倍于此，[10k,5,2]的三维数组居然消耗了23M，小型数组果然是划不来的。

PHP如何读取内存流? - PHP进阶讨论

memcached 是高效、快速的分布式内存对象缓存系统。首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存