php大数据优化怎么处理，php yield 处理大数据

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

数据库的多表大数据查询应如何优化?

1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

2、缓存。在持久层或持久层之上做缓存。从数据库中查询出来的数据先放入缓存中，下次查询时，先_问缓存。假设未命中则查询数据库。表分区和拆分.不管是业务逻辑上的拆分还是无业务含义的分区。提高磁盘速度.这包含RAID和其它磁盘文件分段的处理。

3、通过内连接实现。总结：操作策略- 单列比较：用比较运算符；- 单列多行：in/any/all判断；- 多行多列：构建虚拟表，提高查询灵活性。在实际开发中，灵活运用多表查询技巧，能让你的数据库操作更加高效，数据关联处理得心应手。

4、．合理使用索引索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。

5、数据库总体性能优化：数据表最好能拆成小表。

PHP效率问题,上万条数据一次性取出?还是分开取出处理?

1、无需显示直接读取表内所有数据生成HTML页面时，不论是取出全部数据直接生成有效率，还是一次取出一部分，分别处理有效率。

2、php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。这要看你应用在什么场合了，如果只是单纯的数据处理，不需要取出来使用的话，可以直接在数据库里操作，比如建十张表，根据特征把1000万条数据插入到不同的表里。如insert into table_1 select * from table。

3、个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询的时候语句写的不当就会导致索引不生效，从而效率就会下降。相反拆分或者单表操作，虽然写起来看着繁琐，但是逻辑清晰，而且效率会提高。

4、建议你读写数据和下载图片分开，各用不同的进程完成。比如说，取数据用get-data.php，下载图片用get-image.php。多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。但是我不建议你用fork，我建议你安装一个gearman worker。

5、php里面有array_rand函数，你要是一道题一道题的读出来，或许也可以尝试一下。但是要是一下子都读出来，即便这个函数效率可以的话，随机取出id数组，查询 “where id in 数组” 就不如直接在数据库里随机抽取记录。如何从数据表里随机抽取记录呢，想想办法还是有一些，就是不知道效率如何。

6、我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

php做优化包括哪些内容?

1、首先，PHP优化包括对代码的优化，例如避免重复计算、避免使用过多的循环、优化查询语句等。此外，还应尽量减少代码中的空白字符、注释和不必要的代码等。这些优化技巧可以显著提高程序的效率，减少服务器的负担和响应时间。其次，PHP优化还包括针对服务器的优化。

2、尽量使用缓存，建议用memcached高性能的分布式内存对象缓存系统，提高动态网络应用程序性能，减轻数据库的负担；也对运算码 (OP code)的缓存很有用，使得脚本不必为每个请求做重新编译。

3、PHP网站地图优化网站地图优化又叫网站导航优化俗称sitemap。首先网站地图为网站访问者指明了访问网站的方向和路径，清晰明了的告诉网站访问者网站的布局和内容，给网站访问者友好的体验。用户的体验感觉不错，那么他下次访问网站的几率就会大大提高；其次搜索引擎蜘蛛也非常喜欢网站地图。

4、优化的点有很多，看具体使用环境：用单引号代替双引号来包含字符串，这样做会更快一些。

5、优化网站，对于PHP来说主要有以下几点代码分析，找出耗时长或者卡顿的代码加以优化。循环太多：循环太多就考虑如何去掉循环，或者优化循环体结构，包括每次提前计算好变量，不在循环体内做过多运算。IO瓶颈：就是sql语句有缺陷，或者磁盘读写过慢，网络带宽过低。

6、网站的内部连接网站的内部链接对于网站究竟能够起到什么重大作用呢？可能网站的建立者并不知道这一目的，所以在优化过程当中，不会进行盲目的试探。如此也就造就一个网站的网页在含笑频率出现次数较高的时候，不能及时的抓住客户的兴趣，进而也就不能提高用户的第二次点击。

php+mysql可以处理亿级的数据吗

最后collect 为 10万条记录，数据库表占用硬盘6G。OK ，看下面这条sql语句：select id，title from collect limit 1000，10；很快；基本上0.01秒就OK，再看下面的select id，title from collect limit 90000，10；从9万条开始分页。8-9秒完成。

亿级别的什么数据？如果是关系型很强，而且数据很值钱的数据，例如顾客--交易--商品--金额一个系列的，那么这种很重要的数据，建议是 Oracle，因为数据丢不起啊。

mysql数据库比较灵活，设计的时候功能没有定死，其应用存在弹性。性能方面，oracle的索引和引擎，性能不比mysql高，甚至比mysql低。因为oracle的设计原则是事务优先，性能通过加大硬件投入也就是扩大分布式架构的规模解决。mysql的设计原则是性能优先，事务其次。