正文
php导入大数据csv,php 大数据处理
小程序：扫一扫查出行【扫一扫了解最新限行尾号】
复制小程序
phpadmin怎么导入cvs文件
phpmyadmin 导入 csv 的用户界面如下图：
以下是相关的注意事项及说明：
1、关于 CSV 和 CSV using LOAD DATA
这两种都可以导入CSV格式的文件数据，区别在于：当文件比较大时用 CSV 可能 script 会超时，这时就得使用 LOAD DATA。
2、列名
列名就是你在导出时打钩的“将字段名称放在首行”，实际就是用分隔符分开的字段名集合，就是填写所有字段名，中间用分隔字段的字符隔开。
3、Ignore duplicate rows
这个选项的作用是忽略相同的行，意为相同的行只导入一行数据。4、转义字段的字符是指数据里面可能含有特殊字符串，如分隔字段的字符、包裹字段的字符还有SQL保留字符，这些得先转义否则会出错，按默认的设置是没什么问题的。
thinkphp里面导入csv数据出现乱码怎么破
php读取csv文件，在windows上出现中文读取不到的情况,本人立马想到一个函数mb_convert_encoding();作如下设置 $str = mb_convert_encoding($str, "UTF-8", "GBK");然后就可以了。当然你也可以用iconv();作如下设置iconv(‘GBK’,”UTF-8//TRANSLIT//IGNORE”,$str);这两个函数来解决在windows上面发生乱码的问题。
php中如何导入导出CSV格式的文件
php导入CSV文件：
$line_number = 0;
$handle = fopen("1.xls","r");
while ($data = fgetcsv ($handle, 100000, ",")) {
if($line_number == 0){
$line_number++;
continue;
}
//z这样就可以去掉表头的那一行
for ($i = 0; $i count($data); $i++) {
$ziduan = $data[$i];
}
}
2.php导出CSV文件
header( "Cache-Control: public" );
header( "Pragma: public" );
header("Content-type:application/vnd.ms-excel");
header("Content-Disposition:attachment;filename=txxx.csv");
header('Content-Type:APPLICATION/OCTET-STREAM');
ob_start();
$header_str = iconv("utf-8",'gbk',"信息id,标题,名称,电话,QQ,Email,内容,时间\n");
$file_str="";
$mysqli= new mysqli('localhost','root','','test');
if (mysqli_connect_errno()) {
printf("Connect failed: %s\n", mysqli_connect_error());
exit();
}
$sql='select * from messages';
$mysqli-query("set names utf8 ;");
$result=$mysqli-query($sql);
if($result){
while ($row = mysqli_fetch_assoc($result)){
$file_str.= $row['id'].','.$row['title'].','.$row['name'].','."'{$row['telephone']}'".','.$row['qq'].','.$row['email'].','.str_ireplace(',','，',$row['content']).','.$row['retime']."\n";
}
}else{
echo "nonono!!!";
}
$file_str= iconv("utf-8",'gbk',$file_str);
ob_end_clean();
echo $header_str;
echo $file_str;
?
如何用php导出导入大数据库
在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？
方法：
在phpMyAdmin的目录下，找到根目录的config.inc.php文件，
打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。
在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，
把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，
登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，
选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，
最后点击“执行”，即可导入成功。
注意事项
如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。
php如何读取CSV大文件并且将其导入数据库示例
思路：
读取csv文件，每读取一行数据，就插入数据库
示例
文件夹结构
/
file.csv //csv大文件，这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率的瓶颈主要在写入数据库操作）
index.php //php文件
file.csv
singi,20
lily,19
daming,23
index.php
/**
* 读取csv文件，每读取一行数据，就插入数据库
*/
//获取数据库实例
$dsn = 'mysql:dbname=test;host=127.0.0.1';
$user = 'root';
$password = '';
try {
$db = new PDO($dsn, $user, $password);
} catch (PDOException $e) {
echo 'Connection failed: ' . $e-getMessage();
}
//读取file.csv文件
if (($handle = fopen("file.csv", "r")) !== FALSE) {
while (($row = fgetcsv($handle, 1000, ",")) !== FALSE) {
//写入数据库
$sth = $db-prepare('insert into test set name=:name,age=:age');
$sth-bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth-bindParam(':age',$row[1],PDO::PARAM_INT);
$sth-execute();
}
fclose($handle);
}
数据表
CREATE TABLE `test` (
`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`name` VARCHAR(255) NULL DEFAULT '' COLLATE 'utf8mb4_bin',
`age` INT(10) NULL DEFAULT '0',
PRIMARY KEY (`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;
运行结束后，数据库中会插入csv中的三行数据
php导入csv文件输出是乱码，怎么解决
//这是我前几天回答过的一个问题下面以读取淘宝csv文件为例
if($result){ //如果上传成功了，这是文件路径
if (!($handle = fopen_utf8($result, "r")) === FALSE){ //调取下边函数fopen_utf8;
$errorArr = array();
$i=0;
while (($cols = fgetcsv($handle, 1000, "\t")) !== FALSE) {
++$i;
if($i4) continue;
$taobaolmsx = $cols[21];//宝贝属性;
$taobaoxxsx = $cols[30];//销售属性;
$goodsBn = $cols[33];//商家编码;
}
fclose($handle);
}
unlink($result);
}else{
echo 'file upload error';exit;
}
/*读取csv文件用 */
function fopen_utf8($filename){
$encoding='';
$handle = fopen($filename, 'r');
$bom = fread($handle, 2);
rewind($handle);
if($bom === chr(0xff).chr(0xfe) || $bom === chr(0xfe).chr(0xff)){
// UTF16 Byte Order Mark present
$encoding = 'UTF-16';
} else {
$file_sample = fread($handle, 1000) + 'e'; //read first 1000 bytes
// + e is a workaround for mb_string bug
rewind($handle);
$encoding = mb_detect_encoding($file_sample , 'UTF-8, UTF-7, ASCII, EUC-JP,SJIS, eucJP-win, SJIS-win, JIS, ISO-2022-JP');
}
if ($encoding){
stream_filter_append($handle, 'convert.iconv.'.$encoding.'/UTF-8');
}
return ($handle);
}
