本文是关于PHP的相关知识教程,分享一下php百万数据怎么通过脚本文件写入csv的相关内容,下面附上详细实现代码,一起来看一下。
给php百万数据写入csv的方法分享
伪代码:
//xxx - 根据自己项目替换
//调取脚本文件
exec(xxx);
//脚本文件
//设置执行时间和内存
set_time_limit(0);
ini_set('memory_limit', '128M');
//循环获取
$id = 0;
$data = 'xxx'.'\n';//表头
while(true){
//SQL
$list = xxx WHERE id > $id ORDER BY id ASC LIMIT 10000; //每次取1w防止数据库压力大,根据sql来,我这个有联表,
if(empty($list)){
break;
}
foreach($list as $row){
$data .= '"' . $row['xxx'] . '",';
$data .= "\n";
$id = $row['id'];//更新最大id
}
//追加写入csv
file_put_contents('xxx', mb_convert_encoding($data, 'gbk'),FILE_APPEND);
unset($data);//基础不好不确定初始化能不能清内存就先unset了
$data = '';//初始化
}
从本质上来说就是分批写入,刚开始试验的时候我是打算不把 file_put_contents 写在循环里的,后来发现数据量大的时候,几十万数据 $data 内存就超了另外如果超百万数据的话需要做分文件导出,excel 不支持打开超过 1048576 行,理论上就是加个 $all_count 参数计当前查询的总数,超过百万再加新文件。
以上就是关于给php百万数据写入csv的方法分享,翼速应用平台内有更多相关资讯,欢迎查阅!
我来说两句