一次性插入1000条数据比一条一条的插入速度会提升N倍,主要技巧就是在写SQL的上面
目前成都创新互联已为近千家的企业提供了网站建设、域名、网页空间、网站改版维护、企业网站设计、华龙网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
insert into table1 value (v1, v2, v3), (x1,x2,x3),....
而不是
insert into table1 value (v1, v2, v3);
insert into table1 value (x1, x2, x3);
你说的写文件是个思路。如果你只是要求某一个字段是唯一,可以把这个存在内存中,每次进行验证。然后把验证通过的数据写入文件,最后在统一从文件中读出来存入数据库。
但是又会出现个问题。如果你是10万条数据在文件里,你要是想用一个INSERT插入,那必须得先把这数据读到内存里,肯定也很慢,而且不稳定。如果你逐条读出插入,对数据库也是个消耗。不过你可以把数据拆散,比如每1000条插一次。
检查下 php.ini 文件中的限制
upload_max_filesize
post_max_size
如果超出你提交的文件大小,就改大一些
改了之后重启 apache!
我知道你为什么会停下来,因为mysql插入大量数据(1000W)的情况下,执行时间需要的很长,而你八成设定执行时间不限制,如果时间默认超过30秒,那么程序就会自动停下来。
1000 0000
?php
set_time_limit(0);#设置执行时间为不限制~
for($i=0;$i1000;++$i){#嵌套循环,避免悲剧;
for($j=0;$j10000;$j++){
mysql_query(" 插入把~");
}
}
?
批量插入,
拼接sql语句,每条sql执行20个插入语句。然后循环插入
用php把数据生成sql语句,然后导入数据库,(推荐)