#目录
1、多线程插入(单表)2、多线程插入(多表)、预处理SQL4、多值插入SQL5、事务(N条提交一次)
#多线程插入(单表)问:为何对同一个表的插入多线程会比单线程快?同一时间对一个表的写操作不应该是独占的吗?
答:在数据里做插入操作的时候,整体时间的分配是这样的:
1、多链接耗时(0%)
2、多发送query到服务器(20%)
、多解析query(20%)
4、多插入操作(10%*词条数目)
5、多插入index(10%*Index的数目)
6、多关闭链接(10%)
从这里可以看出来,真正耗时的不是操作,而是链接,解析的过程。
MySQL插入数据在写阶段是独占的,但是插入一条数据仍然需要解析、计算、最后才进行写处理,比如要给每一条记录分配自增id,校验主键唯一键属性,或者其他一些逻辑处理,都是需要计算的,所以说多线程能够提高效率。
#多线程插入(多表)分区分表后使用多线程插入。
#预处理SQL普通SQL:即使用Statement接口执行SQL预处理SQL:即使用PpadStatement接口执行SQL使用PpadStatement接口允许数据库预编译SQL语句,以后只需传入参数,避免了数据库每次都编译SQL语句,因此性能更好。
Stringsql="insertintotestdb.tuser(name,mark,catetime,updatetime)values(?,?,?,?)";for(inti=0;im;i++){//从池中获取连接Connectionconn=myBroker.getConnection();PpadStatementpstmt=conn.ppaStatement(sql);for(intk=0;kn;k++){pstmt.setString(1,RandomToolkit.generateString(12));pstmt.setString(2,RandomToolkit.generateString(24));pstmt.setDate(,newDate(System.curntTimeMillis()));pstmt.setDate(4,newDate(System.curntTimeMillis()));//加入批处理pstmt.addBatch();}pstmt.executeBatch();//执行批处理pstmt.close();myBroker.feConnection(conn);//连接归池}
#多值插入SQL普通插入SQL:INSERTINTOTBL_TEST(id)VALUES(1)多值插入SQL:INSERTINTOTBL_TEST(id)VALUES(1),(2),()使用多值插入SQL,SQL语句的总长度减少,即减少了网络IO,同时也降低了连接次数,数据库一次SQL解析,能够插入多条数据。
#事务(N条提交一次)在一个事务中提交大量INSERT语句可以提高性能。
1、将表的存储引擎修改为myisam
2、将sql拼接成字符串,每条左右提交事务。
执行多条SQL语句,实现数据库事务。
mysql数据库
多条SQL语句
publicvoidExecuteSqlTran(ListstringSQLStringList){using(MySqlConnectionconn=newMySqlConnection(connectionString)){if(DBVariable.flag){conn.Open();MySqlCommandcmd=newMySqlCommand();cmd.Connection=conn;MySqlTransactiontx=conn.BeginTransaction();cmd.Transaction=tx;try{for(intn=0;nSQLStringList.Count;n++){stringstrsql=SQLStringList[n].ToString();if(strsql.Trim().Length1){cmd.CommandText=strsql;cmd.ExecuteNonQuery();}//后来加上的if(n0(n%==0n==SQLStringList.Count-1)){tx.Commit();tx=conn.BeginTransaction();}}//tx.Commit();//原来一次性提交}catch(System.Data.SqlClient.SqlExceptionE){tx.Rollback();thrownewException(E.Message);}}}}
10w条数据大概用时10s!
#参考资料: