SQL批量插入数据几种方案的性能详细对比

发布网友发布时间：2022-04-30 00:21

共2个回答

懂视网时间：2022-04-30 04:43

public class DataInertTest 2 { 3 /// <summary> 4 /// 循环插入 5 /// </summary> 6 /// <returns>执行时间（秒）</returns> 7 public double LoopInsert(int count) 8 { 9 StringBuilder sql = new StringBuilder(); 10 for (int i = 0; i < count; i++) 11 { 12 sql.Append(" Insert into TQRCode(Name,Remark) values(‘这是第").Append(i).Append("条数据‘,‘这是第").Append(i).Append("条数据_remark‘) "); 13 } 14 //时间统计 15 var stopwatch = new Stopwatch(); 16 stopwatch.Start(); 17 new Helper().Excute(sql.ToString()); 18 return stopwatch.Elapsed.TotalMilliseconds; 19 } 20 21 /// <summary> 22 /// 批量插入 23 /// </summary> 24 /// <returns>执行时间（秒）</returns> 25 public double BatchInsert(int count) 26 { 27 StringBuilder sql = new StringBuilder(); 28 sql.Append(" Insert into TQRCode(Name,Remark) values "); 29 for (int i = 0; i < count; i++) 30 { 31 32 sql.Append(" (‘这是第").Append(i).Append("条数据‘,‘这是第").Append(i).Append("条数据_remark‘) "); 33 if (i % 500 == 0) 34 { 35 sql.Append(" Insert into TQRCode(Name,Remark) values "); 36 } 37 else if (i < count - 1) 38 { 39 sql.Append(","); 40 } 41 } 42 43 //时间统计 44 var stopwatch = new Stopwatch(); 45 stopwatch.Start(); 46 new Helper().Excute(sql.ToString()); 47 return stopwatch.Elapsed.TotalMilliseconds; 48 } 49 } C#实现代码

　　注：sqlserver中单次批量插入数据最多1000条否则会提示我们：The number of row value expressions in the INSERT statement exceeds the maximum allowed number of 1000 row values. 　

　测试代码：

 1 class Program
 2  {
 3  static void Main(string[] args)
 4  {
 5  for (int i = 0; i < 3; i++)
 6   {
 7   var obj = new DataInertTest();
 8   var t1 = obj.LoopInsert(100000);
 9   var t2 = obj.BatchInsert(100000);
10 
11   Console.WriteLine("LoopInsert : {0}", t1);
12   Console.WriteLine("BatchInsert : {0}", t2);
13   Console.WriteLine("--------------------------------------------------");
14  
15   } 
16   Console.ReadLine();
17  } 
18 }

测试代码

　　测试结果：

技术分享

　　执行了3次结果很明显，效率差距在10倍以上。批量插入的方式之所以比循环插入快，主要因为sqlserver中每个insert into 都是一个独立的事务，循环插入500条数据就是500个事务，而一次插入500条数据，就只有一个事务。事务减少了消耗自然也就小了。且频繁的事务提交相当影响数据库的性能，也就起到了影响整个系统性能的作用（嘿嘿，一不小心也许服务器就挂了）。

　　需要注意的是，测试中因为数据量不大所以两种方式都是采用的一次入库的方式，这样做可以减少数据库连接次数。但是这样做有个很大的弊端：内存消耗会很大。10w数据的sql拼接还好，如果是100w行那就未必了。所以，如果单条数据较大，建议每几百或几千行的时候提交一次，这个数字具体多大需要量体裁衣，平衡内存消耗。

SqlServer数据插入性能小记

标签：

热心网友时间：2022-04-30 01:51

　　技术方案一：

　　压缩时间下程序员写出的第一个版本，仅仅为了完成任务，没有从程序上做任何优化，实现方式是利用数据库访问类调用存储过程，利用循环逐条插入。很明显，这种方式效率并不高，于是有了前面的两位同事讨论效率低的问题。

　　技术方案二：

　　由于是考虑到大数据量的批量插入，于是我想到了ADO.NET2.0的一个新的特性：SqlBulkCopy。有关这个的性能，很早之前我是亲自做过性能测试的，效率非常高。这也是我向公司同事推荐的技术方案。

　　技术方案三：

　　利用SQLServer2008的新特性--表值参数（Table-Valued Parameter）。表值参数是SQLServer2008才有的一个新特性，使用这个新特性，我们可以把一个表类型作为参数传递到函数或存储过程里。不过，它也有一个特点：表值参数在插入数目少于 1000 的行时具有很好的执行性能。

　　技术方案四：

　　对于单列字段，可以把要插入的数据进行字符串拼接，最后再在存储过程中拆分成数组，然后逐条插入。查了一下存储过程中参数的字符串的最大长度，然后除以字段的长度，算出一个值，很明显是可以满足要求的，只是这种方式跟第一种方式比起来，似乎没什么提高，因为原理都是一样的。