openshell 的个人博客

一天很长,但十年很短。

Open Source, Open Mind,
Open Sight, Open Future!
  menu
110 文章
5051 浏览
3 当前访客
ღゝ◡╹)ノ❤️

【TiDB】transction too large的解决方法汇集

使用TiDB大事务开关

由于TIDB二阶段提交的特性,对事务大小有做限制:
单个事务包含的 SQL 语句不超过 5000 条(默认)
单条 KV entry 不超过 6MB
KV entry 的总条数不超过 30w
KV entry 的总大小不超过 100MB

因此批量导入或者批量删除数据时在tidb里经常会遇到transction too large的情况。
批量插入数据可以使用

set tidb_batch_insert=1;

完成后将参数关闭

set tidb_batch_insert=0

该操作不建议在生产环境中使用,因为这样insert 会把大事务分批执行,如果中途报错,已插入的数据不会回滚,丢失事务的原子性。

批量删除数据可以使用

set tidb_batch_delete=1;

完成后将参数关闭

set tidb_batch_delete=0

批量删除被切分为小事务,也可以使用 limit 加循环的方式进行操作。

update可以通过limit加循环的方式实现。

Navicat数据传输时事务过大

image.png

取消事务,直接单条提交即可。


标题:【TiDB】transction too large的解决方法汇集
作者:openshell
地址:http://solo.caiqz.cn/articles/2021/07/30/1627627035233.html