KingbaseES V8R6 最老事务阻止vacuum freeze

news/2024/7/3 6:46:38

前言

最近生产环境发生几次由于长事务导致表、库年龄没法回收的情况。我们要规避这种情况的发生,不要等发生了再去强制中断会话连接。

当数据库中存在最老事务版本xmin,那么早于他的快照可以被标记为frozen,如果在最老事务之后产生的快照版本,不被标记为frozen。

这个最老事务通常被认为是数据库中的长事务,长事务不结束,其后产生的版本都不能被vacuum。那么如果这段时间数据库产生大量事务,就会消耗表,数据库的age。age达到21亿就会强行进入单用户模式vacuum freeze整个数据库才能保证数据库正常运行。

最老事务不仅阻止age的frozen,还阻止表的死亡行回收,所以尽量要避免数据库中产生长事务。

查看长事务的sql:

1、查询长事务语句比较灵活,我们可以加入order by ,limit限定结果集,有很多时候可以加入查询条件 query like‘’ 查到可能阻止vacuum的表涉及的sql语句,但有的时候,其他表的长事务也会阻止不相关的表进行vacuum freeze:

select * from sys_stat_activity where state<>'idle' and sys_backend_pid() != pid and (backend_xid is not null or backend_xmin is not null ) and extract(epoch from (now() - xact_start)) > 3; <时间阈值,单位秒> ;

select * from sys_stat_activity where state<>'idle' and sys_backend_pid() != pid and (backend_xid is not null or backend_xmin is not null ) and query like '%tablename%' ;

或 select datname,usename,query,xact_start,now()-xact_start xact_duration,query_start,now()-query_start query_duration,state from sys_stat_activity where state<>$$idle$$ and (backend_xid is not null or backend_xmin is not null) and now()-xact_start > interval $$30 min$$ order by xact_start;

2、prepare预备语句视图也需要查看:

select * from sys_prepared_statements where now()-prepare_time > interval $$30 min$$ order by prepare_time;

测试

1、需要准备一个产生事务的压测脚本
vi test.sql  
select txid_current();  
2、新建一个事务,不结束事务

test=# create table t1(id int);  
CREATE TABLE  
test=# begin;  
BEGIN  
test=# insert into t1 values (1);  
INSERT 0 1  
test=# select txid_current();  
 txid_current   
--------------  
    1668525  
(1 row)  
3、新建t2表,写入一条记录,注意这条记录的版本是在最老事务之后产生的。

test=# create table t2 (id int);  
CREATE TABLE  
test=# insert into t2 values (100);  
INSERT 0 1  
4、执行压测脚本,目的是消耗大量事务号

kbbench -U SYSTEM -d test -M prepared -n -r -P 1 -f ./test.sql -c 16 -j 16 -T 10  

5、然后,再新建另一个事务,不结束事务

test=# begin;  
BEGIN  
test=# insert into t1 values (2);  
INSERT 0 1  
test=# select txid_current();  
 txid_current   
--------------  
    1788896  
(1 row)  

6、下面继续消耗大量事务

kbbench -U SYSTEM -d test -M prepared -n -r -P 1 -f ./test.sql -c 16 -j 16 -T 10  


7、freeze t2这个表,我们看到年龄始终降不下来。因为前面说过:表的tuple如果是在最老事务之前产生的,它可以被标记为frozen,而在最老事务之后产生的tuple,必须保留版本,不能被标记为frozen。

test=# vacuum (freeze,verbose) t2;  
INFO:  aggressively vacuuming "public.t2"  
INFO:  "t2": found 0 removable, 1 nonremovable row versions in 1 out of 1 pages  
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 1668525  
There were 0 unused item identifiers.  
Skipped 0 pages due to buffer pins, 0 frozen pages.  
0 pages are entirely empty.  
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.  
VACUUM  

  查看表年龄没有下降
test=# select age(relfrozenxid),relname,pg_size_pretty(pg_total_relation_size(oid)) from sys_class where relname='t2';  
   age    | relname | pg_size_pretty   
----------+---------+----------------  
 244389   | t2      | 40 kB  
(1 row)  

8、释放第一个事务,再次freeze t2。注意这个时候最老的事务是在t2的所有记录版本之后产生的。所以理论上执行vacuum freeze后,这个表的年龄应该可以降到0.

test=# vacuum (freeze,verbose) t2;  
INFO:  aggressively vacuuming "public.t2"  
INFO:  "t2": found 0 removable, 1 nonremovable row versions in 1 out of 1 pages  
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 1788896  
There were 0 unused item identifiers.  
Skipped 0 pages due to buffer pins, 0 frozen pages.  
0 pages are entirely empty.  
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.  
VACUUM  
  表年龄有下降,但是没有降到0
test=# select age(relfrozenxid),relname,pg_size_pretty(pg_total_relation_size(oid)) from sys_class where relname='t2';  
   age   | relname | pg_size_pretty   
---------+---------+----------------  
 124048  | t2      | 40 kB  
(1 row)  


第二次vacuum t2,oldest xmin: 1788896,因为第一个事务版本1668525被释放了。

释放第二个事务,再次freeze t2,这时候查看t2年龄已经降到0

TEST=# select age(relfrozenxid),relname,pg_size_pretty(pg_total_relation_size(oid)) from sys_class where relname='t2';
 age | relname | pg_size_pretty
-----+---------+----------------
   0 | t2      | 40 kB
(1 row)

总结

在实际生产环境中,无论主库备库,应尽量避免长事务,作为DBA我们要充分和客户沟通,长事务可能对数据库系统带来的隐患。由于KingbaseES数据库中过去的MVCC版本和表放在一起,而不像oracle,mysql数据库那样利用undo表空间单独存储回滚段,所以面对vacuum问题,我们需要注意把vacuum dead tuple,以及vacuum freeze可能遇到的问题。参考文档《KingbaseESV8R6 垃圾回收原理以及如何预防膨胀》

本案例中,在结束第一个事务后,t2表的事务之后产生的是t1表有关的事务,也就是说t1表的事务不释放也会阻止t2表的vacuum freeze进行。


http://lihuaxi.xjx100.cn/news/1117209.html

相关文章

纽扣电池/含纽扣电池商品亚马逊美国澳洲站点合规认证要求!

纽扣电池/含纽扣电池商品亚马逊美澳站点合规认证 亚马逊美国站纽扣电池&#xff08;含纽扣电池产品&#xff09;合规要求标准&#xff1a; 16CFR1700.15部分(防毒包装标准) 16CFR1700.20部分(特殊包装的检测程序) ANSI C18.3M(便携式锂原电池的安全标准) 警示标签声明要求(…

AI别来搅局,chatGPT的世界不懂低代码

ChatGPT单月访问量再创新高 根据SimilarWeb统计&#xff0c;ChatGPT上月全球访问量17.6亿次&#xff0c;已超越必应、鸭鸭走DuckDuckGo等其他国际搜索引擎&#xff0c;并达到谷歌的2%&#xff0c;百度的60%。 这会&#xff0c;程序员失业的段子又得再来一遍了&#xff1a; 拖…

RocketMQ双主双从环境搭建

环境要求 64位操作系统&#xff0c;推荐 Linux/Unix/macOS 64位 JDK 1.8 服务器准备 准备4台服务器两台master两台slave&#xff0c;如果服务器紧凑&#xff0c;则至少需要两台服务器相互master-slave IP HOSTS 172.*******.120 rocketmq-nameserver1 rocketmq-master1 …

前端工程化 搭建私有组件库 组件从开发到发布私有npm仓库的全过程

前言 基于Vue3.0 TS的组件从开发组件库到发布私有npm仓库的全过程 环境 这里列出本文所使用的环境版本 vue 3.0 vue/cli 4.5.9 nodeJs 14.15.1 npm 6.14.8 vue --version vue/cli 4.5.9 npm -v 6.14.8 node -v v14.15.1 步骤 创建项目 使用 vue-cli 创建一个 vue3 项目&a…

AUTOSAR知识点 之 PDUR (一):基础知识

目录 1、概述 1.1、基本概念 1.2、内部组成 2、功能SPEC 2.1、与其他模块的依赖 2.2、I-PDU浅析

【FOF管理策略与技术】第1章 FOF的基本概念

第1章 FOF的基本概念 文章目录 第1章 FOF的基本概念一、FOF的定义与分类1 FOF的定义1.1、FOF的两个显著特点1.2、FOF天生的不足之处 2 FOF的分类2.1、按投资标的区分2.2、按所投资基金的管理权归属区分2.3、按投资基金种类的不同区分2.4、按FOF与其标的基金的管理运作方式(主动…

TIM输入捕获-STM32

TIM输入捕获-STM32 IC(Input Capture) 输入捕获 输入捕获模式下&#xff0c;当通道输入引脚出现指定电平跳变时&#xff0c;当前CNT的值将被锁存到CCR中&#xff0c;可用于测量PWM波形的频率、占空比、脉冲间隔、电平持续时间等参数 每个高级定时器和通用定时器都拥有4个输入捕…

第8章 函数探幽

1. 引用的本质 int a 1; int& copy a; //实际是&#xff1a;指针常量 int* const copy &a; 引用一旦指定后&#xff0c;就不能再作为其他变量的引用 2. 关于const和引用 非引用--无返回||引用-无返回类似 //1.可行 void test(int a); int a 1; test(a);//2.可行…