RDS for PostgreSQL/PPAS使用过程中,可能会遇到CPU使用率过高甚至达到100%的情况。本文将介绍造成该状况的常见原因以及解决方法,并通过CPU使用率为100%的典型场景,来分析引起该状况的排查及其相应的解决方案。
阿里云提醒您:
- 如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。
- 如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。
- 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息,建议您及时修改。
CPU使用率到达100%,首先检查是不是业务高峰活跃连接陡增,而数据库预留的资源不足。需要查看问题发生时,活跃的连接数是否比平时多很多。对于RDS for PostgreSQL/PPAS,数据库上的连接数变化,可以从控制台的监控信息中看到。而当前活跃的连接数,可以直接连接数据库,使用下列查询语句得到。
select count( * ) from pg_stat_activity where state not like '%idle';
如果活跃连接数的变化处于正常范围,则可能是当时有性能很差的SQL被大量执行。由于RDS有慢SQL日志,可以通过这个日志,定位到当时比较耗时的SQL来进一步做分析。但通常问题发生时,整个系统都处于停滞状态,所有SQL都慢下来,当时记录的慢SQL可能非常多,并不容易找到目标。这里介绍几种追查慢SQL的方法。
create extension pg_stat_statements;
select pg_stat_reset();
select pg_stat_statements_reset();
select * from pg_stat_statements order by total_time desc limit 5;
select * from pg_stat_statements order by shared_blks_hit+shared_blks_read desc limit 5;
select datname, usename, client_addr, application_name, state, backend_start, xact_start, xact_stay, query_start, query_stay, replace(query, chr(10), ' ') as query from (select pgsa.datname as datname, pgsa.usename as usename, pgsa.client_addr client_addr, pgsa.application_name as application_name, pgsa.state as state, pgsa.backend_start as backend_start, pgsa.xact_start as xact_start, extract(epoch from (now() - pgsa.xact_start)) as xact_stay, pgsa.query_start as query_start, extract(epoch from (now() - pgsa.query_start)) as query_stay, pgsa.query as query from pg_stat_activity as pgsa where pgsa.state != 'idle' and pgsa.state != 'idle in transaction' and pgsa.state != 'idle in transaction (aborted)') idleconnections order by query_stay desc limit 5;
select * from pg_stat_user_tables where n_live_tup > 100000 and seq_scan > 0 order by seq_tup_read desc limit 10;
select * from pg_stat_activity where query ilike '%<table name>%' and query_start - now() > interval '10 seconds';
说明:也可以通过pg_stat_statements插件定位涉及到这些表的查询,如下所示。
select * from pg_stat_statements where query ilike '%<table>%'order by shared_blks_hit+shared_blks_read desc limit 3;
对于上面的方法查出来的慢SQL,如下所示,首先需要做的是结束掉它们,使业务先恢复。
select pg_cancel_backend(pid) from pg_stat_activity where query like '%<query text>%' and pid != pg_backend_pid();
select pg_terminate_backend(pid) from pg_stat_activity where query like '%<query text>%' and pid != pg_backend_pid();
如果这些SQL确实是业务上必需的,则需要对他们做如下优化。
ANALYZE [$Table]
或VACUUM ANZLYZE [$Table]
语句,更新表的统计信息,使查询计划更准确。为避免对业务影响,最好在业务低峰执行。说明:[$Table]为查询涉及的表。
explain [$Query_Text]
explain (buffers true, analyze true, verbose true) [$Query_Text]
说明:[$Query_Text]为SQL文件或语句。