IT博客汇 | 运行ORACLE数据库的AIX Kernel CPU使用率高达40%的排查

运行ORACLE数据库的AIX Kernel CPU使用率高达40%的排查

Guang Cai Li发表于 2024-03-11 07:56:09

遇到一次AIX 5.3系统kernel使用在40%左右，syscall 2000K以上；
在运行ORACLE数据库的主机上，一般来说CPU kernel使用率高，多为内存分页问题，或者数据库的latch free等待。或者是系统其它进程异常了。
如下为vmstat的输出：
oracle@AA_pri.prod:/oracle>vmstat 2 5
System configuration: lcpu=10 mem=40960MB
kthr memory page faults cpu
—– ———– ———————— ———— ———–
r b avm fre re pi po fr sr cy in sy cs us sy id wa
14 0 1263554 1033532 0 0 0 0 0 0 8 2666774 800 64 36 0 0
14 0 1263555 1033531 0 0 0 0 0 0 6 2464021 636 64 36 0 0
14 0 1263555 1033531 0 0 0 0 0 0 15 2733151 765 64 36 0 0
15 0 1263555 1033531 0 0 0 0 0 0 44 2330788 19210 63 37 0 0
15 0 1263555 1033531 0 0 0 0 0 0 21 2497598 22673 63 37 0 0

排查：
在数据库层面，可以通过statspack或者AWR来查看latch free等待；
在主机层面：
1.可以查看内存分页使用情况。
2.找到使用Kernel CPU较多的进程；
–对于确认是哪些进程使用大量Kernel CPU，在AIX上可以通过tprof -x sleep 60命令来监测。
–tprof -x sleep 60—>采样60秒，在当前目录生成sleep.prof文件。
内容如下：
AA_pri:/tmp/tools/nmon# more sleep.prof
Configuration information
=========================
System: AIX 5.3 Node: mrp_pri Machine: 00C3E0A04C00
Tprof command was:
tprof -x sleep 60
Trace command was:
/usr/bin/trace -ad -M -L 1118055628 -T 500000 -j 000,00A,001,002,003,38F,005,006,134,139,5A2,5A5,465,234, -o –
Total Samples = 60025
Traced Time = 60.03s (out of a total execution time of 60.03s)
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

Process Freq Total Kernel User Shared Other
======= ==== ===== ====== ==== ====== =====
oracleaaa 48 87.51 61.57 12.89 12.91 0.13
AAALIBR 2 6.01 0.15 5.86 0.00 0.00
aioserver 20 2.53 2.53 0.00 0.00 0.00
lrud 3 1.39 1.39 0.00 0.00 0.00
kbiod 5 0.91 0.91 0.00 0.00 0.00
PID19886 1 0.26 0.26 0.00 0.00 0.00
PID189552 1 0.26 0.26 0.00 0.00 0.00
PID191814 1 0.26 0.26 0.00 0.00 0.00
PID191820 1 0.23 0.23 0.00 0.00 0.00
PID19880 1 0.23 0.23 0.00 0.00 0.00
rtcmd 1 0.13 0.13 0.00 0.00 0.00
/usr/bin/topas 2 0.07 0.06 0.00 0.01 0.00
wait 1 0.05 0.05 0.00 0.00 0.00
/usr/bin/tprof 1 0.05 0.02 0.00 0.02 0.00
/etc/syncd 3 0.03 0.03 0.00 0.00 0.00
zabbix_agentd: 4 0.02 0.02 0.00 0.00 0.00
swapper 1 0.01 0.01 0.00 0.00 0.00
MRCLIB 2 0.01 0.00 0.00 0.00 0.00
ora_lgwr_aa 1 0.01 0.00 0.00 0.00 0.00
ora_pmon_aa 1 0.00 0.00 0.00 0.00 0.00
/etc/getty 1 0.00 0.00 0.00 0.00 0.00
INCTM 1 0.00 0.00 0.00 0.00 0.00
PALIBR 1 0.00 0.00 0.00 0.00 0.00
tnslsnr 2 0.00 0.00 0.00 0.00 0.00
netm 1 0.00 0.00 0.00 0.00 0.00
pnsd 1 0.00 0.00 0.00 0.00 0.00
/etc/init 1 0.00 0.00 0.00 0.00 0.00
rmcd 1 0.00 0.00 0.00 0.00 0.00
gil 1 0.00 0.00 0.00 0.00 0.00
FNDCRM 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/sleep 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/sh 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/trcstop 1 0.00 0.00 0.00 0.00 0.00
xmgc 1 0.00 0.00 0.00 0.00 0.00
======= ==== ===== ====== ==== ====== =====
Total 115 100.00 68.14 18.78 12.95 0.13

Process PID TID Total Kernel User Shared Other
======= === === ===== ====== ==== ====== =====
oracleaaa 194158 231453 7.67 5.89 0.50 1.28 0.01
oracleaaa 158136 189561 7.21 5.51 0.52 1.17 0.02
oracleaaa 197832 176219 7.20 5.47 0.52 1.20 0.01
oracleaaa 168984 203561 7.17 5.51 0.50 1.15 0.01
oracleaaa 193412 195675 7.05 5.46 0.49 1.08 0.02
oracleaaa 184722 70593 6.55 4.98 0.44 1.12 0.01
oracleaaa 190586 194065 6.54 4.99 0.48 1.06 0.02
oracleaaa 171952 232589 6.25 4.89 0.41 0.94 0.01
oracleaaa 179210 214937 6.15 4.71 0.45 0.98 0.01
oracleaaa 169492 207305 6.11 4.68 0.48 0.93 0.01
FNDLIBR 125122 99601 6.01 0.15 5.86 0.00 0.00
oracleaaa 176498 237923 5.91 4.45 0.44 1.01 0.00
oracleaaa 182152 206979 5.50 4.21 0.37 0.92 0.00
oracleaaa 168208 227319 5.29 0.11 5.18 0.00 0.00
lrud 1032 2581 0.49 0.49 0.00 0.00 0.00
lrud 1032 3097 0.49 0.49 0.00 0.00 0.00
lrud 1032 2839 0.41 0.41 0.00 0.00 0.00
kbiod 6758 230697 0.40 0.40 0.00 0.00 0.00
aioserver 98562 139071 0.39 0.39 0.00 0.00 0.00
oracleaaa 153316 221701 0.37 0.08 0.28 0.01 0.00
oracleaaa 152188 197429 0.35 0.11 0.24 0.01 0.00
oracleaaa 180482 197775 0.34 0.08 0.24 0.01 0.00
oracleaaa 188584 198153 0.33 0.10 0.22 0.01 0.00
oracleaaa 152864 226173 0.33 0.12 0.21 0.00 0.00
oracleaaa 174636 175739 0.33 0.09 0.23 0.01 0.00
oracleaaa 180154 213587 0.31 0.01 0.29 0.00 0.00
PID19886 19886 79119 0.26 0.26 0.00 0.00 0.00
PID189552 189552 178857 0.26 0.26 0.00 0.00 0.00
PID191814 191814 201195 0.26 0.26 0.00 0.00 0.00
aioserver 24218 87299 0.24 0.24 0.00 0.00 0.00
aioserver 108882 150165 0.24 0.24 0.00 0.00 0.00
PID191820 191820 201201 0.23 0.23 0.00 0.00 0.00
PID19880 19880 31753 0.23 0.23 0.00 0.00 0.00
aioserver 63464 105847 0.22 0.22 0.00 0.00 0.00
aioserver 58350 79067 0.18 0.18 0.00 0.00 0.00
oracleaaa 166350 45007 0.18 0.05 0.12 0.01 0.00
aioserver 119976 161259 0.18 0.18 0.00 0.00 0.00
kbiod 6758 208781 0.17 0.17 0.00 0.00 0.00
kbiod 6758 234833 0.17 0.17 0.00 0.00 0.00
oracleaaa 166704 202255 0.16 0.04 0.12 0.00 0.00
kbiod 6758 210309 0.16 0.16 0.00 0.00 0.00
aioserver 44420 106939 0.14 0.14 0.00 0.00 0.00
rtcmd 7784 216067 0.13 0.13 0.00 0.00 0.00
aioserver 97270 137523 0.12 0.12 0.00 0.00 0.00
aioserver 9818 24783 0.11 0.11 0.00 0.00 0.00
aioserver 84370 124879 0.11 0.11 0.00 0.00 0.00
aioserver 45570 43961 0.11 0.11 0.00 0.00 0.00
aioserver 94690 134943 0.09 0.09 0.00 0.00 0.00
aioserver 30952 66513 0.09 0.09 0.00 0.00 0.00
aioserver 42172 91475 0.09 0.09 0.00 0.00 0.00
aioserver 73266 53583 0.07 0.07 0.00 0.00 0.00
aioserver 7132 9455 0.07 0.07 0.00 0.00 0.00
aioserver 88498 129007 0.06 0.06 0.00 0.00 0.00
wait 3870 4903 0.05 0.05 0.00 0.00 0.00
/usr/bin/topas 185778 166999 0.05 0.04 0.00 0.01 0.00
oracleaaa 178694 240183 0.05 0.01 0.04 0.00 0.00
/usr/bin/tprof 162384 239105 0.05 0.02 0.00 0.02 0.00
oracleaaa 197618 239821 0.03 0.00 0.03 0.00 0.00
oracleaaa 191808 205851 0.03 0.00 0.02 0.00 0.00
oracleaaa 162034 177569 0.03 0.00 0.02 0.00 0.00
/usr/bin/topas 184380 74419 0.02 0.02 0.00 0.00 0.00
/etc/syncd 8068 27349 0.02 0.02 0.00 0.00 0.00
kbiod 6758 26329 0.01 0.01 0.00 0.00 0.00
oracleaaa 161000 203857 0.01 0.01 0.01 0.00 0.00
swapper 0 3 0.01 0.01 0.00 0.00 0.00
aioserver 57824 89009 0.01 0.01 0.00 0.00 0.00
zabbix_agentd: 185930 86787 0.01 0.00 0.00 0.00 0.00
/etc/syncd 8068 27091 0.01 0.01 0.00 0.00 0.00
ora_lgwr_aa 129784 43103 0.01 0.00 0.00 0.00 0.00
MRCLIB 135202 181919 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 180946 202877 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 172238 174785 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 187992 214365 0.00 0.00 0.00 0.00 0.00
ora_pmon_aa 154232 55873 0.00 0.00 0.00 0.00 0.00
oracleaaa 126162 213487 0.00 0.00 0.00 0.00 0.00
oracleaaa 150520 174225 0.00 0.00 0.00 0.00 0.00
aioserver 67564 103597 0.00 0.00 0.00 0.00 0.00
oracleaaa 148140 205481 0.00 0.00 0.00 0.00 0.00
oracleaaa 191648 191153 0.00 0.00 0.00 0.00 0.00
oracleaaa 155354 206489 0.00 0.00 0.00 0.00 0.00
oracleaaa 151466 99309 0.00 0.00 0.00 0.00 0.00
PALIBR 133654 64935 0.00 0.00 0.00 0.00 0.00
/etc/getty 23744 46967 0.00 0.00 0.00 0.00 0.00
FNDLIBR 145264 101097 0.00 0.00 0.00 0.00 0.00
INCTM 138826 183709 0.00 0.00 0.00 0.00 0.00
oracleaaa 131284 180667 0.00 0.00 0.00 0.00 0.00
oracleaaa 171094 83033 0.00 0.00 0.00 0.00 0.00
FNDCRM 164614 239405 0.00 0.00 0.00 0.00 0.00
netm 5160 6193 0.00 0.00 0.00 0.00 0.00
oracleaaa 72760 86729 0.00 0.00 0.00 0.00 0.00
oracleaaa 159726 167991 0.00 0.00 0.00 0.00 0.00
/usr/bin/trcstop 184152 197317 0.00 0.00 0.00 0.00 0.00
/usr/bin/sleep 184150 197315 0.00 0.00 0.00 0.00 0.00
/usr/bin/sh 184150 197315 0.00 0.00 0.00 0.00 0.00
oracleaaa 182704 236311 0.00 0.00 0.00 0.00 0.00
/etc/syncd 8068 28123 0.00 0.00 0.00 0.00 0.00
/etc/init 1 259 0.00 0.00 0.00 0.00 0.00
oracleaaa 130870 169277 0.00 0.00 0.00 0.00 0.00
oracleaaa 145862 77441 0.00 0.00 0.00 0.00 0.00
oracleaaa 156754 212609 0.00 0.00 0.00 0.00 0.00
oracleaaa 49334 242921 0.00 0.00 0.00 0.00 0.00
gil 5418 7225 0.00 0.00 0.00 0.00 0.00
oracleaaa 155878 199531 0.00 0.00 0.00 0.00 0.00
oracleaaa 127194 211171 0.00 0.00 0.00 0.00 0.00
pnsd 21160 46703 0.00 0.00 0.00 0.00 0.00
rmcd 19406 50581 0.00 0.00 0.00 0.00 0.00
oracleaaa 199414 229769 0.00 0.00 0.00 0.00 0.00
oracleaaa 151574 179487 0.00 0.00 0.00 0.00 0.00
tnslsnr 152492 96539 0.00 0.00 0.00 0.00 0.00
tnslsnr 191808 205851 0.00 0.00 0.00 0.00 0.00
oracleaaa 127314 44441 0.00 0.00 0.00 0.00 0.00
xmgc 2580 3355 0.00 0.00 0.00 0.00 0.00
aioserver 108624 149907 0.00 0.00 0.00 0.00 0.00
MRCLIB 188368 224117 0.00 0.00 0.00 0.00 0.00
oracleaaa 160178 231707 0.00 0.00 0.00 0.00 0.00
======= === === ===== ====== ==== ====== =====
Total 100.00 68.14 18.78 12.95 0.13