风哥教程

培训 . 交流 . 分享
Make progress together!

IBM P55A主机宕机AIX dump文件深入分析详细过程

[复制链接]
内容发布:风哥| 发布时间:2013-12-21 22:38:24
IBM P55A主机宕机AIX dump文件深入分析详细过程

一客户P550每周六晚上22点后都会出现宕机现象,需要分析原因:
1、检查日志,发现每次宕机都生成了dump日志
p550a:/#sysdumpdev -L
0453-039
Device name:         /dev/hd6
Major device number: 10
Minor device number: 2
Size:                93209600 bytes
Uncompressed Size:   835558845 bytes
Date/Time:           Thu Jul 22 01:17:44 BEIST 2010
Dump status:         0
dump completed successfully
Dump copy filename: /var/adm/ras/vmcore.1.Z
2、分析dump日志
p550a:/tmp/ibmsupt#kdb vmcore.0 /unix
The specified kernel file is a 64-bit kernel
vmcore.0 mapped from @ 700000000000000 to @ 70000003401245f
Preserving 1317350 bytes of symbol table
First symbol __mulh
Component Names:
1)  minidump [2 entries]
2)  dmp_minimal [9 entries]
3)  proc [345 entries]
4)  thrd [2387 entries]
5)  rasct [1 entries]
6)  ldr [2 entries]
7)  errlg [3 entries]
8)  mtrc [26 entries]
9)  lfs [2 entries]
10)  bos [2 entries]
11)  ipc [7 entries]
12)  vmm [13 entries]
13)  alloc_kheap [512 entries]
14)  alloc_other [21 entries]
15)  rtastrc [8 entries]
16)  sisraid [4 entries]
17)  aixpcm [9 entries]
18)  scdisk [19 entries]
19)  lvm [2 entries]
20)  jfs2 [1 entries]
21)  tty [4 entries]
22)  netstat [10 entries]
23)  goent_dd [7 entries]
24)  dump_failures [1 entries]
25)  dump_statistics [1 entries]
Component Dump Table has 3398 entries
           START              END <name>
0000000000001000 0000000003BBA050 start+000FD8
F00000002FF47600 F00000002FFDC920 __ublock+000000
000000002FF22FF4 000000002FF22FF8 environ+000000
000000002FF22FF8 000000002FF22FFC errno+000000
F100070F00000000 F100070F10000000 pvproc+000000
F100070F10000000 F100070F18000000 pvthread+000000
PFT:
PVT:
id....................0002
raddr.....0000000000686000 eaddr.....F200800030000000
size..............00040000 align.............00001000
valid..1 ros....0 fixlmb.1 seg....0 wimg...2
[kdb_read_mem] no real storage @ F1000000107145D8
Dump analysis on CHRP_SMP_PCI POWER_PC POWER_5 machine with 8 available CPU(s)  (64-bit registers)
Processing symbol table...
.......................done
[kdb_read_mem] no real storage @ F1000000106C145B
        ERROR: Unable to acess nfs_syms
Unable to initialize module: /usr/lib/ras/autoload/nfs64.kdb
(2)> stat
SYSTEM_CONFIGURATION:
CHRP_SMP_PCI POWER_PC POWER_5 machine with 8 available CPU(s)  (64-bit registers)
SYSTEM STATUS:
sysname... AIX
nodename.. p550a
release... 3
version... 5
build date Jan 10 2006
build time 10:56:32
label..... 0602A_53E
machine... 000B27ACD600
nid....... 0B27ACD6
time of crash: Thu Jul  8 00:53:14 2010
age of system: 95 day, 19 hr., 57 min., 14 sec.
xmalloc debug: disabled
CRASH INFORMATION:
CPU 2 CSA 018BDE00 at time of crash, error code for LEDs: 30000000
pvthread+000C00 STACK:
[00075FEC]v_delpft+000108 (F200800020000008 [??])
[0010AA88]v_relframe+000464 (??, ??, ??)
[001027E4]v_pageout+0006D0 (??, ??, ??)
[00141A20]v_steal+00043C (??, ??, ??, ??)
[00144EF4]v_fblru_scan+0003B8 (??)
[001403D4]v_lru+00035C (??)   
[001414D0]v_memp_lru+00023C (??)
[00207FEC]v_prememp_lru+000020 (??)
[002A2474].backt+000080 ()     
____ Exception (F000000030017780) ____
iar   : 00000000002A23F4  msr   : 80000000000010B2  cr    : 42000024
lr    : 00000000001408D4  ctr   : 0000000000000000  xer   : 00000000
mq    : 00000000  asr   : 00000000F372A001  
r0  : 0000000000207FCC  r1  : 0FFFFFFFF4017E90  r2  : 0000000001491C28
r3  : 0000000000000000  r4  : F10001002CBA1100  r5  : 0000000003B90000
r6  : 0000000000000000  r7  : 0000000000000000  r8  : 0000000000000106
r9  : 0000000000000000  r10 : 00000000001408D4  r11 : F000000030017780
r12 : 80000000000010B2  r13 : F10001002CB82400  r14 : 00000000DEADBEEF
r15 : 000000000101A9C0  r16 : 00000000DEADBEEF  r17 : 00000000DEADBEEF
r18 : 00000000DEADBEEF  r19 : 00000000DEADBEEF  r20 : 00000000DEADBEEF
r21 : 00000000DEADBEEF  r22 : 00000000DEADBEEF  r23 : 00000000DEADBEEF
r24 : 00000000DEADBEEF  r25 : 00000000DEADBEEF  r26 : 00000000DEADBEEF
r27 : 00000000DEADBEEF  r28 : 00000000DEADBEEF  r29 : 00000000DEADBEEF
r30 : 0000000003B90000  r31 : 0000000000000000  
                              
prev      0000000000000000 stackfix  0000000000000000 int_ticks 00
kjmpbuf   0000000000000000 excbranch 0000000000000000 no_pfault 00
intpri    0B backt     00 flags     00
fpscr     0000000000000000 fpscrx    00000000 fpowner   00
fpeu      00 fpinfo    00 alloc     F000
o_iar     0000000000000000 o_toc     0000000000000000
o_arg1    0000000000000000 o_vaddr   0000000000000000
krlockp   0000000000000000     
Except :
csr   0000000000000000 dsisr 0000000000000000
esid  0000000000000000 dar   0000000000000000 dsirr 0000000000000106
[002A23F4].backt+000000 ()
[kdb_get_memory] no real storage @ FFFFFFFF4017EA0
(2)>
(2)> status
CPU     TID  TSLOT     PID  PSLOT  PROC_NAME
  0     2005      2    2004      2  wait
  1    12025     18    D01A     13  wait
  2     C019     12    4008      4  lrud
  3    1502B     21    F01E     15  wait
  4      12D  32768     120  16384  wait
  5     3133  32771    3126  16387  wait
  6     E01D     14    600C      6  psmd
  7     5137  32773    512A  16389  wait
  8-63   Disabled
这里分析,宕机时有进程一直在做
游客,如果您要查看本帖隐藏内容请回复

再次检查内存:
vmstat 2 5   
kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
0  1 882332 767703   0   0   0   0    0   0  22 1537 456  0  0 99  1
1  0 882333 767698   0   0   0   0    0   0  12 1334  99  0  0 99  0
0  0 882333 767698   0   0   0   0    0   0  14 1474 126  0  0 99  0
内存很快就出来了。


上一篇:【HP-UX管理】HP-UX B11.23(IA)快速批量修改多个内核参数
下一篇:【带库测试】AIX上tapeutil带库测试过程
专业提供Oracle/MySQL/NoSQL/Linux数据库培训与技术支持服务,QQ号:113257174
关注风哥教程微信公众号itpux_com  ,了解本站最新技术资料的分享.

欢迎加QQ群,提供超多高质量Oracle/Unix/Linux技术文档与视频教程的下载。

Oracle/MySQL/Linux群4-5:189070296  150201289  
Oracle/MySQL/Linux群6-8:244609803   522261684   522651731
备注:请勿重复加群,另请注明 from itpux
回复

使用道具 举报

内容发布:punish001| 发布时间:2020-5-3 07:01:40
好好好!风哥威武!好好好!风哥威武!好好好!风哥威武!
回复 支持 反对

使用道具 举报

内容发布:ittwo| 发布时间:2020-3-10 12:43:46
不错不错,学习了,谢谢!
回复 支持 反对

使用道具 举报

内容发布:shuiganjiuying2| 发布时间:2019-2-26 13:43:37

学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢学血学血谢谢
回复 支持 反对

使用道具 举报

内容发布:hide1221| 发布时间:2018-9-19 17:44:32
学习学习学习,谢谢楼主哈
回复 支持 反对

使用道具 举报

内容发布:skylee| 发布时间:2017-2-10 13:22:51
看看到底怎么玩啊,有些地方很不清楚
回复 支持 反对

使用道具 举报

内容发布:xingzheli| 发布时间:2017-1-26 08:35:48
对于dump文件,之前接触得并不多,希望学习
回复 支持 反对

使用道具 举报

内容发布:视觉走秀| 发布时间:2016-9-27 22:49:09
学习学习学习,谢谢楼主哈
回复 支持 反对

使用道具 举报

内容发布:font2008| 发布时间:2016-8-31 13:55:52
感谢分享!!!!!!!!!!!
回复

使用道具 举报

内容发布:hello_unix| 发布时间:2016-8-30 00:12:38
好经验,学习啦,收藏之
回复 支持 反对

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • PostgreSQL数据库中文培训手册
  • Oracle Database 12c 数据库100个新特性与
  • Navicat for MySQL最新版下载地址及注册码
  • oracle 12c RAC 日志频繁切换 checkpoint n
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • MySQL权威指南(第2版)PDF电子书下载
快速回复 返回顶部 返回列表