IBM Ess800 storage 관련
2010.05.11 10:58
원문 : http://www.ischo.net -- 조인상 // 시스템 엔지니어
Writer : http://www.ischo.net -- ischo // System Engineer in Replubic Of Korea
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
본문 : http://www.ischo.net -- 조인상 //시스템 엔지니어
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
1. 장애 발생
AIX 5.1 P650 장비에 Ess 800 연결되어 있었는데 errpt 로 보면
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
실시간 으로 계속적으로 발생.
그래서 datapath query device 조회 결과
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31685434 0
1 fscsi0/hdisk3 DEAD NORMAL 29818433 1623
2 fscsi1/hdisk4 OPEN NORMAL 31271196 0
3 fscsi1/hdisk5 OPEN NORMAL 31266625 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5633738 0
1 fscsi0/hdisk7 DEAD NORMAL 5280470 974
2 fscsi1/hdisk8 OPEN NORMAL 5496844 0
3 fscsi1/hdisk9 OPEN NORMAL 5494830 0
위에서 보듯이 1이 stat dead로 표시 되어 있어음.
생각해볼수 있는 장애
Switch 문제, Ess800 연결되는 카드 문제, 아니면 프로그램 오류
Switch는 다른 장비에서 확인결과 문제가 없었고 Swtchi도 링크도 정상적이어서 문제없는 것으로 판단
Ess800 연결 부분은 장비의 LED 확인결과 8개 모두 같은 구성으로 불이 들어와 있어서 문제 없는 것으로 판단
마지막으로 Sdd프로그램 문제로 인식하고 아래 명령어로 확인
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72746452 2746 4 3
1 fscsi1 NORMAL ACTIVE 73992393 0 4 4
위에서 보듯이 scsi0의 adapter0의 path는 4개인데 Active3개 보이는 것을 볼수 있다
아래 명령어는 이것을 다시 Active로 만들어 볼수 있는 명령어 이다.
[root@tax /home/ebs]# datapath set adapter 0 online
Success: set adapter 0 to online
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 NORMAL ACTIVE 72747884 2750 4 4
위에서 보듯이 Active4로 변경이 되었다. 이래서 일단 프로그램 문제로 판단을 하고 프로그램 sdd 프로그램을 업그레이드 하기로 했다
그뒤 다시
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72815528 2794 4 2
1 fscsi1 NORMAL ACTIVE 74075151 0 4 4
명령어로 확인결과 0이 DEGRAD로 변하고 Acitve 2개로 되어 있었고
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31992506 0
1 fscsi0/hdisk3 DEAD NORMAL 29904368 1760
2 fscsi1/hdisk4 OPEN NORMAL 31541635 0
3 fscsi1/hdisk5 OPEN NORMAL 31537679 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5639850 0
1 fscsi0/hdisk7 DEAD NORMAL 5280995 1034
2 fscsi1/hdisk8 OPEN NORMAL 5500915 0
3 fscsi1/hdisk9 OPEN NORMAL 5498926 0
위에서 보듯이 datapath query device로 확인 했을때는 똑같은 상태로 보인다.
그리고 errpt확인 결과
[root@tax /home/ebs]# errpt
식별자 시간 소인 T C 자원 이름 설명
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
A7212C7B 1209151405 P H hdisk3 장치 액세스 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
같이 똑같이 에러가 생기고 있다. 즉 datapath set adapter 0 online 명령어를 주었을때는 잠시 Active 되지만
얼마있지 않아서 다시 위 처럼 상태가 변한다.
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
1. 장애 발생
AIX 5.1 P650 장비에 Ess 800 연결되어 있었는데 errpt 로 보면
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
실시간 으로 계속적으로 발생.
그래서 datapath query device 조회 결과
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31685434 0
1 fscsi0/hdisk3 DEAD NORMAL 29818433 1623
2 fscsi1/hdisk4 OPEN NORMAL 31271196 0
3 fscsi1/hdisk5 OPEN NORMAL 31266625 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5633738 0
1 fscsi0/hdisk7 DEAD NORMAL 5280470 974
2 fscsi1/hdisk8 OPEN NORMAL 5496844 0
3 fscsi1/hdisk9 OPEN NORMAL 5494830 0
위에서 보듯이 1이 stat dead로 표시 되어 있어음.
생각해볼수 있는 장애
Switch 문제, Ess800 연결되는 카드 문제, 아니면 프로그램 오류
Switch는 다른 장비에서 확인결과 문제가 없었고 Swtchi도 링크도 정상적이어서 문제없는 것으로 판단
Ess800 연결 부분은 장비의 LED 확인결과 8개 모두 같은 구성으로 불이 들어와 있어서 문제 없는 것으로 판단
마지막으로 Sdd프로그램 문제로 인식하고 아래 명령어로 확인
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72746452 2746 4 3
1 fscsi1 NORMAL ACTIVE 73992393 0 4 4
위에서 보듯이 scsi0의 adapter0의 path는 4개인데 Active3개 보이는 것을 볼수 있다
아래 명령어는 이것을 다시 Active로 만들어 볼수 있는 명령어 이다.
[root@tax /home/ebs]# datapath set adapter 0 online
Success: set adapter 0 to online
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 NORMAL ACTIVE 72747884 2750 4 4
위에서 보듯이 Active4로 변경이 되었다. 이래서 일단 프로그램 문제로 판단을 하고 프로그램 sdd 프로그램을 업그레이드 하기로 했다
그뒤 다시
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72815528 2794 4 2
1 fscsi1 NORMAL ACTIVE 74075151 0 4 4
명령어로 확인결과 0이 DEGRAD로 변하고 Acitve 2개로 되어 있었고
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31992506 0
1 fscsi0/hdisk3 DEAD NORMAL 29904368 1760
2 fscsi1/hdisk4 OPEN NORMAL 31541635 0
3 fscsi1/hdisk5 OPEN NORMAL 31537679 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5639850 0
1 fscsi0/hdisk7 DEAD NORMAL 5280995 1034
2 fscsi1/hdisk8 OPEN NORMAL 5500915 0
3 fscsi1/hdisk9 OPEN NORMAL 5498926 0
위에서 보듯이 datapath query device로 확인 했을때는 똑같은 상태로 보인다.
그리고 errpt확인 결과
[root@tax /home/ebs]# errpt
식별자 시간 소인 T C 자원 이름 설명
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
A7212C7B 1209151405 P H hdisk3 장치 액세스 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
같이 똑같이 에러가 생기고 있다. 즉 datapath set adapter 0 online 명령어를 주었을때는 잠시 Active 되지만
얼마있지 않아서 다시 위 처럼 상태가 변한다.
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
공지 | [공지] 게시자료 열람자유. 불펌금지입니다. | 조인상 | 2010.12.07 | 109093 |
31 | java heap memory 관련에러 | 조인상 | 2010.05.11 | 20508 |
30 | syslog 떨어 뜨리는 방법 | 조인상 | 2010.05.11 | 19053 |
29 | NFS mount | 조인상 | 2010.05.11 | 28849 |
28 | 설치시 CAPP/EAL4+ 옵션에 대하여 | 조인상 | 2010.05.11 | 12977 |
27 | AIX 5.1 ML-4 Overland 네오4000 백업장치 붙히는 방법 | 조인상 | 2010.05.11 | 17363 |
26 | Tomcat 설치하기 | 조인상 | 2010.05.11 | 16792 |
25 | C/C++ 5.0, 6.0 설치하기 | 조인상 | 2010.05.11 | 24633 |
24 | MP 설치하기 | 조인상 | 2010.05.11 | 21844 |
23 | [정욱이네] IBM AIX java 설치 하기. | 조인상 | 2010.05.11 | 32525 |
22 | IBM 시스템-영업&기술 유용한 싸이트 모음 | 조인상 | 2010.05.11 | 17326 |
21 | AIX에서 TCP wrapper 사용하기 | 조인상 | 2010.05.11 | 44342 |
20 | 시간 동기화시키기 | 조인상 | 2010.05.11 | 13994 |
19 | NFS를 이용한 백업스크립트 | 조인상 | 2010.05.11 | 14753 |
18 | dump device 설정 | 조인상 | 2010.05.11 | 14999 |
17 | errpt 내용 삭제하는 법 | 조인상 | 2010.05.11 | 17656 |
16 | NFS 마운트 안될때 | 조인상 | 2010.05.11 | 16005 |
15 | [AIX] NFS service | 조인상 | 2010.05.11 | 20477 |
14 | Backup OS Disk만들기(alter disk 백업 방법) | 조인상 | 2010.05.11 | 28471 |
13 | AIX 시스템 명령(cpu, memory, disk) | 조인상 | 2010.05.11 | 22246 |
12 | 로그인 다수 실패해서 로그인이 안될때 | 조인상 | 2010.05.11 | 13743 |