본문 : http://www.ischo.net -- 조인상 //시스템 엔지니어

+++++++++++++++++++++++++++++++++++++++++++++++++++++++


1. 장애 발생

AIX 5.1 P650 장비에 Ess 800 연결되어 있었는데 errpt 로 보면

E3276AF2  1209145405 U H hdisk3        판별되지 않는 오류
E3276AF2  1209145405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209145405 U H hdisk3        판별되지 않는 오류
E3276AF2  1209145405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209145405 U H hdisk7        판별되지 않는 오류

실시간 으로 계속적으로 발생.

그래서 datapath query device 조회 결과

[root@tax /home/ebs]# datapath query device

Total Devices : 2


DEV#:  0  DEVICE NAME: vpath0  TYPE: 2105800        POLICY:    Optimized
SERIAL: 50027639
==========================================================================
Path#      Adapter/Hard Disk          State    Mode    Select    Errors
    0          fscsi0/hdisk2          OPEN  NORMAL  31685434          0
    1          fscsi0/hdisk3          DEAD  NORMAL  29818433      1623
    2          fscsi1/hdisk4          OPEN  NORMAL  31271196          0
    3          fscsi1/hdisk5          OPEN  NORMAL  31266625          0

DEV#:  1  DEVICE NAME: vpath1  TYPE: 2105800        POLICY:    Optimized
SERIAL: 30027639
==========================================================================
Path#      Adapter/Hard Disk          State    Mode    Select    Errors
    0          fscsi0/hdisk6          OPEN  NORMAL    5633738          0
    1          fscsi0/hdisk7          DEAD  NORMAL    5280470        974
    2          fscsi1/hdisk8          OPEN  NORMAL    5496844          0
    3          fscsi1/hdisk9          OPEN  NORMAL    5494830          0

위에서 보듯이 1이 stat dead로 표시 되어 있어음.

생각해볼수 있는 장애

Switch 문제, Ess800 연결되는 카드 문제, 아니면 프로그램 오류

Switch는 다른 장비에서 확인결과 문제가 없었고 Swtchi도 링크도 정상적이어서 문제없는 것으로 판단
Ess800 연결 부분은 장비의 LED 확인결과 8개 모두 같은 구성으로 불이 들어와 있어서 문제 없는 것으로 판단
마지막으로 Sdd프로그램 문제로 인식하고 아래 명령어로 확인

[root@tax /home/ebs]# datapath query adapter

Active Adapters :2

Adpt#    Adapter Name  State    Mode    Select    Errors  Paths  Active
    0          fscsi0  DEGRAD  ACTIVE  72746452      2746      4      3
    1          fscsi1  NORMAL  ACTIVE  73992393          0      4      4

위에서 보듯이 scsi0의 adapter0의 path는 4개인데 Active3개 보이는 것을 볼수 있다
아래 명령어는 이것을 다시 Active로 만들어 볼수 있는 명령어 이다.

[root@tax /home/ebs]# datapath set adapter 0 online

Success: set adapter 0 to online

Adpt#    Adapter Name  State    Mode    Select    Errors  Paths  Active
    0          fscsi0  NORMAL  ACTIVE  72747884      2750      4      4


위에서 보듯이 Active4로 변경이 되었다. 이래서 일단 프로그램 문제로 판단을 하고 프로그램 sdd 프로그램을 업그레이드 하기로 했다

그뒤 다시

[root@tax /home/ebs]# datapath query adapter

Active Adapters :2

Adpt#    Adapter Name  State    Mode    Select    Errors  Paths  Active
    0          fscsi0  DEGRAD  ACTIVE  72815528      2794      4      2
    1          fscsi1  NORMAL  ACTIVE  74075151          0      4      4

명령어로 확인결과 0이 DEGRAD로 변하고 Acitve 2개로 되어 있었고

[root@tax /home/ebs]# datapath query device

Total Devices : 2


DEV#:  0  DEVICE NAME: vpath0  TYPE: 2105800        POLICY:    Optimized
SERIAL: 50027639
==========================================================================
Path#      Adapter/Hard Disk          State    Mode    Select    Errors
    0          fscsi0/hdisk2          OPEN  NORMAL  31992506          0
    1          fscsi0/hdisk3          DEAD  NORMAL  29904368      1760
    2          fscsi1/hdisk4          OPEN  NORMAL  31541635          0
    3          fscsi1/hdisk5          OPEN  NORMAL  31537679          0

DEV#:  1  DEVICE NAME: vpath1  TYPE: 2105800        POLICY:    Optimized
SERIAL: 30027639
==========================================================================
Path#      Adapter/Hard Disk          State    Mode    Select    Errors
    0          fscsi0/hdisk6          OPEN  NORMAL    5639850          0
    1          fscsi0/hdisk7          DEAD  NORMAL    5280995      1034
    2          fscsi1/hdisk8          OPEN  NORMAL    5500915          0
    3          fscsi1/hdisk9          OPEN  NORMAL    5498926          0

위에서 보듯이 datapath query device로 확인 했을때는 똑같은 상태로 보인다.

그리고 errpt확인 결과

[root@tax /home/ebs]# errpt
식별자    시간 소인  T C 자원 이름      설명
E3276AF2  1209151405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk7        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk7        판별되지 않는 오류
A7212C7B  1209151405 P H hdisk3        장치 액세스 오류
E3276AF2  1209151405 U H hdisk3        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk3        판별되지 않는 오류
E3276AF2  1209151405 U H hdisk3        판별되지 않는 오류

같이 똑같이 에러가 생기고 있다. 즉 datapath set adapter 0 online 명령어를 주었을때는 잠시 Active 되지만
얼마있지 않아서 다시 위 처럼 상태가 변한다.