[참고]🚨 트러블 슈팅: 장애 분석과 대응 방안

[ssedogdoom]

🌟 개요

인프라와 어플리케이션 운영 중 발생하는 문제를 신속히 해결하고 재발을 방지하기 위한 트러블슈팅 가이드를 공유합니다. 주요 내용은 장애 예방, 장애 발생 시 분석 및 대응 절차를 포함합니다.

---

1️⃣ 트러블슈팅 시 참고 사항

장애 예방

• 장애가 발생하지 않도록 구성
  • 이중화, 배포 전략, 사전 테스트
• 문제 발생 시 신속히 인지
  • 모니터링 및 알람 체계 구축
    

장애 분석과 대응

1. 시스템 구조 사전 파악
   • 모듈별 기능, 네트워크 구조, 배포 이력 확인
2. 어플리케이션과 모니터링 분리
   • 모니터링 및 로깅 중앙화
3. 장애 대응 프로세스 확립
   • 전파 체계, 대응 역할, 서버 분석 스크립트 준비
4. 장애 영향도 파악 및 전파
   • 정확한 상황 공유
5. 현상과 원인 분리
   • 복합적인 원인 가능성 고려
   • 현상 발생 시간과 원인 간 시간적 우선관계 확인
6. 레이어별로 문제를 나눠 분석
   • 어플리케이션, 네트워크, 인프라 등 단계별 검토
7. 즉각 대응이 필요한 경우
   • 서비스 운영 지속이 중요하다면 먼저 대응(재시작, 증설 등)
   • 이후 분석을 위한 데이터 확보

---

2️⃣ 구체적 에러 분석: 인프라 사례

2-1. EC2 관련 장애

• 권한 관련 문제
  • IAM 설정 확인
  • EC2에서 IAM User/Role이 제대로 동작하는지 점검
  • 접근 권한 문제 해결 후 Policy 설정 확인
• 네트워크 및 연결 문제
  • Security Group 설정 확인
  • NAT Gateway 동시 연결 제한 고려
  • 사용 중인 소켓 갯수 확인 (lsof, /proc, netstat 명령어 활용)
• EC2 Type 대역폭 확인
  • 인스턴스의 네트워크 용량 초과 여부 점검
    

2-2. EKS 관련 장애

• 네트워크 에러

  • CoreDNS에서 Kubernetes 관련 레코드 관리 여부 확인

• Pod 시작 실패

  • 적절한 노드가 존재하지 않거나 컨테이너 이미지 문제 발생
  • 리소스 부족 문제는 Pod 로그를 통해 분석

• Pod 무한 재시작
  

  • Health Check 확인

• Scale-out 실패

  • HPA 정의 및 CPU 기준 확인 (e.g., Top 명령어로 CPU 사용률 분석)

• Worker Node 문제

  • Pod이 Pending 상태로 남아 있는 경우
    -
  • Node의 Limit 확인
  • Node Join 상태 및 Karpenter 구성 점검

• 보안 및 권한 문제

  • IMDS 설정 및 IRSA 구성을 통한 Pod 접근 권한 점검
  • IAM Role, Service Account, Pod 설정이 올바른지 확인

---

3️⃣ 인프라 운영 중 자주 발생하는 장애

1. 리소스 관련 에러
   • 갑작스러운 사용량 급증으로 리소스 부족
2. 날짜 관련 에러
   • 인증서 만료, Batch 작업 시간 관련 이슈
3. 잘못된 변경
   • 배포 및 설정 작업 중 발생하는 문제
     

---

📢 질문 및 토론

1. 장애 발생 시 빠르게 문제를 식별하기 위한 모니터링 툴 추천은?
   • 예: Prometheus, CloudWatch, ELK Stack 등
2. EC2와 EKS 장애 해결 경험을 공유해주세요.
3. 위 내용 외에 자주 경험하는 장애 사례가 있다면 알려주세요!
4. 여러분의 트러블슈팅 Best Practice도 함께 공유해 주시면 감사하겠습니다.

---

💬 참여 방법

• 질문, 피드백 또는 경험 공유는 댓글로 남겨주세요.
• 장애 예방 또는 대응을 위한 스크립트, 도구 활용 팁도 환영합니다!