클라우드 운영 시스템 보안 재구성 작업

 보안 감사가 왔는데 광주 전남 클라우드 시스템들 보안 구성이 잘못돼있다! 라고 했다. 그게 무슨 소리입니까….

보안 재구성 회의

 보안 구성을 재구성을 어떻게 할지 회의를 했다. 23년 11월 21일 이였나? 광주 전남 MSP들이 모여서 보안 재구성을 어떻게 진행할것인가 듣게 되었다. 기존 1차 방화벽은 그대로 두고 시스템 앞단에 안랩에서 제공하는 vTrusGuard라는 가상 방화벽을 사용하기로 했다.

지금이야 말하지만 그때는 회의 들으면서 이게 무슨 소릴까 나는 지금 어딜까 나는 무슨일을 하고 있는걸까 정도로 이해가 안갔다… 지금은 완벽히 이해했지만

사전작업

 보안 재구성 작업때 시스템을 전부 셧다운 시켰다가 켜야하는데 혹시 껐다가 켤때 시스템이 정상 서비스되지 않을 수 있는 참사를 대비하기 위해 각각 일정을 잡아 사람들이 서비스를 이용하지 않는 시간(야근)에 작업을 하게 된것이다.

작업은 각 AP업체로 부터 재시작 메뉴얼을 받아서 진행했다 대부분 시스템들은 WEB-WAS-DB 의 3티어로 구성되어 있었고 WEB-WAS-DB 순으로 서비스를 셧다운하고 인스턴스까지 완전히 종료 시킨 후 재시작하여 DB-WAS-WEB 순으로 시스템 서비스를 다시 켜는 작업을 했다.

작업을 하며 시스템에 블록스토리지를 영구적으로 등록해두지 않아 부팅이 안되는 이슈도 있었고 apache 부팅시 logs 파일이 어디 갔는지 사라져서 apache가 켜지지 않는 이슈가 있어 대충 logs 파일이 없으니 만들어주니 잘 실행됐다 등 여러가지가 이슈가 있었다.

본작업

  첫 작업인 광주 산하기관(광주도시공사, 김대중컨벤션센터 등등)으로 시작하였다. 광주 산하기관의 경우 프로젝트가 각각 기관들이 각각의 프로젝트로 나눠져 있어 전부 통합하는 작업도 진행하였다.

MSP가 진행한 작업은 시스템들을 전부 셧다운 시키고 네트워크 인터페이스를 제거하는 작업을 먼저 진행했다. 그런 후 NHN쪽에서 보안 재구성 작업을 진행해 주셨다. 그 후 NHN쪽에서 기관 vTrusGuard IP 주소를 받아 접속하여 미리 1차 방화벽 정책에 있던 정책들과 보안 그룹에 있던 규칙들은 취합하고 수정한 내용을 방화벽 정책에 추가하였다. 그 후 시스템들이 정상적으로 서비스가 올라오는지 확인하고 이상이 있을 시 추가적으로 방화벽 정책을 추가, 수정하는 작업을 진행하였다.

백업이슈

  첫 작업인 산하기관은 프로젝트를 통채로 옮겼기 때문에 작업 이후 백업을 다시 설정해야 했다. 가이드를 따라 진행했는데 하나도 80% 정도가 백업이 실패 또는 통신 조차 되지 않았다. 백업이 어떤 방식으로 진행되는지 다시 알아보고 이해하여 백업 로그를 보고 이젠 정확히 해결방법까지 알게 되었다.

그 중 어떻게 해도 통신이 되지 않는 시스템이 하나 있었다. 1대1 문의로 약 2주간의 확인 결과 NHN 백업 서버를 최근에 증설했는데 증설한 백업 서버가 원래 프로젝트 내의 hostname만 겹치지 않으면 됐었는데 모든 프로젝트들의 hostname이 겹치치 않아야 되게 설정되어 있어 서버가 통신을 못했다고 결과를 들었고 해결해주셨다.

도중에 들어왔으니 백업 설정을 어떻게 하는지 하나도 모르는 상태로 부장님이 한번 해보라고 하셔서 진행했었다. 백업이 어떤 방식으로 진행되는지 다시 알아보고 이해하여 마스터?까진 아니여도 대부분 이해했다. 지금까지도 백업이 안되면 내가 해결하고있다.

정책 일괄등록 관련

  광주 산하기관, 중앙권 등 광주 기관들을 할때는 정책 추가를 하나하나 만들어서 넣어서 너무 오래걸렸지만 지금 작업하고 있는 전남 작업때는 일괄정책 등록 파일을 만들어 한번에 등록하도록 했다.

일괄 등록파일을 혼자 작성하였는데 처음에 가이드에 따라 진행했는데 전혀 정책이 추가되지 않았고 로그를 보고 가이드 외에 추가적으로 작성해줘야 하는 부분들이 있다는걸 보고 추가하였다. 다른 MSP들은 가서 하면 되겠지 하고 안해두셨는데 저희가 엄청 빠르게 넣는걸 보고 저희쪽으로 파일을 요청하셔서 작성방법을 알려드려 작업 속도가 업청 빨라졌고 칭찬도 들었다.

후기

  사실 본작업은 기관마다 하는 방법이 같아서 별로 적을게 없다. 하지만 사람들이 서비스를 이용하지 않는 시간(주말출근)에 작업을 하다보니 12월부터 2월까지 매주 사람들이 서비스를 이용하지 않는 시간(야근, 주말출근)에 사전작업과 본작업을 진행하며 살짝 힘들었던건 있었다.

처음 NGSC(행정망) 작업을 할때 처음이였고 온나라 시스템이 상당히 복잡하여 아침 9시부터 새벽 3시까지 작업도 했었다… 진짜 돌아버리는줄 알았네… 이후 기관부턴 CSAP, NGSC(대민망, 행정망) 작업부턴 이전 작업의 경험을 살려 비교적 빠르게 끝낼 수 있었고 최근에 작업한 전남 중부권은 오후 3시 정도에 작업이 끝났다 새벽 3시 -> 오후 3시 이게 숙련도 차이인가?

너무 오랜기간 동안 보안 재구성을 하며 야근, 주말출근이 많았고 업무시간엔 이를 위한 작업과 기타 보고서 등등 작성하느라 바빴지만 역시 일은 바쁜게 재밌는거 같다. 난 천상 노예인가…