결과
오늘은 결과를 먼저 보고 이야기 하도록 한다.
왜 이 작업을 진행했는가?
여름인데, 만들어둔 경제분석 시스템에서 그래픽카드가 팽팽 도는게 너무 거슬렸다.
덥기도 더운데, 저게 저렇게 하루종일 굴러갈일인가? 싶어서,
그리고 시스템이 조금 더 효율적으로 굴러가면 어떨까 라는 생각이 들어서였다.
어느 작업을 진행했는가?
제일 먼저 했던 작업은 Thinking 을 제거하는 일이었다.
간단하게 번역만 해도 되는일에 Thinking 을 넣어서 호출하는것은 효율이 너무 좋지 않은일이었다.
응답 속도도 느리거니와, 작업을 했을 때 결과가 그렇게 많이 차이가 나지 않는것.
단순한 분석건은 최대한 단순하게, 바로바로 답변을 뱉을 수 있도록 Thinking 을 제거 하는게 가장 좋았던거같다.
그 다음으로 진행한건 시스템 오류로 반복적으로 동일한 작업을 호출하고 있던 건들을 필터링 할 수 있도록 하는것
등잔밑이 어두운것처럼, 실패한건이 alert 없이, 실패 후처리 없이 계속 남아있어 다른 작업들까지 방해하는 문제가 있었다.
이로인해 실제 분석이 필요한것은 분석이 안되고, 분석 실패하여 예외처리 해야될 건들이 계속 남아있어서 그래픽카드를 점유하고있었던것.
이 작업을 위해 역시나 flag 를 사용하도록 했다.
is_translated 와 같은 플래그를 만들고, 0은 동작전, 1은 동작후, 2는 오류건 으로 만들어서 처리하도록 한것.
보통 is 는 boolean 으로 잡지만, 1 이상은 그냥 true 로 처리하면 되기때문에 사실상 true/false 이면서 에러까지 캐치할 수 있었다.
Batch 에서 Cron 으로
사실 어떻게 보면 같은내용이지만, A 분석이 있는중에 B 분석이 들어와버리면 GPU 의 효율이 좋지 않다.
이를 위해서 교통정리를 해줄 필요가 있는데, Jenkins 나 Gitlab-Runner 를 사용해서 굴리다보면 각각의 application 이 띄워진 상태기때문에 교통정리가 쉽지 않다.
이를 해결하기위해 cron application 을 하나 만들고, batch 를 migration 하는 작업을 진행했다.
적용시점이 8월 31일인데, GPU 사용량이 천장치고있던게 없어졌고, GPU 온도가 내려갔으며, 실제 파워 사용량도 유의미하게 줄어든것을 볼 수 있다.
정리
Application 을 만들 때 사실 리소스를 어떻게 사용하느냐를 잘 생각하는게 중요하긴 한데, 회사 프로젝트도 아니고, 토이프로젝트로 집에서 시작한것이다보니 큰 고민없이 만들고는 있었다.
다만 낭비되는 자원들을 정리하다보니 더 좋은 기능들을 더 많이 넣을 수 있는 여유가 생긴거같아서 좋더라.
서버의 자원은 한정되어있고, 내가 돈을 더 부어도 되긴 하지만, 지금처럼 고메모리가격 시대에 그 선택지는 쉽지 않은것같다.
당금의 개발자들은 메모리 효율, 최적화를 다시 생각해야되는 시기가 온것같다.
