들어가며
가을이 왔다는 것을 점차 피부로 체감하고 있는 요즘입니다. 개인적으로 회고하는 시간이 익숙하지는 않지만 이렇게 지난 시간을 돌아보고 앞으로에 대한 계획을 글로 정리해 볼 수 있다는 것은 참 감사한 일인 것 같습니다. 이번 포스팅에서는 많은 일들이 있었던 2024년의 1분기 ~ 3분기를 되돌아보고 앞으로의 계획을 정리해보는 시간을 가져보고자 합니다.
개발자, 직장, 그리고 가정
문득 정신 차려보니 어느덧 개발자로 취업을 한 지도 3년이 다 되어 갑니다. 짧다고 보면 짧은 시간일 수 있지만 체감하는 시간에 비해 전체적으로 너무 많은 것이 변했습니다. 다들 겪으신 것처럼 저도 참 다양한 경험을 한 것 같고, 그 과정에서 너무 많은 일들이 있었지만 크게 요약해보면 세 가지 큰 변화가 있었습니다.
제일 큰 변화는 가정이 생긴 것 입니다.
대학생 때 처음만난 여자친구가 6년간의 연애 끝에 이제는 제 와이프가 되었습니다 😆. 사실 와이프와는 호칭만 바뀌었다 뿐이지 결혼 전이나 후가 크게 다르지 않은 것 같습니다. 변한 것은 제 마음이 좀 더 여유롭고 단단해진 것 같아요. 안정된 생활에서 오는 행복이, 항상 조급했던 제게도 조금 여유 있게 생각하고 소화할 수 있는 틈을 만들어 준 것 같습니다.
두번째 변화는 직장에서의 역할 입니다.
처음에는 팀의 신입으로 들어가 무언가를 배우는 데 급급했었는데 어느덧 팀 내에서 가장 오래 생존(?)한 팀원이 되어버렸습니다. 덕분에 마이데이터라는 업무에 많은 것을 이해하게 되었고 이제는 직책과 관계없이 업무를 주도해야 하는 위치가 되었습니다. 정말 위치가 사람을 만든다는 것이 맞은 말이라고 느끼는 것이, 같은 업무를 볼 때에도 책임감이 다르다 보니 업무를 대하는 태도도 많이 달라졌던 것 같습니다. 그와 더불어 타 팀과 부드럽게 소통하는 법, 팀 내 의견을 자연스럽게 조율하는 법도 미숙하지만 배울 수 있어 좋았습니다.
마지막은 개발자로서의 나 를 알게 된 점 입니다.
지금 생각해보면 처음부터 기술에 그렇게 흥미가 있었던 편은 아니었던 것 같습니다. 좋아하기는 했지만 즐기는 정도는 아니였던 것 같고, 또 알아야 할 이유를 찾기 힘든 부분에 대해서 굳이 알려고 노력하진 않았던 것 같아요. 딱 안정적인 직장에 취업할 수 있을(?) 정도로만 했던 것 같습니다. 하지만 지금 있는 회사에서 마이데이터 라는 업무를 맡게 되면서 고객들이 보는 APP 화면부터 금융 보안, 네트워크, 아키텍처, DB 영역 까지 넓은 영역을 커버하려 하다 보니 (업무 각각에 대한 깊이는 얕다면 얕을 수 있겠지만) 전체를 보는 안목을 기를 수 있었던 것 같습니다. 비교적 이른 연차에 팀 내 실무를 주도해야 하는 시기가 맞물리면서 다행히 예전보다 더 노력하고 흥미를 가질 수 있었습니다.
개인 프로젝트
직장에서 아쉬운 점은 데이터 엔지니어링을 바라보는 관점이 외부와 조금 다르다는 점입니다. 최소의 비용으로 최대의 효율을 뽑아내기 위해 다양한 오픈소스를 도입하는 외부 시장과는 반대로, 금융권의 회사는 TOSS 와 같은 몇몇 회사들을 제외하고는 안정성을 이유로 오픈소스를 도입하기 꺼려 합니다. 그 보단 오히려 비용을 지불하고서라도 안정적인 서비스를 이용하고 싶어합니다. (그래서인지 번외지만 SLASH24에 당첨되어 갔었는데 발표 너무 재미있더라구요 😆) 물론 이 과정에서도 금융권 특유의 망 분리 원칙 등 예외적인 룰도 함께 고려해야 하지만요.
온-프레미스 기반 개인 프로젝트 구조
사실 운영 비용이 충분한 상황에서 굳이 오픈소스를 도입하기 보다, 비용이 더 들더라도 안정적으로 운영하는 것을 목표로 하는 것은 어쩌면 틀린 관점이 아닐지도 모릅니다. 다만 엔지니어 입장에서 더 어려운 문제를 해결하기 위해 여러 기술들을 도입해보고 그 해결 과정을 경험해보고 싶은 욕심은 다소 충족되기 힘든 부분은 분명히 있습니다. 그래서 개인적으로 이런 갈증을 해소하고자 오픈소스 & 온-프레미스 기반 데이터 엔지니어링 프로젝트를 진행하고 있습니다.
Grafana 를 통한 Observation
주제는 개인적으로 흥미가 있는 금융 시장 분석 플랫폼 으로 정했습니다. 엔지니어링적 관점으로는 프로젝트 과정에서 서버리스 클라우드 제품은 사용하지 않고 온-프레미스로 구축해 보는 것, 그리고 파이프라인 개발 뿐 아니라 Observation을 통한 운영까지 해보는 것이 목적입니다. 아직까지는 테스트 단계라 Airflow 배치도 자주 돌지 않고, 컴퓨팅 자원도 어떤 작업이 얼마나 잡아먹을지 몰라 스텝 by 스텝으로 밟아보고 있습니다. 하둡 에코시스템 기반 오픈소스와 엔지니어링 기술이 워낙 방대하다 보니 조금씩 것처럼 학습해보고 적용해 볼 생각입니다. 그리고 이 과정에서 배운 것처럼 블로그에 포스팅하면서 정리해보려고 합니다.
정리하며
10월 말부터는 기존 업무와 병행하여 사내 MLops 구축 프로젝트에 참여하게 되었습니다. 이를 위해 요즘은 모델링 영역과 모델 평가, 배포 파이프라인을 위한 공부도 조금씩 하고 있습니다. 아직까지 MLops 관련 경험은 없는 상태지만, 이번에도 많은 것을 배우고 경험할 수 있도록 미리미리 공부해 둬야겠습니다. :)
2024년도 벌써 마지막 분기를 앞두고 있습니다. 시간이 정말 빨리 간다는 것을 매년 느끼지만, 올해는 특히 더 정신없이 흘러간 것 같습니다. 사실 블로그에 회고글은 처음 올려보는데 이번 기회에 조금 빠른 회고로 다가오는 2025년을 한 발짝 미리 준비하려고 합니다. 환절기 감기 조심하시고, 지금까지 읽어주셔서 감사합니다. 👋