Blog

지난 10년 동안 복잡한 마이크로서비스 아키텍처, 쿠버네티스와 같은 기술, Infrastructure as Code(IaC)와 같은 접근 방식이 업계 표준이 되었습니다.

이제 간단한 작업조차도 개발자가 툴체인에 대한 종단 간 이해를 요구하여 인지적 부하가 크게 증가하고 섀도우 운영과 같은 조직적 비효율성이 발생합니다.

플랫폼 엔지니어라는 직무의 시작과 배경은 DevOps, 클라우드 컴퓨팅, 컨테이너화 기술, 그리고 클라우드 네이티브 애플리케이션의 발전과 밀접하게 관련이 있습니다.

플랫폼 엔지니어는 소프트웨어 개발, 운영, 인프라 관리 등을 종합적으로 다루는 역할로, 조직 내에서 애플리케이션의 배포, 운영, 자동화된 인프라 관리를 책임지며, 효율적이고 확장 가능한 플랫폼을 구축하고 운영하는 중요한 역할을 합니다.

플랫폼 엔지니어의 시작

• 2017년대 초반부터, 클라우드 네이티브 애플리케이션의 등장과 함께, 플랫폼 엔지니어는 Kubernetes, Docker와 같은 오케스트레이션 툴을 다루며, 애플리케이션이 클라우드 환경에서 효율적으로 실행될 수 있도록 하는 데 집중했습니다.
• 또한 클라우드 컴퓨팅(AWS, Azure, Google Cloud 등)이 급성장하면서, 물리적 서버를 직접 관리하는 대신 클라우드 서비스를 이용하여 인프라 관리를 자동화하고 확장성 있는 시스템을 구축할 수 있게 되었습니다.
• 플랫폼 엔지니어의 시작은 DevOps와 클라우드 컴퓨팅의 발전과 맞물려 있습니다. 초기에는 시스템 관리자들이 맡았던 역할이 자동화된 플랫폼 관리로 발전하면서, 특히 컨테이너화와 클라우드 네이티브 애플리케이션의 확산에 따라 등장한 직무입니다.

플랫폼 엔지니어의 등장 배경

시스템 관리자(SysAdmin)나 운영팀(Ops)이 서버 관리, 배포, 네트워크 설정 등 전통적인 IT 인프라의 운영을 담당했습니다. 이들은 주로 물리적 서버를 관리하고 애플리케이션을 운영하는 데 집중했으며, 기술적 관점에서 단순한 운영 업무를 수행했습니다.

클라우드와 클라우드 네이티브의 등장과 더불어 웹 애플리케이션이 복잡해지고, 기업들이 스케일링과 가용성을 더욱 중요시하면서, 효율적인 운영을 위한 자동화와 확장성이 필요해졌습니다.

플랫폼 엔지니어는 클라우드 네이티브 환경에서 애플리케이션을 배포하고 관리하는 역할을 넘어, 개발팀과 운영팀이 보다 효율적으로 협력할 수 있도록 전략적인 플랫폼 설계와 자동화된 도구를 제공하는 역할로 확장되었습니다.

이들은 기술 스택의 선택부터 CI/CD 파이프라인 설계, 인프라 관리, 모니터링까지 다양한 책임을 맡으며, 조직의 기술적 효율성을 극대화하는 중요한 역할을 합니다.

클라우드 컴퓨팅과 인프라의 변화

• • 2010년대 초반부터, 클라우드 컴퓨팅(AWS, Azure, Google Cloud 등)이 급성장하면서, 물리적 서버를 직접 관리하는 대신 클라우드 서비스를 이용하여 인프라 관리를 자동화하고 확장성 있는 시스템을 구축할 수 있게 되었습니다.
  • 이러한 환경에서 플랫폼 엔지니어는 클라우드 인프라를 효율적으로 관리하고, 서버리스 컴퓨팅, 컨테이너 기반의 서비스 등을 운영하는 중요한 역할을 맡게 되었습니다.
  • 클라우드 네이티브 애플리케이션의 등장과 함께, 플랫폼 엔지니어는 Kubernetes, Docker와 같은 오케스트레이션 툴을 다루며, 애플리케이션이 클라우드 환경에서 효율적으로 실행될 수 있도록 하는 데 집중했습니다.

컨테이너화 및 마이크로서비스 아키텍처의 확산

• • 컨테이너화 기술이 보급되면서, 개발자들이 애플리케이션을 독립적인 단위로 배포하고 운영할 수 있게 되었습니다. 이는 플랫폼 엔지니어에게 컨테이너 오케스트레이션, 마이크로서비스 아키텍처 설계 및 운영을 책임지는 새로운 역할을 부여했습니다.
  • Kubernetes와 같은 컨테이너 오케스트레이션 툴을 활용하여, 플랫폼 엔지니어는 자동화된 인프라 구축, 애플리케이션 배포, 스케일링 등을 보다 효율적으로 관리하게 되었습니다.

플랫폼 엔지니어의 역할 확장

• • 시간이 지나면서 플랫폼 엔지니어는 클라우드 네이티브 환경에서 애플리케이션을 배포하고 관리하는 역할을 넘어, 개발팀과 운영팀이 보다 효율적으로 협력할 수 있도록 전략적인 플랫폼 설계와 자동화된 도구를 제공하는 역할로 확장되었습니다.
  • 이들은 기술 스택의 선택부터 CI/CD 파이프라인 설계, 인프라 관리, 모니터링까지 다양한 책임을 맡으며, 조직의 기술적 효율성을 극대화하는 중요한 역할을 합니다.

인지부하(Cognitive Load)란, 사람이 정보를 처리할 때 경험하는 정신적 부담을 의미합니다. 즉, 너무 많은 정보를 한 번에 처리하거나 복잡한 작업을 수행할 때 뇌가 느끼는 부담을 뜻합니다.

클라우드의 보급이나 컨테이너를 비롯한 클라우드 네이티브 기술의 등장, 마이크로서비스 아키텍쳐의 침투, DevOps의 보급에 근거한 엔지니어의 담당 범위의 확대 등이 원인이 되어, 플랫폼 엔지니어의 인지 부하를 증가 시킵니다.

플랫폼 엔지니어는 클라우드 네이티브의 성공적인 확산에 있어 핵심 역할을 하지만, 동시에 가장 큰 정신적 부담을 느끼는 직군 중 하나 입니다.

클라우드 네이티브 환경의 복잡성 증가와 도구의 선택지가 매우 많아지게 됩니다. 이것이 곧 엔지니어의 번아웃의 원인이 되기도 합니다.

즉 인지부하(Cognitive Load)란, 사람이 정보를 처리할 때 경험하는 정신적 부담을 의미합니다. 즉, 너무 많은 정보를 한 번에 처리하거나 복잡한 작업을 수행할 때 뇌가 느끼는 부담을 뜻합니다.

이를 줄이기 위해서는 자동화, 도구 사용, 문서화, 표준화가 중요합니다. 이러한 방법들이 잘 적용되면, 엔지니어는 더 효율적으로 작업을 수행하고, 정신적 부담을 줄일 수 있습니다.

• 구글, 넷플릭스, 아마존 등의 대형 테크 기업들이 클라우드 플랫폼과 DevOps 문화를 적극적으로 도입하면서, 이들 기업에서 일하는 엔지니어들이 플랫폼 엔지니어링의 개념을 발전시키고 구체화했습니다.
• 예를 들어, 구글의 SRE(Site Reliability Engineering) 팀은 플랫폼 엔지니어링의 초기 개념을 운영 효율성과 자동화를 통해 다듬었고, 넷플릭스는 대규모 서비스의 자동화된 배포 시스템을 만들면서 플랫폼 엔지니어의 역할을 더욱 확립시켰습니다.
• 더욱이 Kubernetes나 Docker와 같은 도구들이 등장하면서, 클라우드 네이티브 애플리케이션을 관리하는 역할로서 플랫폼 엔지니어의 필요성이 강조되었습니다.

플랫폼 엔지니어와 시스템 엔지니어는 역할이 겹치는 부분도 있지만, 현대의 클라우드 네이티브 환경에서 그들의 역할과 책임은 다릅니다. 아래 표는 두 역할 간의 주요 차이점을 요약한 것입니다.

플랫폼 엔지니어는 클라우드 기반, 마이크로서비스, 자동화된 배포 환경에 초점을 맞추고, 시스템 엔지니어는 전통적인 서버와 네트워크 관리에 집중하는 역할입니다. 오늘날 많은 기업에서 플랫폼 엔지니어의 역할이 중요해지고 있으며, DevOps와 클라우드 컴퓨팅을 통한 효율적인 운영을 추구하는 추세입니다.

플랫폼 엔지니어는 팀에서 내부 개발자 플랫폼을 구축하기 위해 일합니다. 플랫폼 엔지니어는 Docker/Kuberbetes, IaC, CI/CD를 가장 많이 사용한다고 보고했습니다.

다음은 플랫폼 엔지니어가 가져야 하는 스킬셋과 능력을 표로 정리한 것입니다:

상기 표는 플랫폼 엔지니어가 요구하는 핵심 스킬과 능력을 정리한 것입니다. 다양한 기술을 종합적으로 활용하여 효율적인 시스템 운영과 애플리케이션 배포를 지원할 수 있어야 하며, 협업 능력과 문제 해결 능력 또한 매우 중요합니다.

플랫폼 엔지니어는 종종 플랫폼 팀에서 내부 개발자 플랫폼을 구축하기 위해 일합니다. 플랫폼 엔지니어는 Docker/Kuberbetes, IaC, CI/CD를 가장 많이 사용한다고 보고했습니다. 플랫폼은 일반적으로 클러스터와 인프라 위에 계층으로 구축되어 구성 관리와 인프라 오케스트레이션을 모두 간소화합니다.

최근 급속히 주목을 받고 있고, Gartner사에 의한 2024년의 전략적 기술 트렌드 Top10에 포함된 플랫폼 엔지니어의 역할과 전망 그리고 도전 과제에 대해서 살펴봤습니다.

플랫폼 엔지니어링 커뮤니티는 2021년에 오스틴과 베를린에서 소수의 미팅 그룹으로 시작되었습니다. 오늘날에는 전 세계 19개 미팅 그룹에 걸쳐 10,000명 이상의 활동적인 플랫폼 엔지니어가 있습니다.

플랫폼 엔지니어와 관련하여 핵심적이고 자주 참조되는 문서들을 아래에 정리하였습니다:

• 플랫폼 엔지니어링이란? – 플랫폼 엔지니어링의 정의와 중요성을 다룬 Microsoft의 공식 문서입니다.
• 2024 플랫폼 엔지니어링 4가지 트렌드 뜯어보기 – 플랫폼 엔지니어링의 최신 동향과 트렌드를 분석한 인포그랩의 블로그 글입니다.
• “데브옵스의 최종진화” 플랫폼 엔지니어링의 이해 – 플랫폼 엔지니어링의 개념과 DevOps와의 관계를 설명한 ITWorld Korea의 기사입니다.
• 플랫폼 엔지니어를 위한 Red Hat OpenShift – 플랫폼 엔지니어를 지원하는 Red Hat의 OpenShift 솔루션에 대한 소개 문서입니다.
• 플랫폼 엔지니어링에 대한 짧은 생각 – 플랫폼 엔지니어링의 등장 배경과 미래를 개인적인 시각에서 다룬 블로그 글입니다.
• Platform Engineering – Sorry Architecture – 플랫폼 엔지니어링의 개념과 필요성을 설명한 블로그 포스트입니다.
• [오케피플] 멈추지 않는 도전 정신, 플랫폼 엔지니어링 – 플랫폼 엔지니어링의 실제 적용 사례와 경험을 공유한 네이버 블로그 글입니다.