머신러닝 기술을 시작으로 최근 10여 년 사이 AI 기술은 비약적 발전을 거듭해 왔습니다. 병렬 컴퓨팅 기술의 발전과 함께 데이터가 폭발적으로 증가한 게 주요 원인입니다. 소셜미디어, 사물인터넷(IoT), 각종 로그 데이터, 이미지, 영상, 음성 등 과거에 분석 대상으로 고려하지 않았던 다양한 유형의 빅데이터가 기하급수적으로 늘었고, 그를 분석할 수 있는 하드웨어와 소프트웨어가 뒷받침되며 데이터는 새로운 자원으로 재조명 받았습니다. 고성능컴퓨팅(High Performance Computing, HPC)은 과학 연구와 기상 예측 등의 분야를 넘어 민간 산업에서도 주목받고 있습니다. 특히 인공지능(AI) 기술의 도약과 더불어 그 중요성이 날로 커지고 있습니다. 하이페리온리서치에 의하면, 지난 2022년 전 세계 HPC 시장 규모는 373억 달러입니다. 서버, 클라우드 비용, 스토리지, 미들웨어, 애플리케이션, 서비스 등을 모두 포함한 규모입니다1. 이번 글에서는 데이터 서비스가 커지고 있는 환경에서 HPC의 발전과 중요성에 대해 알아보겠습니다.
HPC 성장의 시작
데이터가 커지면 그를 계산하는 컴퓨팅 자원도 커져야 합니다. 자본만 충분히 확보된다면 클러스터링을 활용해 컴퓨팅 자원을 원하는 수준까지 확장할 수 있습니다. 분석할 데이터의 규모와 연산의 난도 상승에 따라 단일 기업 규모의 컴퓨팅 워크로드도 HPC 수준을 요구하게 됐습니다. 요즘 이슈인 생성형 AI가 HPC 규모의 연산력을 필요로 하는 대표적 워크로드입니다.
HPC는 복수의 컴퓨터 자원을 연결해 하나의 슈퍼컴퓨터처럼 활용하는 것입니다. 여기에 CPU보다 단순 계산을 초고속으로 처리하는 GPU가 발전해 HPC 영역을 한 단계 더 도약시켰습니다.
데이터가 많아질수록 그를 위한 HPC도 커집니다. 둘은 상호 영향을 미치며 함께 상승합니다. 현재 세계 1위의 슈퍼컴퓨터인 미국 오크리지국립연구소의 프론티어는 세계 유일의 엑사플롭스급 성능을 내고 있습니다. 1엑사플롭스는 100경 회의 부동소수점 연산을 1초 만에 수행한다는 뜻입니다.
프론티어의 성능은 그전 1위였던 일본 후가쿠보다 두 배 이상 높습니다. 이는 물리, 생물, 화학 전반의 연구를 더 높은 해상도로 모델링하게 하고, 시뮬레이션 속도를 더 높일 수 있다는 의미입니다. 프론티어는 전보다 4.5배 빠르고, 8배 더 큰 AI 모델을 개발할 수 있습니다. 예측 정확도를 높이고, 발견 시간을 단축할 수 있는 더 많은 데이터를 훈련시킬 수 있습니다.
HPC는 모델링, 시뮬레이션 등에 활용되며, 기계, 화학, 제약, 의료 등 다양한 분야에서 쓰입니다. 슈퍼컴퓨터라 불려 온 HPC는 불과 10년 전만 해도 손쉽게 활용할 수 있는 자산이 아니었습니다. 컴퓨터 자체 가격도 고가인 데다 공간, 전기료, 인력 등 운영 비용에 막대한 자금이 필요하기 때문입니다.
그렇기에 막대한 자본력을 갖지 못한 연구기관은 국가나 타 연구기관의 슈퍼컴퓨터를 잠시 임대해 사용해야 했습니다. 한국의 경우 한국과학기술정보연구원(KISTI)의 슈퍼컴퓨터 5호기 '누리온'이 200개 이상의 대학, 연구기관 등에서 활용됩니다. 많은 조직이 누리온을 사용해야 하므로 국가슈퍼컴퓨팅센터는 신청을 받고, 수요에 맞게 자원을 쪼갠 뒤 순서를 정해 사용하게 합니다. 연구자는 슈퍼컴퓨터 신청 후 수일, 수 주일씩 기다리기도 합니다.
결론을 확정하지 않은 기초과학 R&D 과제라면 순서를 기다리는 게 크게 문제되지 않습니다. 하지만, 치열한 경쟁을 펼쳐야 하는 민간 기업에서 '대기시간'은 매우 민감한 문제입니다. 새로운 것을 만드는 시간이 길어질수록 경쟁에서 뒤처진다는 의미기 때문입니다. 그래서 글로벌 규모의 사업을 벌이는 대형기업은 막대한 자본을 투입해 직접 HPC를 구축하고 독점적으로 활용합니다.
올해 2023년 1월부터 최근까지 AI 시장에서 벌어진 현상을 복기해 봅시다. 오픈AI 챗GPT가 출시된 11월 말과 2022년 연말을 지나며 AI 시장은 발 빠르게 돌아가기 시작했습니다. 생성형 AI 서비스가 대중에게 인기를 얻으면서 오픈AI의 경쟁사, 파트너사의 시계는 빠르게 돌아갔습니다. 시장 선점을 놓치지 않기 위해 더욱더 빠르게 새로운 기술을 선보여야 했습니다.
마이크로소프트는 1월부터 오픈AI와 파트너십을 활용한 각종 생성 AI 서비스를 일주일 단위로 선보였습니다.
구글은 마이크로소프트와 오픈AI와 경쟁에 뒤처지지 않기 위해 서둘러 대화형 AI 서비스 '바드'를 공개했다가 부족한 성능에 빈축을 사기도 했습니다. 오픈AI 출신들이 창업한 앤트로픽은 클로드 새 버전을 출시했습니다. 텍스트-이미지 생성 AI 모델을 개발하는 미드저니와 그 경쟁 기술인 '스테이블디퓨전' 개발사 스테빌리티AI는 더욱 사실적인 이미지를 생성하는 경쟁을 벌였습니다. 메타는 라마(LLAMA)를 3월에 공개하고 7월에 라마2를 공개했습니다. 그 밖에도 수많은 생성형 AI 관련 발표가 쏟아졌습니다.
이처럼 '적기 출시'란 목표를 달성해야 하는 상황에서 개발에 필수요소인 HPC를 제때 활용할 수 없다면, 그 기업은 세상에서 사라질지도 모릅니다.
HPC와 클라우드의 만남
근래 대중에게 가장 잘 알려진 HPC 활용 사례는 코로나19 백신입니다. 아스트라제네카, 화이자, 모더나 같은 제약회사들이 코로나19 대유행 2년 만에 백신을 만들 수 있었던 건 시뮬레이션과 예측에 필요한 대규모 HPC 자원을 단기간에 확보했기 때문이었습니다. 시간과 싸움에서 이기게 한 비결이 클라우드입니다.
HPCaaS의 등장
HPC 시스템 도입에서 가장 큰 어려움은 전력 및 냉각 운영 비용, 그리고 전문 엔지니어 인력 확보입니다. 클라우드 서비스 형태로 HPC를 이용하는 HPCaaS(HPC as a Services)는 필요에 따라 늘렸다가, 필요 없어지면 줄이는 클라우드의 유연성을 HPC에 접목한 것입니다. 막대한 초기 투자 비용뿐 아니라 수개월에 걸쳐 컴퓨팅 자원을 발주하고, 장비를 전달받아 설치하는 시간을 순식간으로 줄여줍니다. 운영 부담도 줄어듭니다. 방대한 공간을 확보하지 않아도 되고, 전력과 냉각에 필요한 설비를 직접 운영하지 않아도 됩니다. 고가의 장비를 유지보수하기 위한 엔지니어 인력도 줄일 수 있습니다. 연구수행자는 자원 할당을 기다리는 데 시간을 허비하지 않고 원하는 시점에 원하는 자원을 확보해 바로 과제 해결에 돌입할 수 있습니다.
클라우드 서비스 사업자는 대규모 고급 연산에 필요한 컴퓨팅 자원을 HPC 전용으로 구축하고, 원하는 고객에게 제공합니다. 이용자는 사용한 기간동안 사용한 만큼 비용을 지불하면 됩니다. 사내 구축형 HPC가 가용 자원에 한계를 가지는 데 비해, HPCaaS는 사용자에게 무제한에 가까운 확장성을 제공합니다.
HPC를 활용하기 위한 전문성도 확보하게 해줍니다. HPCaaS 제공기업은 우수한 전문인력을 상시 고용하고 애플리케이션 개발에 필요한 툴을 고객에게 제공합니다. 사내 구축형 HPC라면 각자 과제에 맞는 툴을 별도로 개발해야 하는데, 그 과정을 단축할 수 있습니다.
리스케일의 지난해 설문조사에 의하면, 각 기관과 기업의 R&D 리더들은 소속 연구자가 손실된 파일 찾기나 인프라 설정 같은 연구와 직접 연관되지 않는 작업에 많은 시간을 소비한다는 점에 불만을 갖고 있습니다. 시간이 성패와 직결되는 가운데 R&D와 관련 없는 작업을 얼마나 줄이느냐가 성공을 좌우할 수 있습니다. 만약 연구자를 R&D에 집중하도록 지원한다면, 프로젝트 목표를 지속적으로 달성할 가능성이 두 배 이상 높아진다고 합니다. 안정적으로 컴퓨팅 자원을 활용할 수 있다는 건 그만큼 프로젝트를 성공시킬 확률도 높이게 됩니다.
클라우드는 컴퓨팅의 대중화를 이끌었듯, HPC의 대중화를 이끌고 있습니다. 연구기관과 대기업의 전유물이었던 HPC는 클라우드를 만나 작은 기업과 개인에게 새로운 가능성을 열어줍니다.
예를 들어 초음속 여객기 콩코드는 1976년 첫 상업 비행을 시작하기까지 25년과 50억달러를 필요로 했습니다. 현재 뉴욕과 파리를 오가는 최신의 초음속 여객기를 개발하는 기업은 스타트업인 '붐슈퍼소닉(Boom Supersonic)' 입니다.
붐슈퍼소닉은 2014년 설립돼 콩코드보다 적은 비용과 인력, 절반의 시간을 들여 초음속 여객기를 개발하고 있습니다. 그 비결은 HPCaaS입니다. 프로토타이핑과 풍동 테스트까지 모두 실제로 만들어야 했던 콩코드와 달리, 붐슈퍼소닉의 시제품 제작과 시뮬레이션은 클라우드에서 이뤄집니다. 5천300만 컴퓨팅 시간을 빠르게 실행하며, 이는 1억 시간으로 늘어날 예정입니다. 붐슈퍼소닉의 시제기 XB-1은 지상 테스트를 완료하고 시험비행을 앞두고 있으며, 상용 버전인 '오버추어'는 2026년 상용 노선 투입을 목표로 합니다.
HPC 활용
HPC와 데이터 센터
HPC 시장 규모는 AI가 증가함에 따라 더 가파르게 증가할 것으로 예상됩니다. 급증하고 있는 HPC수요에 따라 HPC 관련 기술인 AI. ML 등 데이터를 빠른 속도로 처리하는 기술과 컴퓨팅 성능이 더욱 중요해질 것입니다. 대용량 데이터를 빠르게 처리해야하는 HPC가 가장 필요로 하는 것은 대규모 데이터 센터입니다. 대용량 데이터를 효율적으로 저장하고 관리할 수 있는 데이터 센터를 갖추고 있어야만 여러 대의 고속 컴퓨터 서버인 컴퓨터 클러스터를 수용할 수 있기 때문입니다. HPC 서비스를 이용하는 모든 서비스에 지연 없이 데이터를 전송하기 위해서는 HPC에 최적화된 네트워크를 지원하는 인프라가 필요합니다. 여러 컴퓨터와 서버를 동시에 사용하는 분산 컴퓨팅을 효율적으로 관리하는 데이터 센터는 HPC를 활용하는데 있어 필수적인 요소입니다.
특히, 복잡한 HPC 환경을 효율적으로 관리하기 위해서는 통합된 시스템 관리 솔루션이 필요합니다. 데이터 센터는 여러 HPC 시스템과 응용 프로그램을 하나의 통합된 환경에서 관리할 수 있는 능력을 가지고 있습니다. 생성형 AI 발전과 동시에 수요가 급증하고 있는 HPC를 안전하게 제공하기 위해서 데이터 센터의 중요성도 커지고 있습니다.
HPC 활용 산업군
HPC는 DNA 시퀀싱, 주식거래 자동화, AI 알고리즘, 자율주행 시뮬레이션 등에 활용됩니다. 대중에게 가장 잘 알려진 HPC 활용 분야는 기상 예측, 기후 모델링입니다. 한국기상청은 KISTI 누리온과 별도의 기상 예측용 전용 슈퍼컴퓨터를 보유하고 있습니다. 기상청 슈퍼컴퓨터 5호기는 기상 예측을 위한 수치 예보모델을 운영하며 우리나라의 특성과 데이터를 반영해 정확성을 높여가고 있습니다.
가장 많이 HPC를 활용하는 산업 분야는 금융입니다. AI 기술과 결합해 가격 예측, 포트폴리오 개발, 사기 거래탐지, 위험관리 등에 활용합니다. 제조 분야에서 다중물리, 유체역학 등의 시뮬레이션에 HPC가 활용돼 왔으며, 반도체 설계와 검증 등도 HPC를 활용합니다.
인간 게놈의 염기 서열 분석 등 의료, 유전체학, 생명화학 분야는 HPC를 일찍부터 활용해 왔습니다. 첫 염기서열 분석에 13년 걸렸던 것이 HPC 발전으로 이제 하루도 걸리지 않습니다. 신약 개발과 설계, 분자 모델링 등이 HPC를 통해 빠른 시간에 이뤄지고 있습니다. 제약 스타트업이었던 모더나는 클라우드로 HPC를 활용할 수 있었기에 거대한 화이자와 더불어 mRNA 기반 백신을 만들 수 있었습니다.
하이페리온리서치는 2026년까지 클라우드를 포함한 HPC 시장 규모가 520억 달러에 이를 것으로 예상했습니다. AI는 또 향후 5년간 22.7%(CAGR) 성장할 것으로 예측됐습니다. 챗GPT는 AI의 유용성을 대중에 인식시킨 계기였으며, 더 많은 일반인이 AI를 활용하도록 만들었습니다. 그동안 연구소 지붕 아래 존재하던 AI는 이제 세상으로 나와 프로덕션, 서비스로 진화해야 하는 상황입니다. 대규모 언어모델을 비롯한 최신 AI 기술의 상용 서비스로 변신은 더 많은 개발 수요와 인프라 수요를 촉발시킵니다.
디지털 혁신은 과거가 아닌 현재입니다. AI는 어느 틈에 일상 앞으로 성큼 다가왔습니다. 기업은 사업모델을 전환하고, 새로운 도전을 시작해야 미래의 성공을 따져볼 수 있습니다. 도전과 해결책 발굴을 위해선 HPC가 필수이고 또 많은 곳에서 그렇게 생각하고 있습니다. HPCaaS 덕분에 중소기업도 전보다 적은 부담을 갖고 거대한 도전에 나설 수 있습니다. 너무나 빠른 속도의 변화에 대응하기 위해, 부지불식간에 등장하는 새 경쟁자에 맞서기 위해 초고성능의 컴퓨팅 자원을 빠르게 확보할 수 있는 HPCaaS는 성공의 동반자가 될 것입니다.
세줄 요약
김우용 기자 (지디넷코리아)
해당 콘텐츠는 저작권법에 의해 보호받는 저작물로 다우기술에 저작권이 있습니다.
해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
Featured images via gettyimages.
References
1. Hyperion Research, Hyperion: HPC Market is Stabilizing and Headed to $50B by 2026, 2022.05.30
2. Rescale, 붐 슈퍼소닉, 클라우드 HPC 시뮬레이션으로 여객기를 하늘에 띄우다.