AI 시대의 핵심 인프라, 하이퍼스케일 데이터 센터

AI 시대의 핵심 인프라, 하이퍼스케일 데이터 센터

정보통신기술이 시대를 바꾸고 있는 힘이라면, 데이터는 그 힘을 뒷받침하는 연료다. 데이터라는 연료가 끊임없이 흐르는 디지털 시대의 한복판에, 이곳이 존재한다. 빅데이터에 기반한 클라우드 서비스도, 최근 인기 높은 생성 AI도 여기가 없으면 존재할 수 없다. 최소 10만 대의 서버를 수용할 수 있는 초대형 데이터 센터, 인공지능 시대 핵심 인프라, 하이퍼스케일 데이터 센터다.

데이터 센터가 멈추면 세상이 멈춘다

지난 2021년 3월, 프랑스 스트라스부르에 있는 OVH 데이터 센터에서 화재가 발생했다. 5층 규모 데이터 센터 4개 동 중 1개 동을 모두 불태운 이 화재로, 프랑스 정부 및 현대 미술관 퐁피두 센터, 게임 러스트의 유럽 서버, 암호화폐 거래소 코인하우스 등 16,000여 개의 기업 등에서 피해를 보았다.

2022년 10월 발생한 SK C&C 데이터 센터 화재 사건을 기억하는 사람도 많다. 카카오톡을 비롯해 카카오톡 관련 서비스를 아예 쓸 수 없었던, 거의 모든 국민이 불편함을 겪은 당혹스러운 사건이었다. 사업 목적으로 카카오 서비스를 활용했던 가게까지 타격을 입었다. 데이터 센터가 우리 사회에 얼마나 중요한 존재인지를 확실히 알게 됐다.

1990년대 처음 인터넷 붐이 불 때만 해도, 이 정도로 세상이 바뀌리라 생각하진 않았다. 데이터 센터란 뭔가? 그저 수많은 컴퓨터와 네트워크 장비, 저장 장치가 들어가 있는 시설이다. 수많은 웹 서비스가 이 시설을 기반으로 운영되지만, 웹 서비스 불통이 단전이나 단수와 같은 취급을 받게 될 거라고 누가 상상이나 했을까.

SK C&C 데이터 센터 화재 사건 보도 화면

처음부터 이랬던 것은 아니다. 컴퓨터 룸이라고 불린 초기 데이터 센터는, 그때 만들어진 컴퓨터가 엄청나게 컸기 때문에 어쩔 수 없이 태어났다. 예를 들어 최초의 컴퓨터 중의 하나인 에니악(ENIAC) 같은 경우 무게만 30톤, 크기는 30x1x2m, 소비 전력은 150kW에 달했기에, 따로 공간을 만들어 관리 해야 했다.

이후 컴퓨터가 책장 크기의 미니컴퓨터, 가방 크기의 마이크로컴퓨터(PC)로 작아지면서 사무실이나 건물 일부에 들어간 컴퓨터실은, 1990년대 후반 인터넷 시대에 접어들면서 변화를 맞이하게 된다. 점점 관리해야 할 컴퓨터가 많아지면서 일반 사무실에 놓고 쓰는 게 어려워졌고, 컴퓨터만 설치할 수 있는 건물을 지어 빌려주기 시작했다. 흔히 생각하는 데이터 센터가 이때 태어났다.

하이퍼스케일 데이터 센터란?

컴퓨터 시스템은 도서관 책보다 무겁다. 여러 대를 써야 하니 장소를 많이 차지한다. 전기도 많이 쓰고, 전기를 쓴 만큼 열을 배출한다. 한마디로 관리가 어렵다. 반면 네트워크로 연결되어 있다면 어디서나 쓸 수 있다. 그렇다면 땅값 비싼 도심이 아니라, 저렴하고 사람 없는 지역에 설치해, 전문가들이 관리하는 것이 좋다.

문제는 생각보다 인터넷이 더 큰 인기를 끌었다는 점이다. 시공간을 초월해 정보를 주고받고, 간단히 전자상거래로 물건을 살 수 있게 되면서 사용자가 빠르게 늘었다. 여기에 클라우드 서비스와 스마트폰이 등장하고, 콘텐츠 스트리밍 서비스가 대세가 되면서, 이를 감당해야 하는 서버 컴퓨터도 기하급수적으로 늘어나게 된다.

1970년대 미국 컴퓨터실

1998년, 구글이 처음 데이터 센터에 입주했을 때 설치한 PC는 몇 대였을까? 고작 30대다.  구글이 검색의 대명사가 된 2016년에는, 30대의 컴퓨터가 약 250만 대로 늘어났다. 이 많은 컴퓨터를 수용하려면 어쩔 수 없이 데이터 센터도 커져야 한다. 하이퍼스케일 데이터 센터는 그래서 태어났다. 말 그대로 초거대 데이터 센터를 의미한다.

재미있게도, 하이퍼스케일이라고 부르긴 하지만, 어느 정도면 하이퍼스케일이라고 부를 수 있는지 기준이 정해져 있지는 않다. 전에는 서버 5천 대 정도를 수용할 수 있는 곳을 가리키다가, 요즘엔 축구장 3개 정도 되는 총면적 2만 2,500㎡ 정도 크기에 서버 10만 대 이상, 전력량 20MW 이상을 지원하는 데이터 센터를 지칭한다. 보통 MS나 아마존, 구글 같은 대형 클라우드 사업자들이 운영하는 곳이 여기에 해당한다.

하이퍼스케일은 대응 능력이 뛰어나다는 의미이기도 하다. 보통 확장성이 좋다고 말한다. 최근 주목을 받는 생성 AI처럼, 갑자기 엄청나게 많은 컴퓨터 자원이 필요한 상황이 와도 대처할 수 있는 능력이다. 하이퍼스케일 데이터 센터는 레고처럼 서버 컴퓨터를 추가할 수 있는 모듈식으로 시스템을 구성하기 때문에, 이런 수요 변화에 맞춰 확장할 수 있다.

Google data center in The Dalles, Oregon.

하이퍼스케일 데이터 센터에 들어간 기술

물론 확장성만이 하이퍼스케일 데이터 센터가 가진 장점은 아니다. 자동화는 일반 데이터 센터보다 하이퍼스케일 데이터 센터가 더 잘하는 분야다. 소프트웨어는 가급적 최신 상태를 유지해야 한다. 이런 업데이트를 일일이 사람이 하다가는 수십만 대의 컴퓨터를 관리할 수 없다. 이를 자동화 프로그램을 통해 해결한다. 자동 복구 기능을 갖춘 모니터링 프로그램도 있다.

일반 데이터 센터보다 더 많은 전기를 공급하도록 설계되기도 했다. 일반 데이터 센터는 컴퓨터를 책장에 책을 꽂듯 끼워 설치하는 장비인 랙 마운트에, 1랙 당 약 3~5kW 전력을 공급한다. 반면 하이퍼스케일 데이터 센터는 20~40kW급 전력을 공급하기에, 그만큼 같은 면적에 더 많은 컴퓨터를 설치할 수 있다.

더 뛰어난 냉각 시스템을 가지고 있기도 하다. 컴퓨터 시스템은 더 많은 전력을 쓸수록 더 많은 열을 발산하는데, 이걸 식혀주지 않으면 고장 나기 때문이다. 효과적으로 열을 내리기 위해, 액체가 담겨 있는 부품을 컴퓨터 부품에 직접 닿게 하는 수랭식 냉각 시스템을 주로 쓴다. 액침 냉각이라고 해서, 아예 컴퓨터를 액체에 담가 냉각하는 방식도 도입될 예정이다.

구글 싱가포르 데이터 센터의 보안실 모습

그 밖에도 다른 최신 기술이 모두 녹아 들어가 있다. 빠르고 안정적으로 많은 데이터를 처리하기 위해 소프트웨어 정의 네트워킹(Software Defined Network, SDN)이나 고속 상호 연결 같은 고급 네트워킹 기술을 지원한다. 고급 가상화 기술 및 분산 컴퓨팅 모델을 적극적으로 활용하기도 한다. 이를 통해 전체 컴퓨터 시스템을 효율적으로 활용하고, 특정 시스템에 작업 부하가 걸리지 않게 관리한다.

처음부터 그걸 고려해 짓기도 했지만, 자동화가 잘 된 시스템에 뛰어난 전기 관리 능력, 냉각 능력 등이 합치니 일반 데이터 센터보다 에너지도 더 아껴 쓴다. 중요한 데이터 처리 시설이니 강한 온/오프라인 보안 시스템도 갖추고 있다. 서로 다른 지역에 있는 데이터 센터에 자료를 백업하고, 장애가 발생하면 백업 시스템으로 연결해 서비스 중단 없이, 안전하게 복구할 수도 있다.

하이퍼스케일 데이터 센터를 계속 짓는 이유

하이퍼스케일 데이터 센터는 최신 인프라와 자동화 기술을 이용해 더 적은 사람과 비용으로, 더 많은 일을, 시스템 문제 없이 처리하는 장소다. 인터넷 산업을 지탱하는 큰 공장이라고 해야 할까. 그렇지만 만드는 것은 쉽지 않다. 자연재해, 전기 공급, 고속 인터넷망 등 장소를 고를 때 따져야 할 요소도 많고, 법적 규제를 받거나 지역 사회의 반대를 극복해야 하기도 한다.

그런데도 하이퍼스케일 데이터 센터가 늘어나는 건, 세상이 점점 더 많은 데이터를 처리할 수 있는 컴퓨터 시스템을 요구해서다. 실제로 2024년 5월 시너지리서치에서 발표한 보고서를 보면, 하이퍼스케일 데이터 센터는 1,000개를 돌파했다. 2018년 말 기준으로 430여 개가 있었으니, 지난 5년 사이에 500개가 넘는 하이퍼스케일 데이터 센터가 건설됐다는 말이다.

데이터센터의 수도라 불리는 미 조지아주에 있는 데이터 센터들

이런 흐름을 이끈 것은 코로나19다. 비대면 생활 환경이 중요해지면서, 인터넷 수요가 폭증했다. 보통은 이렇게 한번 확 늘었다가 잠잠해지는 편인데, 이번엔 수요가 줄지 않고 계속 늘었다. 생성 AI 때문이다. 생성 AI는 훈련과 사용에 초대형 데이터를 이용하기에, 어마어마한 컴퓨터 자원이 소모된다.

예를 들어 가장 유명한 대화형 AI인 챗GPT3의 경우, 원본 학습 데이터 크기는 45TB에 달한다. 챗GPT3를 사용할 때 AI가 대답에 이용하는 파라미터의 수만 약 1,750억 개다. 이를 가동하는 컴퓨터 시스템은 엔비디아의 HGX A100 서버 3,600여 대다. 총 28,900여 개의 GPU를 쓰고 있으며, 하루 사용료가 약 70만 달러(한화 약 9억 6천만 원)에 달한다고 알려졌다.

지난 2024년 4월 메타에서 공개한 생성 AI 훈련용 GPU 클러스터, 그러니까 AI를 처리하기 위해 구축한 컴퓨터 시스템에는, 한 클러스터에 대당 수천만 원에 달하는 엔비디아 H100 GPU가 24,576개 들어갔다. MS와 아마존도 자체 생성 AI 모델 개발을 서두르면서, 하이퍼스케일 데이터 센터에 전략적인 투자를 이어 나가고 있다. 현재의 흐름은 생성 AI 시대의 경쟁에 뒤처지지 않기 위해, 빅테크 기업들이 끌고 나가고 있는 거라고 봐도 좋다.

2024년 기준 세계 데이터 센터 보유 국가

하이퍼스케일 데이터 센터의 미래

시너지리서치는 앞으로 4년 안에 하이퍼스케일 데이터 센터 용량이 2배로 늘 거라고 예상했다. 실제로 2024년 들어 메타(구 페이스북)에서는 미국에 8억 달러짜리 데이터 센터 3개를 짓는다고 했다. 구글은 신규 데이터 센터에 20억 달러, 데이터 센터 확장에 10억 달러를 쓸 거라고 했다. MS는 독일과 일본, 스페인에 각각 34억, 29억, 21억 달러를 들여 데이터 센터를 지을 예정이다.

MS는 오픈AI와 협의해 1,000억 달러가 투입되는 초거대 데이터 센터를 지을 계획을 세우고 있다는 말도 나왔다. 아마존은 2024년 100억 달러, 향후 15년간 1,500억 달러 투자 계획을 가지고 있다는 보도가 나오기도 했다. 앞으로 생성 AI를 비롯해 관련 서비스가 실질적인 이익을 가져다준다면, 지금 계획보다 더 많은 하이퍼스케일 데이터 센터가 지어질지도 모른다.

문제는 다시 에너지와 인공지능이다. 글로벌 컨설팅 업체 매켄지에 따르면, 미국 데이터 센터의 전력 소비량은 2022년 17GW에서 2030년 35GW로 증가할 것으로 예상했다.  한국 표준형 원전 용량이 1GW니, 원전 17기에서 35기가 최대로 생산할 수 있는 전기를 쓰는 셈이다. 이 가운데 하이퍼스케일 데이터 센터가 차지하는 비중은 약 20%이며, 점점 더 커질 전망이다.

* 국제에너지기구(IEA)에서 추산한 데이터 센터 전력 소비량은 최대 340TWh다(2022년 기준).

많은 개선이 있었지만, 그래도 세계 전력 수요의 1~1.3%를 차지한다고 했다. 앞으로 생성 AI에 관한 연구가 계속되고, 그에 따라 하이퍼스케일 데이터 센터가 늘어나면, 전력 소비량도 늘 수밖에 없다. 테슬라 CEO 일론 머스크가 2025년이 되면 전기가 부족할 것이라 말했던 이유다.

기후 위기로 인해 세계가 재생 에너지 전환을 촉구하는 시점에서, 하이퍼스케일 데이터 센터는 엄청나게 많은 전기를 요구한다. 덕분에 미국 일부 지역에선 이미 전기료가 올라가기 시작했다. 이 문제를 해결하기 위해 많은 궁리를 하고 있지만, 결코 풀기 쉬운 문제가 아니다. 과연 인류는 어떤 선택을 하게 될까?

About Author


IT 칼럼니스트. 디지털로 살아가는 세상의 이야기, 사람의 이야기를 좋아합니다. IT 산업이 보여 주는 'Wow' 하는 순간보다 그것이 가져다 줄 삶의 변화에 대해 더 생각합니다. -- 프로필 : https://zagni.net/about/ 브런치 : https://brunch.co.kr/@zagni 네이버 블로그 : https://blog.naver.com/zagni_ 이메일 : happydiary@gmail.com ---

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다