SEOUL, KOREA — IT 기술업계 화두는 단연 빅데이터다. 전산업에 걸친 가장 뜨거운 이슈다. 소셜네트워크 서비스의 활성화로 방대한 데이터가 쏟아지고, 이는 기업의 경쟁력을 강화할 키가 될 것으로 주목된다. 빅데이터는 경계가 없다. 기업 내에 상존했지만 적극 활용되지 못했던 다양한 데이터들이 빅데이터의 시대를 맞아 다시 주목받고 있다.
빅데이터 시대를 맞아 오라클은 정형데이터에는 극대화된 성능과 안정성을, 대량의 비정형 데이터에는 각기 알맞은 분석과 관리 역량을 견고한 토탈 아키텍처에 담겠다고 선포했다. 자사의 데이터 베이스기술력을 근간으로 하드웨어와 소프트웨어를 최적화한 엔지니어드시스템인 오라클 엑사데이타 데이터베이스 머신을 통해 정형데이터 처리 속도와 안정성을 한 차원 높이겠다는 계산이다. 지난 7월 방한한 마크 허드 오라클 사장은 ““단순성과 통합성을 극대화해 최근 빅데이터와 클라우드 시대에 맞는 데이터센터 최적화 대안을 제시해 비즈니스 혁신을 가속화하겠다”는 내용의 ‘오라클 데이터센터 최적화 (Oracle Optimized Data Center) 전략’을 발표하기도 했다.
그러나 빅데이터는 그 종류와 발생 규모와 처리 속도 등 모든 면에서 기존 데이터와 낯설기에 전문가들의 지원이 절실한 실정이다. 이러한 때 대한민국 대표 소프트웨어 개발자의 윤진석(Edward J. Yoon)씨가 오라클에 합류했다.
빅데이터에 눈을 뜨다
“소프트웨어에 관심을 갖게 된 계기는 뜻하지 않게 찾아왔습니다. 하지만 곧 잘 맞는 다는 걸 깨닫게 됐죠”. 윤진석 씨(사진)가 소프트웨어에 관심을 갖게 된 것은 친 누나의 의류판매용 인터넷 쇼핑몰을 만들어 준 것이 계기였다. 대학 시절 소일거리 삼아, 용돈벌이 삼아 시작한 쇼핑몰 홈페이지를 만들면서 자신이 소프트웨어 쪽에 소질이 있는 것을 알게 됐다고 한다. 윤진석 씨의 대학시절 전공은 수학과 이미지 프로세싱이다. 소프트웨어는 독학으로 익혔다.
인터넷 쇼핑몰을 관리하다 보니 판매 아이템이 늘면서 생겨난 정보와 상품평 등 데이터가 늘어나면서 문제가 조금씩 보이기 시작했다. 문제를 하나하나 짚어가며 파악해 보니 결국 데이터 관리의 문제였다. 이런 문제들을 하나하나 해결하면서 윤진석 씨는 정보 검색, 분산 시스템, 그리고 데이터 증가 문제에 관심갖기 시작했다.
이때가 요즘 대세 빅데이터의 문제를 윤진석씨가 처음으로 고민하게 된 때이다. 2005년 국내에는 인터넷 사용율이 꾸준히 증가하고 있는 시기였고 인터넷 인구가 더 많았던 해외에서는 정보 검색과 분산처리 등 미리 빅데이터를 조금씩 경험해 가던 시기였다.
윤진석 씨가 빅데이터를 온 몸으로 체감했던 것은 2007년에 참가한 한 외국학회에서였다. 학회 참가자들이 행사 중간 중간 아이폰이니 아이폰 터치 등 스마트 디바이스로 페이스북을 하는 모습은 모토로라 레이저폰을 사용하던 그에게 신선한 충격으로 다가왔다고 한다.
오픈소스에 관심을 갖다
그러다 윤진석 씨가 관심을 갖게 된 것이 오픈소스 기반의 검색엔진과 분산시스템 하둡이였고 아파치 소프트웨어 재단(ASF)의 커미터로 활동을 시작했다. ASF는 글로벌 오픈 소스 비영리 단체 중 가장 활발한 조직이다. 유럽과 미국, 인도 출신 커미터가 대부분인 ASF에서 윤진석 씨는 몇 안 되는 아시아계다. 그 중에서도 한국인 커미터는 이희승(트위터), 이창신 등 손가락에 꼽힌다.
ASF는 철저하게 개발자의 능력과 공헌도에 따라 운영된다. ASF 공헌도에 따라 멤버십과 프로젝트 참가 권한이 주어진다. 윤진석 씨는 2007년부터 ASF 인큐베이터 후원 아래 시작한 하마 프로젝트를 아파치 최상위 프로젝트로 진급시킨 공헌도를 인정받았다. 현재는 하마 프로젝트 의장 및 ASF 재단 멤버로 활동하고 있다. ASF는 회원들의 분산 커뮤니티로 구성돼 있다. 회원들이 개발하는 소프트웨어들은 자유소프트웨어이거나 오픈소스 소프트웨어다. 개발된 소프트웨어들은 아파치 라이선스에 따라 배포된다. 아파치 프로젝트의 특징은 공동 제작과 합의에 기반한 개발 프로세스와 실용적이고 열려있는 소프트웨어 라이선스다. 각각의 프로젝트는 기술전문가로 구성된 자발적으로 참여하는 회원들로 조직된 팀에 의해 관리된다. ASF는 매년 멤버들이 모여 아파치 프로젝트와 관련된 기술과 정보를 나누는 대형 컨퍼런스를 개최하고 있다.
아파치 소프트웨어 개발자
윤진석 씨는 “오픈 소스를 하면서부터 페이스북, 구글 등 대부분의 글로벌 메이저 IT 회사로부터 프로포즈를 받고 있다”고 했다.
2007년부터 아파치 하마 프로젝트를 진행해온 그는 아파치 하마의 창시자다. 아파치 하마는 구글의 프리겔(Pregel) 컴퓨팅 방식의 오픈소스 버전으로 아파치 하둡의 단점을 보완하기 위해 개발됐다. 맵리듀스(MapReduce) 보다 빠르고 효과적으로 복잡한 반복 알고리즘을 처리하기 위해 메세지-패싱 기반의 기술을 활용한다. 또, 그래프로 표현할 수 있는 알고리즘을 병렬로 분산 처리하는 프로그래밍 모델을 제공한다. 이를 이용하면 병렬로 복잡한 그래프 알고리즘을 쉽게 개발할 수 있다. 단일 머신이 아닌 분산 머신으로 알고리즘 코드가 나뉘어 수행되기 때문에 빠른 결과를 얻을 수 있다는 장점이 있다.
아파치 하마는 아직 초기 개발 단계로 그래프 데이터뿐 아니라 복잡한 연산을 필요로 하는 사회망 분석 및 유전자 분석 등 다양한 분야에 활용이 가능하다. 아파치 하둡은 구글 맵리듀스의 오픈소스 버전. 야후를 중심으로 아파치 진영에서 오픈소스로 개발되고 있는 분산처리 엔진이다. 아마존과 야후가 일부 상용시스템에 이를 적용했고 우리나라도 NHN, 다음 등에서 사용하고 있다.
슈퍼개발자K에서 멘토로
윤진석 씨는 인터넷 쇼핑몰 홈페이지 제작을 시작으로 혼자 소프트웨어를 개발하던 나홀로 소프트웨어 개발자였다. 그러다 아파치 소프트웨어 개발자로 업계에 이름이 알려지면서 2007년 NHN의 과장급 소프트웨어 개발자(Senior Software Engineer)로 발탁됐다. 비정형데이터 분산처리가 주요 업무였다. NHN에서는 5년을 근무했다. 이후 KT를 거쳐 올 7월 빅데이터 업무를 맡아 오라클에 입사하게 됐다.
윤진석씨는 “공군 항공 과학과 기계 분야에 평생을 메카닉으로 일 해온 아버지는 자유로운 영혼의 소유자”라면서 “자신에게 가장 큰 영향을 미친 사람”이라면서 “아버지는 자유로운 영혼의 소유자”라고 덧붙였다. 아버지를 오토바이와 기타라는 두 개의 키워드로 설명하면서 그도 한때는 자유로운 음악인이 꿈이었다고 말했다. 하지만, 기타 플렛의 너비를 보며 등비 수열을 생각할만큼 수학이 더 매력적이었다고 했다.
그는 삶의 사소한 부분에서 수학적 의미들을 발견하는 것을 즐기는 사람이었다. 요즘 그는 한국의 빅데이터 전도사로 여러 강연에서 연사로 러브콜을 받고 있다. NIPA에서 진행하는 공개 소프트웨어 활성화 프로젝트인 ‘슈퍼개발자K”에도 멘토로 참여하고 있다. 한국의 소프트웨어 슈퍼개발자K인 그의 행보가 기대된다.
