하둡이 필요없어? IDG IT Roadmap 2019 - Digital Transform

안녕하세요. 2019. 10월 23일 양재동 엘타워 그레이스홀을 방문했는데요.

IDG에서 주최하는 컨퍼런스에 다녀와서 간단하게 내용을 리뷰하려고 합니다.
관심 내용이 있으시면 도움이 됐으면합니다.

[ Pleanary1 ] 혁신 기술은 어떻게 차세대 커머스와 새로운 쇼핑 경험을 만들어 내는가
월마트  /디렉터 /정지은 발표자

커머스의 변천사를 보여주고, 월마트가 고민하고 있는 내용에 대해서 간략하게 발표 했습니다.
이커머스가 확산된지도 얼마되지 않았는데, 이커머스의 더욱 발전된 커머스가 나오고 있다고 합니다. 과거에 우유를 신선하게 먹기 위해, 지금도 있긴 하지만....
새벽에 우유를 배달시켜 먹는 서비스가 있는데, 그런것들이 발전하여 쿠팡의 새벽배송이나 이마트 쓱 배송, 마켓컬리 같은 스타트업 커머스 서비스가 최근에 많은 분들이 이용하고 계십니다.
여러가지 문제가 있겠지만, 어쨌든 필요할 때 빠르게, 그리고 신선한 제품을 우유 먹듯이 배달 받을 수 있다고 하니, 점점 더 발전할 전망이라 합니다.

어쨌든, 커머스는 이커머스를 뛰어 넘어 점점 더 새로운 커머스 형태가 나올 것이고, 월마트나 아마존 같이 기존의 틀을 넘어, 생각을 다르게 해보면 그런 시장이 보일 것으로 생각하고 그렇게 고민하고 있다고 합니다.

 

[ Pleanary2 ] 인프라 자동화로 시작하는 디지털 혁신
누타닉스코리아 /이사 /배용일 - 현장 발표자는 같은 회사 다른 분이 었음.

약간 일반적인 얘기와 누타닉스코리아 솔루션을 소개하는 시간이었습니다. 약간 실망함.
어쨋든 인프라 자동화를 위해 먼저 각 이해관계자들의 니즈와 필요를 얘기하고, 그것을 바탕으로 어떻게 구성을 할지 다양하게 접목 시키는 것이 중요하다는 내용을 발표합니다.

 

[ Pleanary3 ] Accelerating Your Cloud native Journey
오라클 /디렉터   /치아 징 루 발표자

머리가 희끗하신 분이었는데, 오라클의 클라우드 방향성을 전달해주었습니다.
오라클은 어쨌든 현재 경쟁상대가 구글 클라우드, 마이크로소프트 애저, 아마존 클라우드 등의 IAAS, PASS, SASS 업체가 저렴한 가격으로 성공적으로 진행하고 있어서, 이런 퍼블릭 클라우드 이용보다는 보다 회사 자체에 집중할 수 있는 프라이빗 클라우드를 적극 추천하는 형태 였습니다.

Cloud native trail map 이라고 cncf.io 사이트를 보면 프라이빗 클라우드를 어떻게 만드는지, 왜 좋은지 등에 대해서 소개하고 있다고 합니다. 아직 저도 확인을 해보진 않았는데 시간될 때 확인해 봐야 할 것 같습니다. 
오라클 리눅스 클라우드 플랫폼 오픈 소스로 예거(jaeger) 컨테이너 서비스를 이용해 구현 가능

 

[ Pleanary4 ] 우리가 경험한 클라우드, 우리가 준비해야 할 클라우드
효성인포메이션시스템   / 수석 컨설턴트    /황비환 발표자

상당히 발표력이 있으신 분 같았습니다. 발표 내용을 모두 작성한 후 전체를 외워서 발표하시는...
그래서 뒤의 장표는 확인하지도 않는.... 모니터링 모니터로 하기는 했겠지만요...

아무튼 이분의 발표 내용은 다양한 퍼블릭 클라우드를 사용하고, 기존의 서버 시스템을 사용하던 업체가 가장 고민해야 할 것이 서로간의 데이터에 대한 마이그레이션 및 관리, 비용등에 대해 현실적인 고민을하고 있는데 이부분에 대해서 어떻게 해야할지가 현재 가장 중요한 업체의 현실이라고 얘기 했습니다. 
현실은 그렇지만 그 내용을 좀 풀어주는 내용이었으면 했는데, 제시만 하시고 발표는 끝났습니다.

 

[ Session 1 ] 성공적인 하이브리드 클라우드 도입을 위한 전략
한국레드햇   / 상무 / 최원영 발표자

이분의 발표 내용은 제가 좀 졸려서 드문 드문 들었어요.
제목 자체는 무엇인가 기대를 하게 만들었는데, 내용은 저를 끌어당기지 못했던것 같습니다.

뭐 어쨌든 이분이 얘기 하고 싶었던 것은
어디에서도 접근이 가능하고, 만족스러운 상호작용, 온디맨드 서비스 등 구축하는 측면에서 유리한 점이 많으니 클라우드로 서비스를 이용하라는 것이고, 클라우드 채택 시 점차 오픈 하이브리드 클라우드 모델을 채택할 것이라는 얘기입니다.

오픈 소스 하이브리드 클라우드는 새로운 기술들의 원천이며, Dev Ops는 208배 더 자주 코드를 재배포할 수 있다는 장점이 있다고 말합니다.

 

[ Session 2 ] ETL to ELT : 최근 5년간의 데이터 분석 파이프라인의 변화
베터먼트   / 시니어 엔지니어링 매니저 / 벤 가비 발표자

이분의 발표는 참 쉽게 설명을 잘해주셨는데, 자신의 아들까지 사진에 동원하여 발표 해주셨습니다.
데이터는 사람의 더많은 정보를 확인할 수 있다는 내용입니다.
Betterment라는 Smart Money Manager 앱 서비스 회사의 시니어 엔지니어링 매니저라 그런지 아들의 생활 패턴이나 용돈 사용등도 그래프로 체크하고 있더라구요.

파이프라인은 많은 정보를 담고 있음

아들의 그래프에서 Teddy Grahams 라는 젤리에 돈을 많이 쓰고 있어서 아들에게 추궁해 보려 했지만 아들은 그 젤리의 이름조차 몰랐습니다. 나중에 알고보니 다른 과자가 teddy Grahams로 잘못 표기되어 있었다고 합니다.
그래서 데이터에서 리포트된 내용이 모두 신뢰할 수 있는 내용은 아니니 그런 점에 유의를 바란다고 했습니다.

Data is More Personal, Data is more Political, Data is Persuasive를 강조했습니다.

그리고 E추출 > T변환 > L적재 보다는 ELT로 변환되어야 한다고 주장했는데요.
기존에는 데이터 분석 시 데이터를 추출하고 추출한 데이터를 변환 후 적재해왔다고 합니다. 데이터의 양을 감당할 수 없어서 그랬을까요?
아무튼 이러한 ETL의 방식이 일반적이 었는데....

앞에서도 아이의 예를 들면서 분석된 정보가 꼭 정답일 순 없기 때문에 나중에 문제가 발생할 수 있다는 것이죠.

그래서 ETL 이 아니라 ELT 로 데이터 분석을 해야 나중에 문제가 발생했을 때 대처할 수 있을것이라고 합니다.
클라우드 > 추출 > 데이터 웨어하우스 > 쿼리 > BI 이런식으로요 (하둡은 이제 필요 없어질것이라고 합니다.)

추출과 적재에 사용되는 퍼블릭 서비스

아마존 s3 는 데이터 lakes 로 활용하면 됨. 비용이 너무 낮음.

transform - 파이썬. qls 등으로 활용 가능

아래 이미지 보시면 큰 박스를 찾는데는 1초도 안걸리는데, 가장 큰 수를 찾을 때는 1초가 넘죠?
bi 는 차트만 볼 수 있으면 되며 가시화해서 결정하는데 꼭 필요하다고 하는데 당연한 얘기지만 어쨌든 데이터의 비쥬얼라이제이션 초능력을 얘기하는 것 같습니다.

가장 높은 수 또는 큰것을 1초안에 찾아 보세요.

 

웨어하우스와 변환에 드는 비용은 반비례합니다.

IT Roadmap Costs

[ Plenary 6 ] Succeeding with Cloud at MAERSK
머스크   / Head, 클라우드 CoE / 라스무스 할드

선박 회사가 디지털 기술 베이스 회사로 거듭나려고하는 과정을 소개하는 내용이었습니다.
많은 비디지털 회사들이 관심을 갖고 들었는데, 상당히 오랜 시간을 투자하고 있다고 합니다.(어떻게 보면 짧을 수도...5년)

디지털화 하는데 수용할 것은 수용하고, 우리가 해야할 것은 우리가 하자는 콘셉으로 기본적인 클라우드나 OS 등은 퍼블릭 클라우드를 이용하여 인력과 비용을 낮추고 그외 어플리케이션이나 서비스 등을 직접 개발하는 PAAS 콘셉트 였습니다.

아래 이미지는 직접 만든 분석 툴 + 비쥬얼라이제이션

머스크의 분석 툴

감사합니다^^