[스크랩] 빅데이터도 꿰어야 보배다! 데이터 분석과 활용을 가장 잘 할 수 있는 방법 (SK C&C 블로그)

원문 : https://blog.naver.com/skaibril/222438123286

 

빅데이터도 꿰어야 보배다! 데이터 분석과 활용을 가장 잘 할 수 있는 방법

 

​

데이터 활용력이 곧 경쟁력인 시대

정보가 곧 힘이 되는 시대를 넘어, 이제는 방대한 빅데이터에서 가치 있는 것들을 골라 어떤 방식으로 어떻게 활용해야 하는지가 중요해졌습니다. 우리도 모르는 사이 우리는 많은 데이터를 남깁니다. 언제 어떤 기기를 통해서 어디에 접속을 하고 얼마나 머물렀는지 흔적을 남기기 마련이죠. 뿐만 아니라 각종 센서기기, IoT를 통한 기계들 간의 의사소통을 통해서도 데이터의 양은 증가하고 있습니다. 아무리 이렇게 수집된 데이터가 많아도 그것들을 제대로 활용할 수 없다면 무의미하겠죠. 이미 금융, 제조 등 일상의 여러 분야에서 다양한 형태로 활용되고 있는 빅데이터, 그 활용성을 극대화하기 위한 노력이 곳곳에서 이어지고 있습니다.

​

여러분의 기업은 빅데이터를 어떻게 수집하고 활용 중이신가요? 많은 기업들은 각종 데이터를 통해 비즈니스의 Value를 극대화하기 위해 빅데이터 프로그램을 도입하거나, 빅데이터 분석가를 활용하는 등 여러 방법으로 데이터 비즈니스와 DT를 진행하고 있는데요. 경쟁력 있는 데이터 활용의 핵심은 뛰어난 성능을 기반으로 대량의 정보를 수집하고 완벽하게 분석이 가능한 기술력이라 할 수 있죠. 또한 데이터 수집, 정제, 분석을 통한 빅데이터 활용은 근래 주목 받는 경영 전략인 전사적 자원 관리, ERP 관리를 위해 꼭 필요한 부분이기도 합니다.

​

​

일상의 곳곳에서 활용되고 있는 빅데이터

빅데이터가 가치 있게 활용된다면 단순한 편의를 넘어 생각 외로 많은 방향으로 삶의 질과 수준을 발전시킬 수 있습니다. 이미 우리 일상에서 여러 사례를 확인해볼 수 있죠.

​

​

우선 공공 분야의 경우 화제였던 케이스가 바로 서울 강동구의 사례입니다. 강동구에서는 지역화폐 사용에 관한 빅데이터를 AI로 분석하며, 이를 통해 지역내 소상공인 지원을 확대하고 맞춤형 지역화폐 활성화 방안을 마련하고 있는 것으로 알려졌죠. 그동안 쌓인 약 220만 건에 달하는 충전 및 결제 데이터를 AI 머신러닝으로 분석해 과학적인 방법으로 주민의 화폐 이용패턴을 도출해내고, 이를 분석해 지역화폐를 발행했을 때 소상공인 지원효과를 비롯해 경제효과가 어느 정도인지 정량적으로 측정하는 것입니다.

​

​

한편, 인공지능 기술이 신속하게 접목되고 있는 의료 분야에서는 첨단 의료 서비스로의 패러다임 전환이 한창 진행되고 있는 중입니다. 누적된 의료 데이터를 AI가 분석하고 학습해 환자에게 직접 맞춤형 진료와 처방을 진행하는 시대가 온 것입니다.

​

그 사례로는 아워랩이라는 헬스케어 스타트업의 케이스를 꼽을 수 있습니다. 아워랩은 서울대병원 등과 함께 다양한 형태의 수면장애 사례를 분석하고 그에 맞는 치료를 진행하기 위한 연구를 진행했는데요. 수면 패턴 조사는 단발적인 검사로 한계가 있는 만큼, 기존의 수면다원검사 1만 건을 30초 단위 이미지로 정제하고 AI 학습용 데이터로 체계화하여 이상 호흡 등을 판독하는 등 빅데이터 기반의 ‘이상 호흡 감지 모델링’을 구축해 지능형 수면 무호흡증 치료기기를 개발했습니다. 나아가 AI 기반의 자동 판독 알고리즘을 통해서 수면 효율을 예측하는 모델까지 개발 가능할 것으로 기대를 모으고 있죠. 또한 환자에 대해 민감한 정보가 많이 다뤄지는 특성상 모든 데이터를 비식별화된 상태로 분석을 가능케 한 점도 포인트입니다.

​

​

빅데이터의 가치를 극대화할 수 있는 활용법은?

이처럼 인공지능 기술은 다양한 산업을 아울러 우리 일상 속에 깊숙하게 스며들었습니다. 여기서 중요한 것은 방대한 빅데이터에 가치를 불어 넣을 수 있는 가장 효율적인 과정은 무엇인가에 대한 고민일 것입니다. 데이터의 가치를 극대화시키고 새로운 비즈니스 인사이트를 발견하기까지, 빅데이터를 제대로 활용할 수 있는 방법과 포인트는 무엇일까요?

​

​

“쉽고 유연한 데이터 통합과 연동으로

자동화 분석 기틀 만들기”

 

우선 일반적으로 많은 데이터를 서로 연동하는 과정에서 존재하는 장벽을 해결해야 합니다. 대용량 데이터를 직접 확인하며 연결하고 처리하는 것은 매우 어려운 일이죠. 예를 들어 금융사업에서는 적게는 수십, 많게는 수백 개의 데이터 소스를 서로 연동해야 하기 때문에 이를 통합하여 분석하기가 매우 어려운 환경입니다.

​

따라서 데이터 조인을 위해 데이터 사이의 유사도를 알아서 파악해 자동으로 쉽게 연결하고, ETL 작업 뿐만 아니라 과정에 필요한 모든 자동화 분석 기능들을 구성하며 Pipeline을 구축해야 합니다. 뛰어난 인공지능 기술을 통해 분석을 위한 다양한 모델을 제시하고, 결과를 예측해 보다 올바른 판단을 도와주는 플랫폼의 도입이 중요한 이유입니다.

​

금융계 뿐만 아니라 유통업계 역시 시장의 즉각적인 변화와 경쟁의 격화에 따라 고객의 디지털 눈높이가 매우 높아졌습니다. 이런 가운데 B백화점의 실제 도입 사례가 주목 받는데, 백화점의 고객을 세분화하고 그에 따른 상품을 추천하면서 수요를 예측하는 등의 분석 주제를 구현하기 위해 AWS 기반으로 AccuInsight+를 도입해 다양한 모델을 신속하게 개발하고 마케팅 서비스에 접목시켰죠. 이를 통해 B백화점은 각 주제에 맞는 분석 모델의 개발/학습/예측 등의 Pipeline을 효율적으로 구성해 운영에 적용했고 매출 증대부터 고객 만족도까지 상승시키는 결과를 맞이했습니다.

​

​

“유연한 모델 관리로 원활한 협업과 공유 촉진시키기”

데이터 분석에 있어 전문가와 비전문가 또는 기존 업무 영역의 경계가 점차 모호해지는 양상이 나타나는 가운데, 데이터 분석 외에 인프라 관리와 같이 고려할 것이 많아졌고 이는 조직 내 협업과 공유가 어려워지는 원인이 됩니다. 그리고 데이터 분석을 위해 생성된 모델 수가 많아질 경우, 이력 및 성능 추적 등의 관리 측면에서도 많은 난관이 발생하죠.

​

따라서 모델의 추론 이력과 함께 필요 시점에 알람을 받을 수 있도록 사용자가 설정할 수 있는 등의 편의성을 토대로, 데이터 자체 추이를 모니터링해 모델의 성능을 지속적으로 추적하고 관리할 수 있는 환경을 마련하는 것이 중요해졌습니다. 즉, 누구나 쉽게 분석툴을 활용하며 효율성을 높이고, 프로젝트별로 공동 워크스페이스를 통해 함께 정보를 공유하고 협업해 신속한 비즈니스 의사결정을 진행할 수 있어야 합니다.

​

국내 제1금융권의 A은행의 사례를 살펴보면, 데이터 과학자뿐만 아니라 현업에서도 자유롭게 데이터를 분석하고 활용할 수 있도록 오픈소스 기반의 분석 환경을 구축하고 플랫폼을 고도화하는 것을 목표로 AccuInsight+ 솔루션을 도입했는데요. 기존의 부서별로 진행되던 분석 환경을 하나로 통합하고, SAS 기반 분석 플랫폼과 연동시켜 전문가부터 비전문가까지 모두 데이터를 쉽게 분석하고 활용할 수 있게 되었습니다.

​

​

“효율적인 자원 사용으로 비용을 절감하기”

이 A은행의 경우 마이데이터 시대의 금융 비즈니스 고도화를 실현한 디지털 금융기업으로 평가받고 있는데요. 특히 여러 분석가들에게 다양한 분석 환경을 독립적 형태로 제공하고 서로 쉽게 공유할 수 있는 AccuInsight+ Modeler를 통해 개발자와 IT 관리자 사이 원활한 협업은 물론 이력 관리가 손쉽게 가능해지는 등 전체적인 프로젝트 프로세스를 보다 효율적으로 진행할 수 있게 되었습니다.

​

또한 AccuInsight+ Tuning을 통해, 분석 모델의 튜닝에도 많은 시간과 노력이 소요되던 이전에 비해 데이터에 대한 머신러닝/딥러닝 자동화(AutoML/DL) 기능이 최적의 머신러닝/딥러닝 모델을 자동으로 탐색하고 튜닝해주었죠.

​

이처럼 다양한 데이터 분석 뿐만 아니라 인프라를 효율적으로 활용해야 하는 것도 중요해진 상황에서, 빅데이터 활용의 전 과정을 위한 인공지능 솔루션의 도입은 자원 사용을 더욱 효율화하여 데이터 활용 과정 전반의 혁신은 물론 운영 비용까지 절감해내는 효과까지 도출한 중요 포인트가 되었다고 볼 수 있습니다.

​

---

​

​

데이터 수집부터 적재/분석/활용까지, 인공지능과 함께하는 Data Science의 시작

데이터 기반 비즈니스 의사 결정을 신속하고 유연하게 진행하는 것이 비즈니스 성공의 열쇠가 되었습니다. 데이터 수집부터 분석까지, 또한 초급부터 고급 데이터 분석가를 지원하는 사양까지 다양한 사용자의 눈높이에 맞춰 활용할 수 있습니다. 데이터 사이언스의 영역 전반을 지원하는 Data / AI 분석 플랫폼과 함께 비즈니스 Value를 극대화해 경쟁력을 갖춰야 합니다. 뛰어난 인공지능 기술을 탑재한 솔루션을 통해 데이터 기반 비즈니스를 성공적으로 시작하시길 바라겠습니다.

 

[출처] 빅데이터도 꿰어야 보배다! 데이터 분석과 활용을 가장 잘 할 수 있는 방법|작성자 AIBRIL