빅데이터는 이름에서 알 수 있듯이 방대한 양의 데이터를 의미합니다. 조금 더 정확하게 얘기하면, 기존의 데이터 처리 방식으로는 소화할 수 없을 정도로 복잡하고 규모가 큰 데이터 세트를 의미하죠.
빅데이터는 거대한 규모뿐만 아니라 빠른 속도와 높은 다양성이라는 특징도 갖고 있습니다. 각각을 세부적으로 얘기하면, 볼륨은 말 그대로 데이터의 크기와 양입니다. 정확하게 어느 정도의 규모가 되어야 빅데이터라 부를 수 있는지 정의할 수는 없지만, 사람의 손으로 하나씩 검토하기 어려운 수준의 규모라면 빅데이터로 분리할 수 있습니다.
속도는 방대한 데이터를 얼마나 빨리 수신하고, 처리하고, 계산하고, 추세를 파악할 수 있느냐는 것입니다. 빠른 계산을 위한 인프라를 구축해둔 곳이라면, 데이터를 저장 장치에 보관하기 전에 실시간으로 처리하는 것도 가능합니다.
종류는 사용할 수 있는 데이터의 유형을 뜻합니다. 기존에는 관계형 데이터베이스를 중점적으로 취급했다면, 빅데이터는 비정형 유형의 데이터를 의미합니다. 텍스트나 오디오, 비디오처럼 반 정형 데이터 유형에서 의미를 찾고, 추가적인 전처리를 해주어야 합니다.
그렇다면 어느 순간 익숙한 단어가 되어버린 빅데이터는 실무에서 활용되고 있을까요? 당연히 활용되고 있습니다. 이번 글에서는 실제로 어떻게 활용되고 있는지, 앞으로 어떤 방향으로 발전할 것인지 토론해 보고자 합니다.
제조업에서 활용
제조업 분야에서는 MES, CMMS, ERP처럼 다양한 유형의 데이터를 다루고 있습니다. 그래서 기존 데이터 처리 방식으로는 공장 가동 현황을 실시간으로 분석하고 문제를 파악하는 것이 불편했습니다. 그래서 많은 제조업 기업은 빅데이터를 활용해 데이터 통합을 이루고 관리하기 시작했습니다.
예컨대 계획한 목적과 실제 실적의 괴리를 빠르게 분석하여, 다음 목적을 수월하게 달성하기 위한 목적으로 빅데이터를 활용할 수 있습니다. 아니면 제조 공장에서 공장 전체의 제정 상황을 분석하고, 라인별 설비가 어떻게 가동되는 중인지, 가동되는 라인 중에서 효율이 떨어지거나 고장이 많아서 정지하는 상황이 많은 라인은 무엇인지 실시간으로 파악하거나, 사전에 문제가 될 소지를 파악하여 조치를 취할 수 있습니다. 물론 무선 측정 장비와 바코드 등을 활용해서 원자재 조달 과정부터 생산과 소비, 사용 후 폐기까지 만드는 상품에 대한 모든 과정을 추적하고, 개선할 부분을 찾아내는 것 역시 가능합니다.
의료 분야에서 활용
의료 분야에서 IT 기술 반영이 느리다는 편견을 가진 경우가 있습니다. 하지만 의료 분야에서는 비구조화 데이터가 방대하게 쌓이기 때문에 이런 데이터를 처리하기 위해 새로운 IT 기술이 적극적으로 반영되고 있습니다. 물론 빅데이터를 활용해서 의료 정보를 처리하는 경우도 많습니다.
가장 대표적인 활용 사례는 크게 유행하는 질병을 분석하는 것입니다. 유행할 가능성이 있는 질병을 미리 예측하고, 퍼지기 전에 전파를 막을 수 있는 전략을 구성한다거나, 이미 많은 환자가 발생한 경우 앞으로의 진행 상황을 미리 예측하고 피해를 줄이는 데 사용할 수 있습니다.
그리고 멀지 않은 미래에는 환자 개개인을 진단하고, 개인 특성을 분석하고, 특성에 맞는 질병 치료법을 제시하는 것에도 빅데이터가 활용될 수 있을 것으로 예상됩니다.
금융업에서 활용
금융 분야에서는 오래전부터 빅데이터를 실무에 활용하고 있습니다. 현금의 흐름과 개인의 재무 관리 모두 빅데이터를 활용하면 효율을 비약적으로 높이는 것이 가능합니다.
애플리케이션을 활용해서 개인 재무를 AI로 분석하는 것 역시 빅데이터 활용의 한 가지 방식이라 할 수 있습니다. AI를 통해 개인 재무 상황을 분석하면 직원이 1:1 방식으로 재무를 분석하고 판단하는 것보다 비용이 절감될 뿐만 아니라 데이터 처리 속도도 훨씬 빠릅니다. 덕분에 고객은 개인 상황에 맞는 서비스를 알아보고 선택할 수 있습니다. 개인 재무를 꼼꼼하게 관리하는 기업은 그만큼 시장 경쟁성도 확보할 수 있습니다.
소매업에서 활용
반드시 큰 규모의 회사에서만 빅데이터를 활용할 수 있는 것은 아닙니다. 빅데이터는 소매업에서 활용되기도 합니다. 시장의 규모와 패턴을 찾고, 고객이 어떤 쪽에 관심을 많이 두는지 분석할 때 요긴할 수 있습니다.
실시간으로 변화하는 시장 상황을 다양한 데이터를 기반으로 빠르게 분석하고, 미리 파악해둔 패턴을 통해 미래를 예측할 수 있습니다. 그리고 고객에게 제공하고 있는 서비스나 제품에 대한 고객 만족도를 빠르게 파악할 수 있고, 새로운 제품을 개발하고 개발한 제품을 시장에 론칭하는 시기도 정확하게 파악할 수 있습니다.
같은 맥락으로 히트한 상품이 있다면, 판매 데이터와 고객 성향 등을 종합적으로 분석하고, 해당 상품이 성공한 이유를 분석할 수도 있습니다. 시장에서 큰 관심을 받은 제품이 왜 성공할 수 있었는지 판단할 수 있다면, 다음에도 히트할 상품을 공개할 확률이 높아집니다.
EC 업계에서 활용
EC 사이트는 온라인 환경에서 고객에서 서비스와 제품을 판매합니다. 즉, 다른 방식의 사업보다 비교적 수월하게 데이터 수집이 가능합니다. 그래서 취급하는 데이터 양도 상당합니다. 사람이 처리할 수 없는 빅데이터는 AI를 활용해서 분석하고, 그 안에서 패턴, 법칙 등을 파악한 뒤 경쟁 우위를 차지하는 데 도움을 받을 수 있습니다.
EC 업계에서 빅데이터를 활용할 수 있는 한 가지 방식은 고객의 구매 패턴을 파악하고, 동시에 제작하는 제품의 원가를 정확하게 분석한 뒤 고객의 마음을 움직이면서 이윤을 남길 수 있는 최적의 가격 정책을 찾아가는 것입니다.
교육업에서 빅데이터 활용
학생의 학습 이력이나 학습 과정에서 보이는 행동 이력 등을 수집해서 빅데이터를 구성하는 것도 가능합니다. 그리고 학생의 성향을 몇 가지 카테고리로 분류하고, 각 카테고리에 맞는 최적의 커리큘럼을 제시하는 것이 가능합니다. 개인 역량에 맞는 커리큘럼을 통해 학생은 성적을 효율적으로 높일 수 있습니다.
실제로 여러 나라의 대학교에서 빅데이터를 활용해 개개인의 학습 성과를 높이는 데 도움을 받고 있습니다.
개인 학습 역량을 분석하는 것 외에도 학생 개개인의 성격, 취향, 장단점, 취미 등을 분석하고, 학생에게 적합한 교육 목표를 제시하거나 직업을 제시하는 것도 가능합니다.
여행업에서 활용
여행업에서 빅데이터가 활용될 일은 없을 것 같지만 그렇지 않습니다. 고객의 여행 취향, 재무 상황, 직업, 여유 시간, 여행 목적 등을 분석하고, 그에 따라 최적화된 여행 경로를 제시할 때 빅데이터를 활용할 수 있습니다. 더불어 고객이 여행하는 동안 불편한 부분이 없도록 여행하고자 하는 현지의 날씨 정보, 이용하기 편한 교통 정보, 지리적인 특성을 고려한 준비물을 제시하며 고객 만족도를 높이는 것도 가능합니다.
같은 맥락으로 여행에 관심은 있지만, 떠날 결심을 하지 않은 잠재적인 고객에게는 최근 유행하는 여행 목적지와 고객 성향을 동시에 고려한 최적의 여행 목적지 및 경로를 제시하는 것으로 고객이 여행할 수 있도록 보조할 수 있습니다.
농업에서 활용
물론 농업에서 빅데이터를 활용하는 것도 가능합니다. IT 기술이 충분히 발전하지 않은 시대에서 농업은 농부의 경험과 직감에 의존하는 경향이 있었습니다. 때문에 예측할 수 없는 상황으로 1년 농사를 망치는 경우도 허다했습니다.
하지만 빅데이터를 활용하면 상황이 달라집니다. 식물의 생장 환경, 예상되는 기후, 활용할 수 있는 농업 기술, 고용 시장 상황, 생산 현장의 실시간 변화를 통합적으로 관리하고 분석해서 최대한의 수확물을 생산할 수 있습니다.
예를 들어서 기온 일조량 우량 농작 데이터를 분석하면 농업을 진행하기 위한 계획을 철저하게 새울 수 있고, 수확하고 출하하는 모든 과정을 사전에 예측할 수 있습니다. 빅데이터의 특징은 데이터가 많아질수록 분석 정확도가 높아진다는 것입니다. 그렇기 때문에 빅데이터를 활용하는 농업 규모가 커질수록 생산량은 비약적으로 증가할 수 있습니다.
음식업에서 활용
음식업은 경쟁이 치열합니다. 국내 요식업 창업자 수는 500만에 이릅니다. 5천만 인구에서 500만이 요식업에 종사하고 있다는 것은 어느 나라에서도 찾아볼 수 없는 많은 숫자입니다. 이런 치열한 경쟁에서 살아남기 위해서는 남들보다 뛰어난 음식과 올바른 전략을 구성해야 합니다.
때문에 빅데이터는 음식업에서 요긴하게 활용할 수 있습니다. 메뉴별 경영 전략, 방문객 수 예상, 재방문 고객 수 분석, 재방문 하는 고객 특성, 판촉 활동별 효과 분석을 통해서 매출을 높이는 것이 가능합니다.
빅데이터가 있으면 마케팅 효율을 높이는 것도 가능합니다. 김치말이 국수가 잘 팔릴 수 있는 지역을 분석하고 선점한 뒤에 해당 지역에서 매출이 높아질 수 있는 연령대, 성별, 시간 등을 분석해서 최적화된 마케팅을 진행하는 것이 가능합니다.
그리고 운영에서 도움을 받을 수 있습니다. 요리에 필요한 재료를 수급하기 위한 루트, 중요한 재료가 원가를 크게 비싸게 만들 경우 대체할 수 있는 식재료 종류, 식재료 변경에 따른 고객의 평가 변화 등을 사전에 파악하고 대응하는 것이 가능합니다.
빅데이터의 장점
이렇게 빅데이터는 이미 다양한 분야에서 적극적으로 활용하고 있습니다. 데이터는 점점 더 많이 누적될 것이고, 그만큼 현재 상황을 정확하게 파악하고, 패턴을 분석하는 것이 가능합니다. 패턴을 분석하면 미래 예측 확률도 당연히 높아집니다.
비즈니스를 진행하면서 문제가 찾아왔을 때 빠르게 해결책을 구상하는 것도 가능하며, 큰 틀에서 보면 삶의 질을 높이는 것에도 도움을 줄 수 있습니다. 우리는 빅데이터가 누적되고 분석하는 AI 기술이 발전할수록 편하게 원하는 작업을 진행할 수 있습니다.