서비스 가치 향상을 위한 AI 그리고 데이터 구조화

요즘은 AI 활용에 대한 이슈가 IT 산업에 주요 이슈가 되었습니다. 현재 베스핀글로벌에서 프리랜서를 하고 있다 보니 더 크게 느껴지는 듯합니다. 이에 따라 과거 창업에서 개인화와 이를 위한 오픈소스 기계학습 프리딕션 IO를 어떻게 하면 이에 활용할 수 있을까 고민하던 시절이 다시 생각납니다. 그리고 이때 했던 데이터 구조화에 대한 생각이 떠올라집니다.

 

 

 

서비스에서 데이터 구조화 개념

 

저는 개발자는 아니므로 데이터 구조화를 개발이나 IT DB 측면에서 생각을 시작한 것은 아닙니다.

 

어떻게 하면 사용자를 더 많이 웹/앱 서비스를 이용하게 할지, 어떻게 하면 온라인 서비스 수익성을 높일 수 있을지에 대한 고민에서 데이터 구조화에 대한 생각을 시작하였습니다.

 

그러므로 데이터 구조화는 일상에서 경험하였던 많은 요소들에서 영감을 받았습니다.

 

가장 기본이 되는 데이터 구조화에 대한 영감은 도서관에서 경험하였습니다.

• 도서관 책 구분

 도서관에 가서 책을 찾으려 하면 문학, 사회 과학, 자연 과학, 공학, 역사 등의 구분이 되어 있는 것을 확인할 수 있습니다. 만약 자기 계발에 대한 책을 보고 싶다면 사회 과학 영역에서 책을 찾을 것입니다. 

물론 공학적 지식이 자기 계발에 도움이 되는 사람도 있을 수는 있지만 일반적으로 자기 계발하면 사회 과학 서적을 의미합니다.

 

그러나 앱 개발에 대한 책을 찾고 있다면 공학 영역에서 책을 찾을 것입니다.

 

이러한 구분은 제가 창업한 온라인 서비스의 개인화를 위한 데이터 구조화의 매우 중요한 아이디어가 되었습니다. 그렇다고 이것만으로는 아이디어를 개인화 서비스로 구체화하기에는 한계가 있는 것도 사실입니다.

 

그러기에 일상에서 기업들의 판매 사이트에서 상품 구분을 참고하였습니다.

• 커머스 사이트 상품 구분

일상에서 많이 사용하는 커머스 분야인 식품, 패션, 화장품 등의 상품 구분을 보면 데이터 구조화의 힌트를 얻을 수 있습니다.

 

상품은 과일, 야채, 고기, 밀키드, 과자, 음료 등의 구분으로 상품을 배치합니다. 그러기에 수 만 가지 상품 중에서도 구매하기를 원하는 상품을 쉽게 찾을 수 있습니다.

 

패션의 경우 남성 의류, 여성 의류, 상의, 하의뿐 아니라 겨울, 여름 등 계절에 따라서도 구분을 하여 두었습니다. 이를 통해 구매자는 온라인 커머스 사이트에서 빠르게 원하는 상품을 찾아 구매할 수 있습니다.

 

특히 모바일 커머스 시대가 되면서 사용자가 이용하는 디바이스 윈도우 크기가 과거 PC보다 현저히 작아졌으므로 이러한 데이터 구조화의 수준은 편리성, 그러니까 UX를 결정하는 중요한 요소가 되기도 합니다.

 

그런데 요즘 쿠팡과 같은 커머스 서비스를 보면 과거처럼 카테고리를 통해 상품을 찾는 빈도는 그리 크지 않은 것을 느낄 수 있습니다. 그러므로 상품(데이터) 구조화가 상대적으로 과거보다 중요도가 낮아진 것은 아닌가 생각할 수 있습니다. 

 

그러나 이는 상품(데이터) 구조화를 바탕으로 개인화 또는 추천이 이루어진 결과입니다. 과거처럼 상품(데이터) 구조화가 전면에 나타나 있지 않은 것일 뿐 바탕은 데이터 구조화가 있습니다.

 

이는 사람의 인지 스키마를 통해 이해할 수 있습니다.

• 인지 스키마 

회의를 하고 내용을 정리하다 보면, 같은 회의실에서 같은 회의를 했는데 서로 다르게 이해를 하고 있는 경우를 보게 됩니다. 

 

이런 현상이 일어나는 것은 사람의 인지 스키마가 다르기 때문입니다.

인지 스키마는 같은 일상에서 단어에 대해서도 다른 느낌과 기억이 떠올리게 하고, 이는 다시 관련 기억으로 저장되는 과정을 통해 알 수 있습니다.

 

장미(자극 데이터)라는 단어가 주어졌다고 가정합니다.

A는 장미 꽃다발을 선물하면서 프러포즈했다가 거절당한 깊은 상처가 있습니다. 이 사람에게 장미(자극 데이터)라는 단어는 아픔과 상처를 떠올리게 하는 매개가 됩니다.

B는 과거 데이트를 할 때 매번 장미를 한송이를 선물 받고 즐거운 데이터를 했었습니다. 이 사람에게 장미(자극 데이터)라는 단어는 행복과 즐거움을 떠올리게 하는 것이 됩니다.

 

위에서 같은 장미가 서로 다른 결과의 기억을 추출하는 것을 알 수 있습니다. 이를 데이터 구조화 또는 데이터 세트라 할 수 있고, 인지적 관점에서 인지 스키마라고도 할 수 있습니다.

 

쿠팡이나 넷플릭스 같은 서비스 회사가 카테고리도 가지고 있지만 메인 페이지는 특정 상품이나 콘텐츠를 노출하는 것이 바로 데이터 구조화를 바탕으로 사용지 인지 스키마를 바탕으로 개인화를 시도한 것으로 볼 수 있습니다.

 

여기에서 우리는 기획적으로 하나의 개념적 데이터의 구조화가 단수로 존재하지 않는다는 것을 알 수 있습니다.

 

이를 복합적 데이터 구조화라고 하고, 일반적인 IT에서 ERD 등에서 설계하는 데이터 구조화와는 다른 서비스 데이터 구조화라고 할 수 있습니다.   

 

그리고 이러한 개념은 제가 과거 프리딕션 IO를 학습하여 활용하기 위한 데이터 구조화 및 개인화 알고리즘 방식의 기본적 개념 사상이었기도 합니다.

 

 

 

서비스 가치 향상을 위한 복합적 데이터 구조화 필요성

 

앱 서비스, 웹 서비스 등 온라인 서비스를 제공하려는 이유는 더 많은 사용자가 더 자주 이용하게 하여 수익을 올리기 위함입니다. 이를 위해서는 사용자 가치가 높아야 합니다.

 

이를 UX라 할 수도 있고, 좋은 상품이 많거나 볼 콘텐츠가 많다고 부를 수도 있습니다.

 

그러나 서비스를 운영/관리하면서 사용자 관계 관리를 하다 보면 이런 말들이 얼마나 추상적인 것인지 알게 됩니다. 그 이유는 복합적 데이터 구조화를 통해 알 수 있습니다. 

 

이는 다시 복합적 구조화를 통해 UX, 사용자 경험을 향상할 수 있다는 말이 됩니다. 사용자 입장에서 더 이용할 만한 서비스로 만들 수 있음을 의미합니다.

 

이 복합적 데이터 구조화의 기본적인 개념에 대해 알아보고, 이를 통해 필요성을 생각해 보겠습니다.

 

• 개념적 데이터 구조

기초적인 대상과 대상에 대한 데이터 구조를 의미합니다. 앱이나 웹 개발 시 ERD를 구성하거나 제품, 콘텐츠를 정의하는 것을 의미합니다.

예를 들어 남성 스킨, 여성 토너, 크림, 에센스 등의 상품 구분을 통해 데이터를 형성하는 것을 의미합니다.

 

• 인지 데이터 구조

사용자가 정보를 접했을 때 처리되는 인지 시스템과 연관된 데이터 구조를 의미합니다. 사용자 관점에서 서비스의 개념적 데이터 구조는 외부 시스템에서 제공하는 체계적 외적 자극에 해당합니다. 이 자극을 판단하는 것은 개인적인 취향이나 경험, 지적 능력 등 다양한 요소에 따라 다를 수 있습니다.

인지 데이터 구조는 활성화와 인출 등의 영향에 따라 달라지기도 합니다. 그러므로 네트워크 데이터에 대한 이해가 필요합니다. 개념적 데이터와 다르게 동적 데이터 구조를 가지기 때문입니다.

 

• 네트워크 데이터 구조

네트워크 데이터 구조를 이해하기 위해서는 우리가 일상에서 많이 사용하는 앱 서비스인 SNS를 생각해 보면 좋습니다.

 

예를 들어 인스타그램에서 좋아요를 많이 받기 위한 노력, 팔로워를 늘리기 위해 했던 것들을 떠올리면서, 왜 이런 활동을 했는가를 생각해 보면 이 네트워크 데이터 구조를 이해하게 됩니다.

 

네트워크 데이터는 노드와 각 노드를 연결하는 링크로 구성되어 있고, 특정 상황에서 자극되는 개별 노드가 활성화되면서 근처 노에 영향을 미치는 알고리즘을 생각하면 쉽게 알 수 있습니다. 이때 링크의 작용이 중요합니다.

이는 우리가 일상에서 관계를 맺고, 이 관계가 영향을 주고받는 것에서도 알 수 있습니다. 그리고 소문이 확산되고 신뢰를 형성하는 과정을 통해서도 알 수 있습니다.

 

네트워크 데이터의 작용은 인지 데이터 구조와 개념적 데이터 구조에도 영향을 미칩니다. 그래서 미국과 유럽 각국이 SNS를 제재하려고 하는 것입니다.

 

이 데이터 구조들을 연결하여 구조화한 것을 복합적 데이터 구조의 기본 개념이라 할 수 있습니다.

 

복합적 데이터 구조 세트를 다시 여러 개 연결한 데이터 구조를 바탕으로 AI를 활용하기도 하고 개인화 알고리즘을 강화하기도 합니다.

 

서비스 기획 입장에서 AI는 더 많은 사용자와 이용 시간을 통해 수익을 올리기 위한 도구입니다. 같은 상황, 같은 기본 데이터라도 AI 학습을 통해 더 나은 개인화가 형성될 수 있도록 하는 것입니다.

 

바로 이러한 과정에서 기본 데이터 세트는 여러 파생 데이터 세트를 형성하고 , 이는 다시 연결되어 복합적 데이터 세트를 형성하게 됩니다.    

 

 

 

AI 학습과 데이터 구조화

 

마지막으로 생각해 볼 것은 AI 학습에서의 데이터 구조화가 왜 중요한지입니다.

 

이는 AI가 인공 지능이므로 사람의 학습에 대한 생각을 통해 이해될 수 있을 것입니다.

 

먼저 우리가 초등학교, 중학교, 고등학교, 대학교 과정을 거치면서 무언가를 배우는 과정에서 가장 처음 했던 일들을 떠올려 보겠습니다. 제 기억으로는 개념과 정의를 가장 먼저 배우고 이해하고, 암기했던 것 같습니다. 실제로 지금도 그러고 있기는 합니다. 

 

그것이 덧셈이 되었던, 곱셉이 되었던, 미분이 되었던 저는 처음에 개념과 정의를 먼저 배운 것으로 기억합니다.

 

이렇게 개념과 정의를 배우는 것이 바로 그 학문에 대한 데이터 구조화의 시작이라 할 수  있습니다. 이후 응용은 바로 이 처음 시기 개념과 정의를 어떻게 했느냐에 따라 발전 및 확산 정도가 달라지게 됩니다.

 

AI에서도 이 현상은 비슷하게 나타납니다.

과거 마이크로소프트(MS) AI 챗봇 테이 오류 사건에서도 학습 데이터의 정확도 및 구조화가 얼마나 중요한지 알 수 있습니다.

이뿐 아니라 같은 AI를 사용함에도 다른 결과를 내는 케이스를 통해, 프롬프트 엔지니어링이 중요시되는 이유 등에서도 데이터 구조화의 중요성은 나타나고 있습니다.

 

믈론 각 케이스의 데이터 구조화가 이 글에서 다루는 서비스 가치 향상이라는 개념과는 조금 다를 수는 있습니다.

그러나 온라인 서비스 디벨롭뿐 아니라 제공받는 AI 서비스의 품질이라는 측면의 서비스에서도 정확하고 명확한 데이터 구조화의 중요성은 간과될 없습니다.