데이터 그리고 온라인 서비스 개인화

개인적으로 관심 있는 분야가 개인화입니다. 개념을 확장해 보면 개인화는 사용자 경험, UX와 연결됩니다. 그런데 이 개인화를 위해서는 데이터를 잘 다루어야 합니다. 물론 많은 데이터뿐 아니라 이 데이터를 가지고 판단할 수 있는 연산, 이 연산을 기억, 검증할 수 있는 컴퓨터 자원이 필수입니다.

 

 

 

개인화와 데이터

 

온라인 서비스 개인화를 위해서는 데이터가 많을수록 더 잘할 수 있습니다. 그런데 개인정보보호의 문제가 발생합니다. 이런 이유로 간접 데이터를 주로 사용하게 되는데, 그러면 데이터는 더 많이 필요합니다.

 

하지만 일정한 임계치를 넘어서면 개인화를 위한 데이터의 양은 급격이 작아집니다. 이유는 기존 데이터를 가공해 구성한 데이터 세트가 존재하기 때문입니다.  

 

데이터 세트가 계를 형성할 때 이후 개인화를 위한 데이터의 필요는 급격이 작아지게 됩니다.

 

(여기서 이번 딥시크 뉴스를 보면서 후발 주자인 딥시크가 어떻게 작은 비용으로 ChatGPT 수준의 AI를 만들 수 있었는가도 이해할 수 있지 않을까 생각합니다. 

물론 다른 팩터도 분명 있었을 것입니다.

개인화는 인공지능(AI)은 아니지만 인간지능(HI)에 대한 알고리즘이기 때문에 이렇게 생각합니다.)

 

 

 

데이터 세트와 링크

 

데이터 세트를 구성할 수 있을 정도로 충분히 많고 의미 있는 양을 확보한 이후 발생하는 데이터는 쉽게 의미를 정의할 수 있게 됩니다.

 

데이터 세트 이후 발생 데이터의 의미는 기존 세트와의 링크에 따라 달라집니다.

 

사실 데이터는 그 자체로는 쓸모가 없습니다. 데이터가 의미를 가지기 위해서는 설명/해석 가능해야 합니다. 그래서 필요한 것이 데이터 세트이고, 데이터 세트를 만들기 위해 빅데이가 필요한 것입니다.

 

가끔 하는 착각 중에 데이터가 많으면 무조건 좋다는 생각을 하는 것입니다. 이는 마치 TV에 나온 집에 쓰레기를 모아 놓는 사람과 비슷합니다. 의미 없는 데이터를 무조건 많이 모아 놓는 것은 유지 비용만 많이 발생시킬 뿐이고, 심지어 나중에 데이터 해석을 어렵게 하기도 합니다.

 

데이터 세트에서 데이터를 더 유용하게 형성한 것이 데이터 계입니다. 데이터 계는 일종의 사고 체계를 의미합니다. 데이터 계를 형성한 상태에서는 발생 데이터가 어떤 게에서 발생했는지만 안다면 성향과 취향, 이후 선택을 매우 높은 확률로 추정할 수 있게 됩니다.

 

물론 이때에도 높은 컴퓨터 자원이 필요합니다. 그래서 AI, 크라우드 등이 필요합니다.

 

 

 

스마트 데이터

 

데이터 이용 효율이 극대화되기 위해서는 데이터에 다양한 정보가 결합되어 있어야 합니다. 이를 맥락 데이터, 상황 데이터라고도 할 수 있겠지만 저는 스마트 데이터라 부릅니다.

 

빅데이터가 많은 데이터라는 의미가 강하다면 스마트 데이터는 쓸모 있는 데이터라는 의미가 강합니다. 양이나 규모와 관련이 없습니다.

 

이 때문에 이 데이터가 어떻게 해석하고 판단할지 쉽게 됩니다.

 

하지만 데이터는 기본적으로 단순 수치 및 현상에 대한 내용입니다. 이는 빅데이터와 스마트 데이터가 같습니다.

 

단순 발생되는 데이터를 빅데이터 분석으로 활용할 것인가, 스마트 데이터 분석으로 활용할 것인가의 차이는 데이터를 모으기 전에 사전 데이터 환경을 정의하는 활동에 있습니다.

 

스마트 데이터는 데이터를 모으기 전에 데이터 발생 환경을 정의하고 구성합니다. 이 또한 다른 의미의 데이터 세트라 할 수  있습니다.

 

(이 또한 딥시크가 짧은 기간은 적은 비용으로 전 세계 AI 시장을 놀라킬 수 있었던 이유는 아닌가 생각합니다.)