04. DT, IT, 빅데이터

 

---

 

Image by rawpixel.com

 

인공지능을 이해하기 위해서는 먼저 빅데이터가 무엇인지를 알아야 하고, 빅데이터를 알기 위해서는 DT(Data Technology, 데이터 기술)를 알아야 합니다. 참고로 DT는 IT(Information Technology, 정보 기술)가 발전한 것입니다.

빅데이터란 기존 데이터베이스 관리 도구로 데이터를 수집하고 저장하여 관리, 분석할 수 있는 역량을 넘어서 ‘대량의 정형 또는 비정형 데이터 세트에서 가치를 추출하고 결과를 분석하는 기술’을 말합니다. 그러나 이러한 정의만으로는 빅데이터를 이해하기가 쉽지 않습니다. 예를 들어, 돈에 대한 정의만 보더라도 ‘돈이란 사물의 가치를 나타내고, 상품 교환의 매개이며, 재산 축적의 대상으로 사용하는 물건’인데, 이 뜻만 본다면 돈이 왜 중요한지, 왜 돈을 모으라는 건지 알 수 없죠.

빅데이터를 판단하여 분석하는 일은 사람보다 인공지능이 더 효율적입니다. 이유는 크게 두 가지입니다. 첫째, 사람의 판단으로 처리하기에는 빅데이터의 양이 너무 많습니다. 둘째, 인간의 논리로 빅데이터를 해석하면 전체 데이터 중 일부는 깔끔하게 해석되지만, 일부는 그렇지 않을 수 있습니다. 인간이 인포메이션을 선별한다면, 염두에 둔 논리와 관련한 데이터는 인포메이션으로 선별되고, 그렇지 않은 데이터는 인포메이션이 아닌 것으로 선별될 것입니다.

또한, 인포메이션 안에 의미 있는 메시지나 패턴이 들어 있다면 기존의 IT로 충분하지만, 인포메이션이 아닌 데이터 안에 의미 있는 메시지나 패턴이 있는 경우라면 이야기가 달라집니다. 알파고가 이세돌 9단을 이길 수 있었던 이유는 인간의 논리로 생각할 수 있는 바둑의 정석에서 벗어난 수를 두었기 때문입니다. 알파고가 둔 수가 바로 인포메이션이 아닌 데이터에 위치한 패턴이었던 거죠.

1990년대부터 2000년대 초반까지 인터넷 검색 포털 서비스의 전 세계 1위 업체는 야후(Yahoo)였습니다. 당시 야후의 첫 화면에는 정치, 경제, 스포츠, 문화 등의 분야로 분류되어 있었고, 이는 다시 세분화되었습니다. 영화 관련 정보를 검색하려면 문화 분야를 클릭한 뒤 다시 영화를 선택해 검색어를 입력해야 했죠. 여기에 제공된 정보는 모두 분야별로 전문성이 있는 직원이 선별한 정보였습니다. 전문가가 선별한 인포메이션이므로 완성도가 높았습니다. 반면, 구글(Google)은 1996년부터 랭킹 시스템(ranking system)이라는 인공지능을 기반으로 한 검색 결과를 제공합니다. 인터넷에 존재하는 전체 데이터 중에서 사람들이 많이 조회하고 순 위가 높은 정보들을 검색 결과 페이지의 상단에 배치한 것입니다. 야후처럼 전문가에 의해서 걸러진 정보가 아니라 단순히 조회 수가 높은 정보, 링크가 많이 걸린 정보가 검색되어 조악한 결과가 많았습니다. 그러나 결과는 우리가 아는 대로, 구글이 승리했습니다. 구글에 검색해 결과가 나오지 않으면, 그 정보는 인터넷에는 존재하지 않는 정보라고 가정해도 틀리지 않는다는 인식이 시장에 퍼지며 구글이 최종 승자가 된 것입니다. 20년 전, 야후가 IT를 다루는 동안 구글은 DT를 다루었다고 볼 수 있습니다. 구글의 기술이 야후를 앞섰다기보다는 구글의 통찰력이 야후를 앞섰기에 나타난 결과입니다.

3차 산업혁명의 기반 기술인 IT는 인간이 선별한 인포메이션에서만 결과를 도출한다면, 4차 산업혁명의 기반 기술인 DT는 전체 데이터를 인공지능으로 분석하여 결과를 도출합니다. 그로 인해 사람이 놓쳤던 패턴이나 메시지를 놓치지 않을 확률이 조금 더 커졌습니다.

IT는 인간의 사고력을 중심으로 인포메이션을 처리한다면, DT는 인간의 사고력에 대한 믿음을 내려놓고 올데이터에서 패턴이나 메시지를 매직아이처럼 떠올리는 기술입니다. 인간의 사고력 안에서 답을 찾는 게 아니라, 올데이터 안에서 답이 나타나도록 하는 방식이므로 ‘데이터 드리븐(Data-Driven)’이라는 표현을 쓰기도 합니다. DT의 두 가지 핵심 기술이 바로 빅데이터와 인공지능입니다.