성수동 힙스터의 스타트업 이야기

일본 써브웨이에는 말하지 않아도 내 맘을 알아주는 AI가 있다? 본문

Ⅰ. 스타트업·비즈니스 트렌드/일본 시장 정보

일본 써브웨이에는 말하지 않아도 내 맘을 알아주는 AI가 있다?

성수동 힙스터 2021. 9. 29. 23:40
반응형

일본 써브웨이에는 말하지 않아도 내 맘을 알아주는 AI가 있다?

써브웨이 재팬 시부야 사쿠라가오카점 (사진 출처 : prtimes.jp)


지난 8월, 일본 써브웨이(Subway Japan)에서 인공지능(AI)을 활용한 샌드위치 주문 실증 실험을 진행해 일본 내에서 큰 화제를 모았다.

세계적인 샌드위치 프랜차이즈 기업 써브웨이는 고객의 취향에 맞는 커스터마이징 샌드위치를 제공한다는 콘셉트로 전 세계 고객으로부터 꾸준히 사랑받아온 브랜드다. 이미 잘 알고 있겠지만 써브웨이에 가면 여러 종류의 샌드위치 중 내가 원하는 메뉴를 하나를 선택하고, 빵, 토핑, 야채, 드레싱, 소스 등을 종류별로 개인 취향에 따라 고를 수 있다. 이 모든 선택지의 경우의 수를 고려하면 무려 3,700만 종류의 조합이 가능하다.

선택의 폭이 넓다는 점이 고객 입장에선 기쁠 수 있겠지만, 딱히 기호가 없는 고객이라면 너무 많은 선택지가 오히려 부담스럽게 느껴질 수도 있다. 일단 써브웨이에 가면 다른 음식점에서 주문을 할 때보다 말을 '많이' 해야 하므로 그걸 번거롭게 여기는 분들도 의외로 많다. 써브웨이의 커스터마이징 주문 시스템에 익숙지 않아 어려움을 호소하시는 어르신 분들도 자주 목격된다. 필자도 퇴근길 저녁 지친 몸을 이끌고 써브웨이에 들릴 때면 '그냥 말하지 않아도 알아서 척척 내 취향에 맞게 만들어줬으면 좋겠다' 는 생각이 들 때가 종종 있다.

그런데 이런 생각하는 사람들이 일본에도 꽤 있는 모양이다. 실제로 지난 8월 일본 써브웨이는 '말하지 않아도 고객이 원하는 메뉴를 추천해주는' AI 실증실험을 진행해 시장의 주목을 받았다. AI가 사람의 마음을 어떻게 읽는다는 걸까? SF 소설에나 나올법한 이 이야기의 진상에 대해 알아보자.

< 목 차 >

1. 일본 써브웨이의 AI 실증 실험

2. AI 감정 인식 기술에 대한 궁금증

3. 향후 전망 및 개인적인 생각

1. 일본 써브웨이의 AI 실증 실험


지난 2021년 8월 2일~6일 동안 써브웨이 재팬(Subway Japan)과 일본 오키전기공업(이하 OKI)은 써브웨이의 주문 시스템에 인공지능(AI)을 도입하는 실증 실험을 진행했다. OKI는 1881년에 설립돼 무려 130년 이상의 역사를 자랑하는 일본의 통신기기 메이커로, ATM기, 발권기 등의 정보/전자 기계를 제조하는 회사다.

OKI가 써브웨이에 도입한 기술은 AI가 주문 고객의 표정과 시선을 읽고, 고객이 흥미를 가지는 메뉴를 추정해 추천 메뉴를 제안하는 'AI 제안형 주문 시스템'이다. 말 그대로 '말하지 않아도 내가 원하는 메뉴를 알아서 척척 추천해주는' AI인 것이다.

이번 실증 실험에 도입된 주문 키오스크는 상단에 표정 인식용 카메라, 하단에 시선의 움직임을 인식하는 시선 센서가 부착되어 있어 카메라와 센서로 고객의 표정과 시선 데이터를 수집한다. 수집한 데이터를 토대로 OKI의 독자적인 알고리즘을 거쳐 AI가 고객의 흥미와 관심도가 높다고 판단한 샌드위치 메뉴를 고객에게 추천한다.

자료 출처 : OKI 자료 토대로 필자 번역


AI 제안형 주문 시스템의 구체적인 사용 방법은 다음과 같다.


< AI 제안형 주문 시스템 사용 방법 >

1) 먼저 주문 키오스크의 메뉴 선택 화면 상에 표시된 샌드위치 메뉴를 편안하게 주시한다. 총 20 종류의 메뉴가 있으며, 한 화면에는 여섯 종류의 메뉴가 나타난다. 아무것도 건드리지 않아도 자동으로 다음 페이지로 넘어가면서 전체 20종류의 메뉴를 다 보여주므로 걱정하지 않아도 된다.

2) 메뉴를 가만히 쳐다보고 있으면 귀여운 AI 점원이 주문자의 시선표정을 추적한다. 아래 사진의 하늘색 윤곽선이 바로 주문자의 시선과 표정이 향하는 곳이다.

(사진 출처 : https://www.fnn.jp/articles/-/221236)

3) 귀여운 AI 점원은 메뉴 중에 주문자가 '가장 긴 시간 동안 쳐다보고' & '긍정적인 표정'으로 주시한 메뉴를 '가장 관심도가 높은' 상품으로 판단하고, 가장 관심도가 높았던 메뉴 상위 3 품목을 고객에게 제안한다.

(사진 출처 : https://www.fnn.jp/articles/-/221236)

4) 마지막으로 추천 메뉴 3개 중 주문자가 가장 먹고 싶은 메뉴를 선택하고, 주문표를 발권하면 주문이 완료된다. 만약 추천 메뉴 중 마음에 드는 메뉴가 없다면 되돌아가서 다시 주문하기도 가능하다.

2. AI 감정 인식 기술에 대한 궁금증


AI 기술의 발달이 벌써 사람의 감정을 읽는 수준까지 발달했다는 말인가? 아직 100% 믿기지는 않지만 신박하긴 하다. 여기서 가장 신경 쓰이는 점은 도대체 AI가 사람의 표정과 시선만으로 어떻게 '관심도'와 '흥미'를 측정할 수 있는가이다. 이 신박한 기술의 원리에 대해 가장 궁금한 점을 크게 3가지로 정리해봤다.



#의문 1.
예를 들어, 긴 시간 동안 특정 메뉴를 주시하긴 했지만 단지 상품 설명을 읽는데 시간이 오래 걸려서 그런 것일 뿐, 딱히 먹고 싶다는 생각이 들지 않은 메뉴라면 AI는 이걸 어떻게 분간해낼까?

OKI에 따르면, 사람의 시선표정, 이 두 종류의 데이터를 조합함으로써 '실제로 흥미를 보인 메뉴'와 '그냥 상품 설명만 읽었을 뿐 딱히 관심은 없는 메뉴'를 구별해낼 수 있다고 한다. 예를 들자면, 상품을 쳐다보는 시간은 길었지만, '긍정적인 표정'이 검출되지 않은 상품은 후자의 '설명만 읽었을 뿐 관심 없는 메뉴'로 판단한다.

#의문 2. 그럼 '긍정적인 표정'의 기준은 도대체 무엇일까?

여기서 말하는 '긍정적인 표정'이란 OKI가 독자적으로 정의한 표정 카테고리로, 「웃는 얼굴에 가까운 뉘앙스를 풍기지만 대놓고 입가가 올라가지는 않는, 무언가 먹고 싶다고 느낄 때 짓는 미묘한 표정 」이라고 OKI 측은 설명한다.

#의문 3. 그렇다면 AI는 이 '복잡 미묘'한 긍정적인 표정을 어떻게 학습한 걸까?

OKI에 의하면, 일본인의 다양한 표정 데이터를 수집한 OKI 독자의 학습용 데이터 세트를 AI에게 학습시켰다. 예를 들어 AI가 표정 데이터 세트 중 '미소 짓는 사람', '밝은 표정을 짓는 사람'의 사진을 볼 때 '긍정적'이라는 태그를 붙여서 AI에게 반복적으로 학습시키는 것이다. 이 '긍정적'인 태그가 붙은 표정 데이터와 시선 데이터를 종합적으로 분석해서 '무언가를 먹고 싶을 때 짓는 복잡 미묘한 긍정적인 표정'을 구별해내는 것이다.


3. 향후 전망 및 개인적인 생각


이번 실증 실험의 목적은 실제 사업 현장에서 AI가 사람의 시선과 표정을 얼마나 정확하게 추정하는지를 확인함으로써 AI 추천 시스템의 활용성을 검증하는 것이다. OKI는 이번 실험 결과를 바탕으로 향후 드라이브 스루나 무인점포 등 무인 접객 분야에 이 제안형 주문 시스템 도입을 추진할 계획이라고 밝혔다. OKI는 구체적인 상용화 시기는 아직 미정이라고 밝혔으나, 이번 써브웨이 실증 실험 결과를 토대로 2022년 이후 사업화를 추진할 전망이다.

개인적인 생각 :
써브웨이를 10년 가까이 애용해온 1인으로서 써브웨이를 너무 사랑하지만 개인적으로 10년 간 변함없는 주문 시스템에 불편함을 느낄 때도 있었는데 써브웨이도 드디어 최첨단 기술(?)을 도입하려는 시도를 하고 있다니 놀라우면서도 반가운 소식이다. 하루빨리 이 AI 제안형 주문 시스템이 상용화돼서 써브웨이를 비롯한 다양한 음식점에 널리 도입됐으면 좋겠다. 가까운 미래에 말하지 않아도 내 맘을 알아주는 AI 점원을 만날 수 있길 기대해본다.



P.S. 미모의 써브웨이 AI직원분을 한국에서도 만나 뵐 수 있었음 좋겠다.

미모의 써브웨이의 AI직원

 

반응형
Comments