[MEIT] 약자를 위한 키오스크 - 기획

📽️기획 의도 및 프로젝트 내용 요약

   인건비 등으로 현재 키오스크가 많은 식당이나 가게에서 이용되고 있다. 실제로 2006년에 비하면 2018년 키오스크 시장은 6배 성장하였으며, 연평균 성장률도 13.9%에 달한다. 그러나 이러한 키오스크 사용에 어려움을 겪어 소외되고 있는 사람들이 있다.
먼저, 고연령층의 경우, 키오스크 화면을 읽기가 힘들다는 점, 화면을 터치하는 형태의 조작이 힘들다는 점에서 어려움을 겪고 있다. 또한, 키오스크 1000여개 중 장애인을 고려한 기기는 ‘1대’에 불과하다고 한다. 특히 시각장애인의 경우, 글자가 작아 얼굴을 가까이 대고 주문해야 한다고 말했다. 그리고 카페나 식당, 영화관 등의 키오스크는 대부분 음성 지원이 되지 않아 불편하다며 일상생활에서 겪는 어려움을 전했다. 우리나라 또한, 이러한 문제의 해결을 위해 한걸음씩 노력을 하고 있다. 그 예로, 장애인차별금지 및 권리 구제 등에 관한 법률 제 15조 3항에 정보 접근성에 대한 규정에 장애인과 비장애인이 동등하게 무인 정보 단말기를 이용할 수 있도록 정당한 편의를 제공해야 한다는 법이다.

   따라서, 본팀은 사회적 약자들도 편리하게 키오스크를 사용할 수 있도록 기능을 향상시키는 프로젝트를 진행하고자 한다. 먼저, 휠체어 등을 이용하는 사람들을 위한 높이 조절 기능을 하드웨어적으로 구현을 하려 한다. 이는 센서와 압력 장치를 이용하여 만들 예정이다.
 두번째로, 시각장애인, 노인분들을 위한 음성 주문 확인 시스템이다. 이는 점자가 포함되어 있는 버튼을 누를 시, 현재 장바구니에 들어있는 메뉴와 그 개수를 확인시켜, 주문자가 원하는 것이 맞는지 확인이 가능하도록 할 것이다.
 세번째로, 음성으로 키오스크의 키워드를 추출하여 메뉴의 선택 폭을 줄여주는 기능이다. 이는 QR코드를 이용한 웹을 사용하여 추가적인 앱 다운 없이 키워드에 맞는 추천 메뉴를 살펴볼 수 있기 때문에 무인단말기에 대한 접근성을 높이고 이용시간을 줄이는데 도움이 될 수 있다.
 마지막으로, 키오스크에 메뉴 주문시, 소요 시간을 알려주는 기능을 구현하여 고객의 편의성을 향상시키고자 한다.

📽️프로젝트 소개 (해당 프로젝트에 대한 구체적인 프로세스 및 정보 기술)

  본팀이 구현하고자 하는 무인단말기의 기능 측면은 음성입출력(1), GUI보완(2), 하드웨어(3) 로 분류할 수 있다. 음성 입출력 측면에서의 기능은 음성인식을 통한 메뉴 선정(1-1)과 음성 출력을 통한 메뉴 및 결제 확인(1-2)이 있다. GUI 측면에서의 기능은 주문 시 대기시간 출력(2-1), 약자 특히 고연령층을 위한 화면구성 및 프로세스(2-2)가 있다. 하드웨어적 측면에서의 구현하고자 하는 기능은 자동 높이 조절(3)이 있다.

  첫번째로 음성인식을 통한 메뉴 선정 기능(1-1)은 메뉴 이름 숙지가 어렵거나, 원하는 메뉴를 찾기 어려운 고연령층의 무인단말기 접근성을 높이기 위함이다. 키오스크에는 주문을 도울 음성인식이 지원되는 웹으로 이동되는 QR코드를 사용자에게 보여준다. 연결된 웹사이트에는 사용자에게 친근감을 높이기 위한 캐릭터가 있고, 클릭하면 음성인식을 실행한다. 이때, 음성인식이 가능하도록 chrome에서 제공하는 음성인식추출 API를 사용하여 웹을 구축한다. 사용자의 음성을 텍스트로 변환하여 최장공통부분수열 알고리즘을 사용해 키워드를 추출한다. 이 키워드는 ‘단품’, ‘세트’ 등과 같이 가게의 메뉴들을 분류할 수 있는 것들을 말한다. 이러한 키워드는 캐릭터와 함께 몇 가지 예시로 웹페이지에서 보여질 것이다. 최종적으로 사용자에게 추출된 키워드에 맞는 메뉴를 출력하여 보여준다.

  두번째로 무인단말기에 담긴 데이터를 음성으로 출력하여 사용자에게 확인시켜주는 기능(1-2)은 사용자의 선택을 확정하고 혼란을 줄이기 위함이다. 키오스크 카드삽입기와 비슷한 위치에 버튼을 두어 확인할 수 있도록 할 것이다. 버튼과 코드의 연결은 아두이노로 구현한다. 사용자의 입력(터치)에 따라 주문 리스트에 해당 데이터(메뉴)가 삽입되고, 버튼을 누르면 현재 리스트의 데이터를 차례로 음성으로 출력한다.

  세번째로 주문 시 대기시간을 화면에 출력해주는 기능(2-1)은 자바의 thread를 사용한다. (GUI는 자바로 구현한다) 주문 관련 데이터는 아두이노와 자바의 시리얼통신을 통해 송수신 되게 한다. 터치되어 입력된 주문 관련 데이터는 아두이노에서 자바로 송신된다. 주문이 들어오면 해당 메뉴의 조리 평균 시간을 그 전 대기 주문들의 조리 평균 시간을 모두 더해놓았던 변수에 합하여 저장한다. 그리고 이 결과값을 스크린에 출력한다.

  네번째로 취약층을 위한 무인 단말기의 전체적인 화면 구성 및 주문 프로세스(2-2)는 사회적 약층의 무인단말기의 접근성과 편의성을 향상시키기 위함이다. 마찬가지로 자바로 한다. 일반 주문은 현재 상용화된 흔한 무인단말기의 화면 구성이고, 간편주문은 주문 단계와 스크린을 미니멀하게 구성함으로써, 고연령층의 무인단말기에 대한 어려움을 줄인다. 현재 주문 진행률을 스크린 상단에 보여주고, 글자는 크게, 색은 순색으로, 레이아웃은 간결하게, 가독성은 쉽도록 한글로 한다. 주문 단계는 포장/매장 선택 → 메뉴선택(앱을 사용하여 음성인식기능을 포함시킨다) → 주문확인을 받는 약 3단계로 나눈다. 또한, ‘다음’이 적혀있는 버튼을 두어, 시각적으로 다음 단계로 넘어가고 있음을 확인시켜준다.

  마지막으로 사용자에 따른 자동 맞춤 높이 조절 기능(3)은 사용자의 신체적 특징에 따라 키오스크 디스플레이 높낮이를 조절하여 편의를 향상시키고, 특히 사회적 약자의 무인단말기 접근성을 높여주기 위함이다. 자동 높이 조절 설계는 크게 압력센서①, 적외선 거리 측정 센서②, 전동 높이 조절 버튼③으로 기술할 수 있다. 본 프로세스에 대한 이해를 위해 바람직한 실시 예를 그림으로 첨부하였다. 먼저, 키오스크 정면 하단에 압력센서①를 부착한 패드 형태의 발판을 제작하고 이 압력 센서에 압력이 가해지면 키오스크의 사용자가 있다고 판단한다. 압력 센서①를 이용하여 키오스크 앞에 사용자가 있다는 것을 감지한 후, 적외선 거리 측정 센서②가 작동한다. 이때, 적외선 거리 측정 센서②는 기준 신장의 눈높이를 설정하여 해당 위치에 부착한다. 압력 센서①에 가해지는 압력과 적외선 거리 측정 센서②로 측정한 거리가 전동 높이 조절 버튼③의 입력 신호가 된다. 그러나, 초기 상태에서 측정한 거리가 가깝다고 판단된 경우 입력 신호가 되지 않는다. 입력 신호가 생성되면 키오스크의 디스플레이가 내려가기 시작하고, 적외선 거리 측정 센서②가 거리를 지속적으로 측정한다. 사용자와의 거리가 가깝다고 판단할 때까지 키오스크의 디스플레이가 내려간다. 압력 센서①에 압력이 가해지지 않는 경우에는 입력 신호가 생성되지 않고, 키오스크의 디스플레이가 설정해 놓은 기본값의 위치로 이동한다.

🖊️본인은 하드웨어 구현을 제외한 SW파트(음성입출력, GUI)를 맡았다. 음성인식API를 통해 키워드를 추출하고 메뉴를 추천하는 웹 구현, 안드로이드 스튜디오를 사용하여 qr코드를 인식하고 웹으로 연결시키는 앱 구현, 자바로 키오스크 GUI를 구현할 계획이다.

📽️ 신규 기술의 기대 효과 및 기존 기술과의 차별점

1. 화면의 배치 기존 키오스크의 경우에는, 사전에 이용해보지 못한 고객이라면 주문 진행이 어떤 과정을 거쳐 진행되는지 파악하기 어렵다. 그렇기 때문에 노인분들의 경우, 새로운 과정에 더 적응하기 어렵고 당황스러울 수 있다. 또한, 주문의 진행이 어느 정도 진행되었는지 알기 어려워 주문 자체를 포기하는 경우가 많다는 연구 결과가 있었다. 키오스크의 불편한 점이 무엇인지 조사한 연구 결과에서, ‘복잡한 단계’가 51.4%, ‘다음 단계 버튼을 찾기 어렵다’가 44.1%를 차지했다. 따라서 주문 진행률을 표기하여 주문을 포기하는 경우의 수를 줄이고, 다음 버튼을 시각적으로 표기를 해 두어서 불편한 점을 해소하려고 한다.
     한 설문조사에 따르면, 노인분들의 경우, 키오스크의 글자 또는 사진의 크기, 색 등의 요소로 인해 메뉴 인식이 어렵다고 한다. 따라서 이 부분은 글자와 사진을 기존보다 크게 배치하고, 색은 노인들의 선호도가 높고 인식하기 편리한 순색(빨강/파랑/녹색/노란색)을 이용한다. 또한, 첫 화면에 간편 결제와 결제 버튼을 따로 둔다. 간편 결제의 경우, 앞서 이야기한 화면의 배치가 있을 예정이며, 메뉴 선택부터 결제까지 단계를 줄일 것이다. 보통은 주문 시작 -> 세트/단품 선택 -> 메뉴 선택 -> 추천 메뉴 -> 사이드 선택 -> 주문 내역 확인 -> 식사 장소 선택 -> 할인 멤버십 적립 유무 -> 결제방식 선택 -> 결제 및 영수증의 순서이다. 이를 포장/매장 선택 → 메뉴선택(앱을 사용하여 음성인식기능을 포함시킨다) → 주문확인을 받는 약 3단계로 나눈다.

2. 버튼을 눌러 음성으로 주문을 확인할 수 있도록 만든다.
   기존 기술은 음성으로 모든 주문을 진행한다. 즉, 주변 소음이 많다면 진행이 잘되지 않을 수 있다. 따라서 이를 보완하고자 단독 버튼을 만들고자 한다. 다른 진행 과정에 도입하지 않은 이유는 키오스크 자체의 크기가 커질 수 있으며 단가의 문제가 있기 때문이다. 그러나 주문 확인은 결제 직전에 자신이 주문할 메뉴들을 마지막으로 확인할 수 있는 중요 단계이다. 따라서 이 단계에만 도입하도록 한다. 이 기술은 시각장애인의 경우, 계산 전 주문을 확실히 할 수 있다. 노인분들의 경우에는 장바구니에 메뉴가 담겼는지에 대한 구분이 명확해질 수 있다. 이는 실제로 장바구니에 메뉴가 담겼는지 확인이 어렵다는 의견을 보완할 수 있다.

3. 소요 시간을 미리 계산하여 표기한다.
   키오스크를 주문 시, 주문자는 음식의 조리 시간을 파악하기 어렵다. 또한, 이 정보는 주문자가 직접 직원에게 질문을 해야 알 수 있는 정보이다. 소요 시간을 계산하여 화면의 표기를 통해 알려준다면 주문 여부를 결정하는데 도움이 되며, 주문자의 대기 시간을 줄여준다.

4. 음성을 인식하여 키워드를 도출한다.
   노인분들의 경우, 메뉴의 이름이 복잡하고 종류가 많아 희망 메뉴를 찾는데 소요되는 시간이 길다. 또한, 그냥 음성 인식의 경우 메뉴명을 외우고 찾아야 한다는 부담이 있다. 이를 줄이고자, 카테고리를 음성으로 입력받아, 카테고리에 맞는 메뉴를 화면에 표시할 예정이다. 이는 희망 메뉴를 찾기 쉽고 선택의 폭을 줄여 키오스크 사용 시간을 줄일 수 있다. 사용 시간 감소는 다음 사용 대기자의 키오스크 이용이 불편하다는 점을 해결할 수 있다는 부가적인 효과를 가진다. 또한, 기존 기술과의 차별점은 QR코드를 이용한다는 점이다. 이는 키오스크에 부착된 마이크를 통해 음성을 인식하는 것보다 휴대폰을 이용한 음성 인식이 더 잘 된다는 장점이 있다. 또한, 따로 앱을 다운받지 않아도 되기 때문에, 복잡한 과정을 줄여 접근성이 좋다. 이는 앱 다운 등, 스마트폰을 어려워하는 노인분들도 카메라만 키면 이용이 가능하기 때문에 그 효용성이 좋다고 판단된다.

5. 센서를 활용하여 키오스크의 높낮이를 자동 조절할 수 있다.
   기존의 일반적인 키오스크는 대중적인 평균 신장에 맞춰 설계되어 보급되고 있기 때문에 어린이, 신장이 작은 사람, 휠체어를 탄 사람, 노약자, 환자 등이 사용하기에는 어려움이 있다. 따라서 키오스크 디스플레이의 높낮이를 사용자의 신체적 특징에 따라 조절되도록 하여 키오스크의 편의를 향상시키고, 디지털 소외 계층이 키오스크의 인터페이스를 쉽게 받아들이게 하고자 한다.
     현재 특허청에 등록되어있는 자동 높이 조절 키오스크는 얼굴인식센서 및 높이 조절부의 높이 센서를 이용하여 사용자의 높낮이 정도를 비교함으로써 키오스크 디스플레이의 높낮이를 사용자의 얼굴에 대응되는 높이로 조절한다. 얼굴인식센서는 얼굴인식 카메라로 이루어져 있으며, 얼굴인식센서가 사용자의 안면을 촬영하고 촬영된 이미지에서 사용자의 신장, 체형 정보, 안면의 윤곽선 등을 사용자 정보로 생성한다. 본 자동 높이 조절 키오스크는 얼굴인식센서를 통한 정보 생성 및 기계학습을 주요 프로세스로 가져간다. 때문에 사물인식이 가능한 카메라를 부착해야 하므로 키오스크의 단가가 올라가는 문제가 발생한다. 실제, 국내 무장애(BF:Barrier Free) 키오스크 가격은 일반 제품의 6~7배이고 높낮이 자동조절 장치만 해도 제조가의 30%를 차지한다. 이는 자동 높낮이 조절 키오스크가 상용화되는데 큰 걸림돌이 되며 점주들에게 비용 부담을 줄 수 있다. 따라서 앞서 6번 항목에 기술한 프로세스와 같이, 얼굴인식 카메라를 사용하지 않고 적외선 거리 측정 센서와 압력 센서를 이용하여 키오스크의 높낮이를 조절하고자 한다. 두 센서를 활용하면 기존의 자동 높이 조절 키오스크보다 가격을 낮추고 쉽게 상용화될 것이라 기대한다.

6. 키오스크의 인지 오류를 줄일 수 있다.
   자동 높이 조절 키오스크의 도입 사례를 통해, 불규칙한 방향으로 키오스크에 접근하는 사용자를 감지하기 힘들다는 문제를 확인할 수 있었다. 이러한 사용자들을 감지하기에는 얼굴인식 카메라의 시야각에 한계가 존재한다. 하지만 압력 센서로 만들어진 패드를 이용한다면 키오스크로 접근하는 사용자를 감지하기 때문에 사용자의 위치를 특정 지을 수 있다. 이는 불규칙한 방향에서 접근하는 사용자로 인한 시스템의 판단 오류와 불필요한 정보를 줄일 수 있으며, 압력 센서에 압력이 가해져 사용자가 있다고 판단한 경우에만 자동 높낮이 조절 시스템이 작동하기 때문에 전력 낭비를 줄일 수 있다.

7. QR코드를 인식하면 휴대폰으로 주문이 가능하다.
   기존의 애플리케이션은 따로 검색 후 설치해야한다는 번거로움이 필요하며, 사용방법을 모르면 직원에게 물어봐야 한다는 한계가 존재한다. 따라서 QR코드 만으로 주문을 할 수 있게 한다면, 키오스크의 장점을 극대화할 수 있을 것이다.
     현재 대형브랜드 매장의 경우 자체 애플리케이션이 있거나 종종 빠른 오더 애플리케이션을 사용하는 경우가 있다. 하지만 이는 휴대폰 조작이 불편한 중고령층이 사용하기 어려운 UX, UI디자인을 가지고 있으며, 따로 검색을 통해 설치를 해야 한다는 점에서 접근성 또한 낮다. 우리는 블루투스 모듈을 사용해 기존 키오스크 시스템에 접근하기 쉽고 사용자가 원하는 정보를 더욱 쉽게 입출력 할 수 있도록 돕는다. 우선 각 매장마다 새로운 애플리케이션을 설치해야만 정보를 얻고, 주문할 수 있다는 점에서 효율성이 떨어지기 때문에 접근성을 높이고자 QR코드를 사용한다. 키오스크 기기당 한명의 사용자만 사용할 수 있어서 대기 시간이 길어진다는 단점을 보완할 수 있다. 이러한 새로운 키오스크 프로토콜은 기존의 데이터를 변형하지 않고 복수의 사용자가 단일 키오스크에 접근할 수 있도록 한다.
      기존의 키오스크 플랫폼은 인건비를 절감하는 효과를 가지고 있지만 고가의 장비라는 점에서 스마트 디바이스를 활용한 블루투스 모바일 키오스크 플랫폼을 개발하고자 한다. 이는 단일 키오스크 기기를 사용하는데 어려움을 느끼는 사회적 약자에게 더욱 효과적일 수 있다. 애플리케이션을 통해 더욱 자세한 정보를 제공할 수 있고, 사용 방법에 대한 자세한 설명이 가능해진다. 또한 이 과정에서 키오스크를 사용하는 다른 대기자들의 시간을 절약할 수 있다. 시각장애인들의 경우, 모바일 기기의 음성 서비스, 청각장애인들의 경우 텍스트를 활용한 시각 서비스를 통해 키오스크의 편리성을 극대화하여 키오스크의 활용도가 매우 기대된다.
      현재까지 시각장애인을 위한 키오스크 개발, 장애인을 위한 키오스크 개발은 존재했다. 그러나 이번 프로젝트에서 우리 팀은 이 모두를 위한 키오스크를 만들었다는 차별점이 있고 이에 집중하려고 한다.