AI 도우미가 사용자의 질문을 이해하고, 정확하게 답변을 할 수있는 능력을 비교 한 조사 결과가 발표되었다. Google Assistant가 최고의 성적을 남겼고, Amazon의 Alexa가 크게 성적을 올렸고, 한편으로 Siri는 질문을 이해하고 응답한 비율이 낮았고 오답율이 높았다는 결과가 나왔다.
- 약 5,000개의 질문에 AI 어시스턴트 능력을 비교
각사의 AI 어시스턴트가, 어느 정도 질문에 정확하게 대답 할 수있는지를 비교 한 조사 결과를 미국의 조사 회사 Stone Temple이 발표했다.
조사는 다음의 5종류의 AI 어시스턴트에 4,942개의 질문을 했고, 그 답변을 비교한 것이다.
. Alexa(Amazon)
. Cortana(Microsoft) 탑재의 스마트 스피커 "Invoke"
. Google Assistant(Google) Google Home 버전
. Google Assistant(Google) 스마트폰 버전
. Siri(Apple)
비교시에는, "말로 답변을 했는지", "데이터베이스에서 답변을 했는지", "Wikipedia 등 외부 소스에서 답변을 했는지", "AI 길잡이가 질문을 이해하지 못한 빈도", "대답이 틀린 횟수" 등의 지표로 평가했다.
또한 각사의 AI 어시스턴트에는 레스토랑 예약, 상품의 주문 등의 기능도 있지만, 조사의 대상이되고 있지 않다.
- 질문에 답변하려고 한 비율, Siri는 최하위
질문을 이해하고 대답하려고 한 비율 인 "답변 시도율"(짙은 녹색과 그 중 한방에 질문에 충분한 답변을 한 비율을 나타내는 "전체 응답률"(연한 녹색)을 나타낸 것이 이 다음의 그래프.
또한 답변 시도율은 "아직 공부중입니다", "미안, 잘 모르겠어요"라는 답변은 포함되지 않았다.
Google Assistant의 스마트폰 버전이 답변 시도율, 전체 응답률 모두 정상에 올랐다는 것이다.
한편, Siri는 답변 시도율이 약 40%로 다른 AI 어시스턴트에 비해 낮은 결과가 나왔다.
- 답변 시도율, 증가폭은 Alexa가 최고
답변 시도율을 2017년(진한 녹색)과 2018년(밝은 녹색)으로 비교 한 것이 아래의 그래프이다. Google Assistant의 스마트폰 버전은 2017년에 공개되지 않았기 때문에 데이터가 없다.
2017년부터 2018년에, Alexa가 19.8%에서 53.0%로 크게 증가하고 있는 것이 눈에 뛴다. Cortana Invoke도 53.9%에서 64.5%로 증가했다.
Siri도 31.4%에서 40.7%로 상승하고 있지만, 증가폭이 작기 때문에 Alexa에 추월 당해버리고 만다.
- 답변 한것은 80%이상이 정확하게 답변
답변 가능한 질문 중, 답변의 정확성을 나타내는 전체 응답률을 2017년과 2018년에 비교하면, Cortana Invoke만 86.0%에서 92.1%로 성적을 늘리고 있다.
Google Assistant의 스마트폰 버전이 질문에 대해 가장 정확한 답변을 제공하고 있으며, Cortana가 그 뒤를 잇는다.
Alexa는 2017년부터 2018년까지 전체 응답률이 낮아지고 있지만, 답변 시도율이 약 2.7배로 크게 증가하고 있다.
- 오답률이 높았던 것은 Alexa와 Siri
각각의 AI 도우미가 잘못된 답변을 한 오답률을 2017년과 2018년을 비교한 것이 아래의 그래프이다.
2018년 오답율이 가장 높았던 것은 Alexa로, 그 뒤를 Siri가 근소한 차이로 계속되고 있다.
Stone Temple에 따르면, Alexa 및 Siri에서 오답이 많았던 것은, 문장의 구성이 모호하고 혼란한 질문으로 Alexa와 Siri가 잘못된 답변을 한 3분의 1 이상이 해당.
또한, 오답의 내용을 분석 한 결과, 오답은 모든 사용자가 "이것은 잘못된 답변"이라고 명확하게 인식 할 수 있는 것이었다.
"1인치는 몇 센티?"라는 질문에 "2.7센티미터(정확하게는 2.54센티미터)"라고 하는것처럼, 사용자에게 잘못된 정보를 믿게하는 것은 없었다.
- 농담으로 대답한 비율, Siri가 Alexa에 뒤쳐졌다
질문에 농담을 대답 한 비율을 2017년과 2018년을 비교한 것이 아래의 그래프이다.
2017년은 Siri가 최고였지만, 2018년은 Alexa에 밀려나게 되었다.
- 스마트 스피커에서 중요한 AI 지원
2018년 기술 업계에서 가장 성장이 기대되는 시장 인 스마트 스피커는, AI 길라잡이가 정확하게 사용자의 희망에 부응하는 능력이 특히 중요하다.
Amazon, Google은 선행하는 스마트 스피커 시장에 놓친 Apple의 HomePod은 음질이 좋은 고급 스피커 노선을 내세우고 있지만, Siri의 능력이 낮은 것이 문제라고 지적되고 있다.
Amazon은 최근 Alexa에 과거의 대화를 기억하는 등의 대형 업데이트를 추가한다고 발표했다.
