eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
Suyeon Kang
, Jiyoung Kim
, Minhee Park
, Hojeong Im
, Huhn Kim
10.5143/JESK.2019.38.6.555 Epub 2020 January 03
Abstract
Objective: The purpose of this study was to verify the usability of two typical smartphone virtual keyboards that optimize the touch area of each key by learning touch input patterns.
Background: Virtual keyboards have many limitations due to their small size and lack of tactile feedback. Therefore, many studies have been conducted to improve the usability of the virtual keyboard. Among them, the verification on the usefulness of a virtual keyboard, with which optimizes the user’s touch area by learning his or her input pattern, is still insufficient.
Method: In this study, the participants performed the task of inputting presented sentences using three virtual keyboards (Nota, AL, and Smartboard) that provide different levels of touch optimization support. Through the experiment, sentence matching ratio and typing time data were collected, and subjective satisfaction were also rated after the typing task was finished.
Results: There were significant differences in the sentence matching ratio, typing time, and subjective satisfaction between Nota, AL and Smartboard. The Nota keyboard showed significantly better performances than the Smartboard in all respects. However, the AL keyboard showed no significant difference in sentence matching ratio and typing time compared to the Smartboard without such optimization function. Rather, the AL keyboard was less satisfied than the Smartboard.
Conclusion: Automatically optimizing the touch area based on users' input pattern was more useful to the users than predicting, visually expanding and highlighting the keys that will be entered next.
Application: In the future, smart phone manufacturers or virtual keyboard makers can use this result as a reference when they want to provide a similar function for touch area optimization.
Keywords
Virtual keyboard Touch area optimization Text input Machine learning
시장조사업체 퓨리서치(Poushter et al., 2018)에 의하면, 2019년 현재 스마트폰을 보유한 성인 비율은 94%로 우리나라가 세계 주요 국가 가운데 가장 높다고 한다. 또한 스마트폰에서 사용자들은 메신저나 SNS 등의 소셜 네트웍 서비스를 가장 활발하게 이용한다고 한다(Kim, 2018). 이러한 서비스는 주로 가상 키보드(Virtual keyboard)를 이용한 문자 입력을 필요로 하는데, 스마트폰은 화면 크기의 제약 때문에 버튼 크기가 작고, 촉각 피드백이 없으며, 입력 시 손가락이 화면을 가리는 등 가상키보드의 사용성에 많은 불편함이 존재한다(Kwon et al., 2009).
문자 입력 연구들에 활용되는 가장 일반적인 성능 측정치는 분당 단어 수(Word Per Minute)이다. 데스크톱 PC의 물리적 쿼티(QWERTY) 키보드의 평균 입력 속도는 40~60WPM 수준이라 한다(Soukoreff and Mackenzie, 1995). Feit et al. (2016)은 일반 사용자도 충분히 연습한다면 70WPM 이상의 속도까지 도달할 수 있음을 보였다. Clawson (2012)은 양손 엄지로 물리적인 미니 쿼티 키보드 입력 시 실험참여자들이 약 5시간의 연습 후에는 거의 95%의 정확도로 약 60WPM의 속도를 달성함을 보였다. 실험참여자가 손과 키보드를 눈으로 보지 않고 입력해야 하는 상황에서도 미니 쿼티 키보드의 타이핑 성능은 46.9WPM과 85.2%의 정확도를 보였다고 한다.
하지만 스마트폰이나 태블릿의 가상 쿼티 키보드로 문자 입력 시에는 촉각 피드백이 없기 때문에 사용자는 더 이상 손의 근육 운동을 기억하고 정확하게 반복하는 자연스러운 기능인 근육 메모리(muscle memory)를 사용할 수가 없게 된다(Kim et al., 2019). 따라서 작은 화면에서 손가락 터치를 이용한 가상키보드 문자 입력은 초보 사용자의 경우 10WPM, 전문가 사용자의 경우 20WPM 수준에 불과하다(Sears et al., 1993; Silfverberg and MacKenzie, 2000; Fleetwood et al., 2002; Dunlop and Levine, 2012). 가상키보드의 크기가 일반 물리 키보드와 유사하다면, 터치 입력의 근육 메모리가 어느 정도 작용하는 경향이 있으나 키보드 크기가 작으면 입력 속도는 크게 느려진다(Leiva et al., 2015). 가상 쿼티 키보드의 평균 속도는 4.7인치 스마트폰의 경우 약 30WPM이고(Reyal et al., 2015), 11.6인치 태블릿의 경우 약 40WPM 수준이라 한다(Rodrigues et al., 2016). 특히 가상키보드를 이용한 문자 입력은 타이핑 속도가 상당히 느려질 뿐만 아니라 물리 키보드보다 더 많은 오류를 유발한다(Smith and Chaparro, 2015).
이에 스마트폰 가상 키보드의 사용성을 높이기 위한 다양한 연구들이 수행되었다. 그 중에서도 몇몇 연구자들은 사용자의 터치 입력 패턴을 학습하여 가상키보드 키별 터치 영역의 크기를 최적화 시키거나 예측을 통해 입력될 가능성이 높은 다음 키의 컬러를 강조해주거나 크기를 확대하는 기능에 대한 연구를 수행하였다. 첫째, Gunawardana et al. (2010)은 언어모델(Language model)을 기반으로 다음 입력 가능성의 정도에 따라 각 쿼티 키의 터치 영역 크기를 동적으로 최적화시키는 방법을 제안하였다. 유사한 방법을 이용하여 터치 영역을 최적화 하는 대표적인 안드로이드 앱인 노타(Nota) 키보드는 사용자의 터치 입력 및 오타 패턴을 학습하여 터치 영역을 최적화시켜 준다. 둘째, 안드로이드 앱인 ThickButton이나 알(AL) 키보드는 사용자 입력 패턴의 학습된 예측 결과에 따라 일부 키의 모양을 더 크고 터치하기 쉽게 변화시켜 준다. 이외에도 머신러닝에 기반하여 다음에 나올 가능성이 높은 키의 크기와 컬러를 다르게 해주는 Dynamic Keyboard 앱이 있다. Gelormini and Bishop (2013)와 Nicolau et al. (2014)에 따르면, 문자 예측을 기반으로 가상 키의 컬러와 크기를 변경하는 것은 숙련된 쿼티 사용자의 성능에는 큰 영향을 미치지 않지만 초보자에게는 도움이 된다고 한다. 한편, Rodrigues et al. (2013)에 따르면, 예측에 따라 키 자체의 폭을 키우거나 컬러를 변경하는 것은 입력 속도 면에서 도움이 되지 않으나 키별 터치 영역의 크기를 키우거나 이동시키는 것은 인접한 키 간의 오류를 줄이는데 효과가 있다고 한다.
위와 같이 사용자의 터치 입력 데이터를 학습하여 터치 영역을 최적화시키는 방법은 크게 두 가지로 나눌 수 있었다. 하지만 그러한 지원이 한글 문자 입력 시에 정말 도움이 되는 지에 대한 연구는 미흡하였다. 따라서 본 연구에서는 현재 상용화되어 있는 대표적인 두 종류의 가상 키보드인 노타와 알 키보드를 기반으로 사용성을 검증하는 실험을 수행하였다.
2.1 Purpose
본 실험의 목적은 사용자의 터치 입력, 단어 사용, 오타 등의 패턴을 학습하는 두 가지 상용화된 가상 키보드가 스마트폰의 문자 입력 수행도에 어떠한 영향을 미치는지 알아보는 것이다.
2.2 Experimental system
본 연구에서는 서로 다른 방법으로 사용자의 입력 패턴을 학습하여 터치 영역을 최적화하는 대표적인 가상 키보드로 노타 키보드와 알 키보드를 실험 대상으로 삼았다(Figure 1). 첫째, 노타 키보드는 머신러닝을 기반으로 사용자의 터치 입력 및 오타 패턴을 학습하여 각 키의 터치 영역을 최적화 시킨다. Figure 1의 왼쪽 그림과 같이 노타 키보드의 최적화된 키 터치 영역은 사각형 형태가 아닌 점이 특이한 부분이다. 둘째, 알 키보드는 사용자의 단어 사용 및 입력 패턴, 과거에 입력된 오타 등을 분석하여 사용자가 다음에 입력할 가능성이 높은 예측 키를 확대시켜준다. 알 키보드의 경우 별도로 추천 단어도 제공하고 있으며, 오타보정 확률이 90% 이상일 경우 자동으로 오타를 교정해주는 기능도 가지고 있다. 두 가상 키보드의 유용성을 평가하기 위한 비교 기준으로는 터치 영역 최적화 기능이 없는 네이버의 스마트보드를 대상으로 삼았다.
2.3 Participant
실험에는 20대 남녀 15명(평균 연령 24.2세; 남자 7명, 여자 8명)이 참여하였다. 실험 대상인 세 가지 종류의 가상 키보드 모두가 안드로이드 운영체제 기반이므로, 평소 안드로이드 쿼티 키보드 사용자를 대상으로 모집하였다. 삼성 갤럭시 S 및 노트 시리즈 사용자가 가장 많았으며 LG G5 사용자도 일부 있었는데, 모든 참여자들은 제조사에서 제공하는 기본 가상 키보드만을 사용하고 있었다.
2.4 Experimental design and procedure
노타와 알 키보드의 경우, 사용자의 과거 터치 타점 및 입력된 단어 기록을 바탕으로 한 학습을 통해 터치 영역 또는 버튼 크기를 사용자에 맞게 자동으로 조절해준다. 따라서 실험을 수행하기 전에 충분한 학습 데이터가 쌓여 있어야 한다. 이에 본 연구에서는 실험참여자들이 실험 참여 전에 미리 각자의 스마트폰을 이용하여 총 36개의 문장을 입력하는 사전 입력 태스크를 수행하고 참여하도록 하였다. 이를 통해 각 가상 키보드가 실험참여자들의 터치 데이터를 기반으로 충분한 학습이 일어날 수 있도록 하였다. Figure 2는 노타 키보드를 이용하여 사전 입력 태스크를 수행한 실험참여자 두 명의 최적화된 터치 영역의 예를 보여준다. 각 참여자의 터치 및 오타 패턴에 맞춰 터치 영역이 다르게 최적화되어 있음을 볼 수 있다. Figure 3은 알 키보드를 이용하여 사전 입력 태스크를 수행한 후에 실험참여자 두 명이 동일하게 'ㄱ' 을 입력했을 때 예측을 통해 확대되는 버튼이 서로 다름을 보여준다.
본 실험에서 실험참여자들은 본인의 스마트폰을 이용하여 세 종류의 키보드로 6개씩 문장을 입력하는 태스크를 수행하였다(= 3×6 = 총 18번). 이때, 실험 대상이었던 가상 키보드들은 상용화된 어플리케이션이어서 실험참여자들의 수행도 데이터를 자동으로 기록할 수 없었다. 따라서, 본 연구에서는 Figure 4와 같이 카카오톡 어플리케이션을 이용하여 실험을 진행하였다. 먼저, 진행자가 입력 요구할 문장을 카톡으로 참여자에게 전송하면 참여자는 동일한 문장을 가능한 빨리 삭제 키 사용 없이 입력하는 태스크를 수행하였다. 이 때, 진행자는 실험참여자의 문장 입력 장면을 동영상으로 녹화하였고, 비디오 분석을 통해 다음과 같은 데이터를 수집하였다.
문장일치도: 제시된 문장과 입력된 문장 사이에 일치한 글자의 비율
문장입력시간(s): 제시한 문장을 입력 완료할 때까지 걸린 시간
실험 수행의 순서는 실험참여자마다 키보드의 순서와 문장을 완전 랜덤화하여 배치하였다. 실험참여자들은 각 키보드를 이용한 본 태스크 수행 전에 두 문장씩 연습 문장을 입력하였으며, 한 키보드를 이용한 태스크 완료 후에는 5분의 휴식시간을 가졌다. 그리고 실험참여자들은 각 키보드의 태스크 수행이 완료될 때마다 키보드에 대한 만족도를 7점 척도로 평가하였다.
3.1 Sentence matching ratio
문장일치도는 노타 키보드가 스마트보드 보다 유의하게 높았다(Table 1, Figure 5). 하지만 알 키보드와 스마트보드 간의 문장일치도에는 유의한 차이가 없었다. 또한 남녀 간 문장일치도에는 유의한 차이가 없었으나 키보드와 성별 간의 교호작용이 유의수준 0.1에서 유의했다. 남성은 다른 키보드에 비해 노타 키보드를 사용할 때 특히 높은 문장일치도를 보였다.
|
Factor |
DF |
Adj SS |
Adj MS |
F |
p |
|
Keyboard |
2 |
0.03301 |
0.016504 |
3.62 |
0.028* |
|
Gender |
1 |
0.00396 |
0.003956 |
0.87 |
0.352 |
|
Keyboard × Gender |
2 |
0.02480 |
0.012398 |
2.72 |
0.068 |
|
Error |
234 |
1.06580 |
0.004555 |
|
|
|
Total |
239 |
1.12824 |
|
|
|
3.2 Typing time
문장입력시간은 노타 키보드가 스마트보드 보다 유의하게 짧았다(Table 2, Figure 6). 하지만 알 키보드는 문장입력시간에 있어서도 스마트보드와 유의한 차이를 보이지 않았다. 문장일치도와 입력시간을 종합해서 볼 때, 알 키보드 보다는 노타 키보드 방식의 터치 영역 최적화가 문자 입력을 더 빠르고 오타 없이 입력하는데 도움이 되었다.
성별 간 문장입력시간의 차이는 여성이 남성보다 더 입력 속도가 빨랐으며(여성 9.61s vs. 남성 10.95s), Table 2에서 보여주듯이 키보드와 성별 간의 교호작용은 존재하지 않았다.
|
Factor |
DF |
Adj SS |
Adj MS |
F |
p |
|
Keyboard |
2 |
23.877 |
11.938 |
3.64 |
0.028* |
|
Gender |
1 |
105.361 |
105.361 |
32.15 |
0.000** |
|
Keyboard × Gender |
2 |
5.594 |
2.797 |
0.85 |
0.427 |
|
Error |
230 |
753.766 |
3.277 |
|
|
|
Total |
235 |
889.404 |
|
|
|
3.3 User satisfaction
각 키보드에 대한 주관적 만족도 평가에서는 노타 키보드, 스마트보드, 그리고 알 키보드 순으로 유의하게 만족도가 높았다(Table 3, Figure 7). 즉, 실험참여자들은 노타 키보드 지원의 유용성을 주관적으로도 느낀 것이다.
흥미로운 것은 남성의 만족도가 여성보다 유의하게 더 높았다는 점이다(남성: 4.06 vs. 여성: 3.67). 또한 Table 3에서 보여주듯이 만족도에 있어 키보드와 성별 간 교호작용도 존재했는데, 여성은 노타 키보드와 스마트보드 간에 큰 만족도 차이가 없었으나 남성은 스마트보드 보다 노타 키보드를 더 선호하였다. 알 키보드는 남녀 구분 없이 만족도가 낮았다.
|
Factor |
DF |
Adj SS |
Adj MS |
F |
p |
|
Keyboard |
2 |
212.405 |
106.203 |
98.48 |
0.000** |
|
Gender |
1 |
9.005 |
9.005 |
8.35 |
0.004** |
|
Keyboard × Gender |
2 |
27.262 |
13.631 |
12.64 |
0.000** |
|
Error |
234 |
252.343 |
|
|
|
|
Total |
239 |
508.650 |
|
|
|
본 연구는 사용자의 과거 입력 및 오타 패턴을 학습하여 터치 영역을 최적화 해주는 기능을 가진 스마트폰 가상 키보드가 문자 입력에 유용한 지를 실험을 통해 조사하였다. 실험 결과, 서로 다른 방법으로 터치 영역 최적화를 제공하는 노타, 알 키보드, 그리고 스마트보드 간에 문장일치도, 입력완료시간, 그리고 주관적 만족도 면에서 유의한 차이가 존재하였다. 노타 키보드는 모든 측면에서 스마트보드 보다 유의하게 좋은 결과를 보였다. 하지만 알 키보드는 최적화 기능이 없는 스마트보드에 비해 문장일치도와 완료시간에 있어 유의한 차이를 보이지 못했으며, 오히려 스마트보드 보다 낮은 만족도를 보였다.
종합적으로 볼 때, 사용자의 터치 타점 및 오타 패턴을 분석하여 자동으로 각 키의 터치 영역을 유연하게 최적화시켜주는 노타 키보드 스타일의 지원은 문자 입력 사용성을 향상시켰다. 하지만 예측 키의 크기를 확대시키고 시각적으로 강조해주는 알 키보드 스타일의 지원은 크게 도움이 되지 않는 것으로 나타났다. 즉, 시각적인 지원보다는 확실한 터치 영역의 최적화가 가상 키보드의 문자 입력 사용성 개선에 도움이 됨을 알 수 있다. 하지만 본 연구는 상용화된 실제 가상 키보드 어플리케이션으로 평가를 수행했기 때문에 각 키보드의 키 크기, 모양, 컬러 등에 미세한 차이가 있었다는 한계가 있다. 첫째, Kim et al. (2018a)에 따르면, 가상 키보드의 배경과 버튼 간의 명암대비가 단지 심미성의 문제일 뿐만 아니라 문자 입력 사용성에도 영향을 줄 수 있다고 한다. 하지만 Figure 1을 보면 알 수 있듯이 본 연구의 실험 대상이었던 세 종류의 가상키보드 간 명암대비에는 거의 차이가 없었다. 둘째, 가상 키보드 간의 키 크기에 미세한 차이가 있었다. 하지만 개별 키의 크기를 기준으로, 알 키보드, 스마트보드, 그리고 노타 키보드 순으로 크기가 컸는데 평가 결과는 그 반대였기 때문에 개별 키의 미세한 크기 차이는 수행도에 영향을 미치지는 않은 것으로 보인다. 셋째, 노타 키보드만 삭제 키가 다른 모양과 크기를 가지고 있었다. 하지만 실험 태스크에서 문자 입력 시 삭제 키의 사용은 허용되지 않았기 때문에 이는 영향을 미쳤을 리 없다. 넷째, 기호와 한영 전환 키의 크기가 다소 달랐다. 이 역시 실험 태스크에서 기호나 영문은 입력 요구 문장에 포함하지 않았다. 하지만 기호와 한영 전환 키의 크기가 다름으로 인해 스페이스 키의 크기도 다소 달랐는데, 이는 스페이스 키가 다른 키에 비해 충분히 컸기 때문에 크게 수행도에 영향을 미치지 않을 것으로 보인다. 이는 Kim et al. (2018b)에서 가상키보드 스페이스 키의 크기 차이에 따른 수행도 평가 결과에 의해서도 뒷받침된다.
이외에도 본 연구에는 다음과 같은 한계점이 있었다. 첫째, 노타와 알 키보드 간의 문자 입력 수행도 차이는 터치 영역 최적화 방법의 차이가 아니라 내부 학습 알고리즘의 차이 때문이었을 수 있다. 둘째, 실험참여자들이 대부분 대학생이어서 모두 가상 키보드에 익숙한 숙련자였다. 숙련자 보다는 눈으로 보고 입력해야 하는 초보자에게는 알 키보드와 같은 지원도 도움이 되었을 수도 있다. 이러한 점들에 대해서는 추가적인 평가가 필요하다.
위와 같은 한계점에도 불구하고 본 연구의 결과는 학습에 의한 터치 영역 최적화 기능이 기본적으로 한글 입력 시에도 유용함을 제시하고 있으므로, 추후 스마트폰 제조사나 가상 키보드 어플리케이션 제작자들이 유사한 기능을 제공하고자 할 때 참고로 활용할 수 있을 것이다.
References
1. Clawson, J., On-the-go text entry: evaluating and improving mobile text input on mini-qwerty keyboards. Doctoral dissertation at Georgia Institute of Technology, 2012.
Crossref
Google Scholar
2. Dunlop, M. and Levine, J., Multidimensional pareto optimization of touchscreen keyboards for speed, familiarity and improved spell checking. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2669-2678, 2012.
Google Scholar
3. Feit, A.M., Weir, D. and Oulasvirta, A., How we type: Movement strategies and performance in everyday typing. Proceedings of the 2016 Chi Conference on Human Factors in Computing Systems, 4262-4273, 2016.
Google Scholar
4. Fleetwood, M.D., Byrne, M.D., Centgraf, P., Dudziak, K., Lin, B. and Mogilev, D., An evaluation of text-entry in Palm OS-Graffiti and the virtual keyboard. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 46(5), 617-621, 2002.
Crossref
Google Scholar
5. Gelormini, D. and Bishop, B., Optimizing the android virtual keyboard: A study of user experience. 2013 IEEE International Conference on Multimedia and Expo Workshops (ICMEW), 1-4, 2013.
Google Scholar
6. Gunawardana, A., Paek, T. and Meek, C., Usability guided key-target resizing for soft keyboards. Proceedings of the 15th International Conference on Intelligent user Interfaces, 111-118, 2010.
Google Scholar
7. Kim, H., Yi, S. and Kang, S., The effect of contrast design of virtual keyboard in smartphones on touch behavior and usability in text input, Archives of Design Research, 31(4), 111-123, 2018a.
Google Scholar
8. Kim, H., Kim, J., Park, M., Kim, J., Yi, S. and Kang, S., Effects of function key layouts and grip styles on typing performance of virtual keyboard for smartphones, Proceeding of 2018 Fall Conference of ESK, 2018b.
9. Kim, H., Yi, S. and Yoon, S., Enhancing touch feedback display of virtual keyboards for reducing eye movements, Displays, 56, 38-48, 2019.
10. Kim, Y., SNS usage trend and usage behavior analysis. KISDI STAT Report., 2018.
11. Kwon, S., Lee, D. and Chung, M. K. Effect of key size and activation area on the performance of a regional error correction method in a touch-screen QWERTY keyboard. International Journal of Industrial Ergonomics, 39(5), 888-893, 2009.
Google Scholar
12. Leiva, L.A., Sahami, A., Catala, A., Henze, N. and Schmidt, A., Text entry on tiny qwerty soft keyboards. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, 669-678, 2015.
Google Scholar
13. Nicolau, H., Guerreiro, T., Lucas, D. and Jorge, J., Mobile text-entry and visual demands: reusing and optimizing current solutions. Universal Access in the Information Society, 13(3), 291-301, 2014.
Google Scholar
14. Poushter, J., Bishop, C. and Chwe, H., Social media use continues to rise in developing countries but plateaus across developed ones, Pew Research Center, 2018, https://www.pewresearch.org/global/2018/06/19/social-media-use-continues-to-rise-in-developing-countries-but-plateaus-across-developed-ones/#table
Google Scholar
15. Reyal, S., Zhai, S. and Kristensson, P.O., Performance and user experience of touchscreen and gesture keyboards in a lab setting and in the wild. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, 679-688, 2015.
Google Scholar
16. Rodrigues, É., Carreira, M. and Gonçalves, D., Improving text entry performance on tablet devices. Interação, 2013.
Crossref
Google Scholar
17. Rodrigues, É., Carreira, M. and Gonçalves, D., Enhancing typing performance of older adults on tablets. Universal Access in the Information Society, 15(3), 393-418, 2016.
Google Scholar
18. Sears, A., Revis, D., Swatski, J., Crittenden, R. and Shneiderman, B., Investigating touchscreen typing: the effect of keyboard size on typing speed. Behaviour and Information Technology, 12(1), 17-22, 1993.
Google Scholar
19. Silfverberg, M., MacKenzie, I.S. and Korhonen, P., Predicting text entry speed on mobile phones. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 9-16, 2000.
Google Scholar
20. Smith, A.L., and Chaparro, B.S., Smartphone text input method performance, usability, and preference with younger and older adults. Human Factors, 57(6), 1015-1028, 2015.
Google Scholar
21. Soukoreff, R.W. and Mackenzie, I.S., Theoretical upper and lower bounds on typing speed using a stylus and a soft keyboard. Behaviour and Information Technology, 14(6), 370-379, 1995.
Google Scholar
PIDS App ServiceClick here!
