JESK Journal of the Ergonomics Society of Korea

Classification and Proposal for Adolescents' Hearing Experience in Metaverse Environment: Focusing on Zepeto, Minecraft, and Roblox

Han Gil Kang , Kiechan Namkung , Byoung Woo Park , Younghwan Pan
10.5143/JESK.2023.42.2.105 Epub 2023 May 05

0: Cited By

Abstract

Objective: The purpose of this study is to provide practical basic data for auditory design to improve the reality of metaverse platform services by classifying the auditory experience environment in metaverse space for metaverse platforms.

Background: There are studies that prove that sound helps improve realism in virtual reality and studies that have designed soundscapes in the real world through various methods of sound classification.

Method: By conducting a survey, the target metaverse platform is selected, and sound in the service is classified by applying sound identity classification and soundscape classification in previous studies.

Results: During the sound activities of the sound identity classification, interaction sound and service sound were applied to the classification according to the instruction function of the soundscape classification to define a new classification method and classify the sounds of the metaverse service.

Conclusion: The interaction sound was properly inserted, but it was found that the sound elements of the experience sound portion were insufficient.

Application: It can be used as a practical basic data when developing metaverse services, and various follow-up studies can be made because new classification methods have been proposed in the sound field where many studies have not been conducted.

Keywords

Soundscape Metaverse Auditory user experience Sound identity

1. Introduction

현실 세계와 같은 사회, 경제, 문화 활동이 이루어지는 3차원 가상 세계를 일컫는 메타버스(Metaverse)는 정보통신기술의 발달과 코로나19 팬데믹(Pandemic)에 따른 비대면 추세 가속화로 빠르게 발전하고 있다. 메타버스는 현실과 가상의 결합이 현실 세계가 되며, 그 안에서 이루어지는 상호작용은 증강현실, 가상현실, 확장현실 등의 기술들을 통해 구현된다(Ryu et al., 2022). 메타버스의 적용 분야는 매우 다양하지만, 현재까지 국내에서 논의되고 있는 메타버스에 대한 연구는 디지털, 교육, 기술, 공학 분야에 대부분 편중되어 있으며 상대적으로 문화, 예술, 미디어 분야에서의 논의는 부족하며 실무적인 활용을 위한 연구들도 부족하다고 판단된다(Lee, 2022a).

메타버스와 같은 가상 세계에서의 상호작용 경험을 설명하기 위해서는 실재감이란 개념을 다루어야 하는데 Jang (2021)은 '어딘가 에 존재하는 느낌'이라고 하였다. 메타버스에 대한 연구는 대부분 이러한 어딘가 에 존재하는 느낌인 실재감을 향상하기 위한 효과적인 사용성 개선을 다루고 있으며, 메타버스 실재감이 사용자의 이용 동기를 통해 지속적 이용 의도에 미치는 영향에 관한 연구(Hwang et al., 2022)나, 메타버스 환경에서의 상호작용성이 경험 가치와 지속 이용 의도에 미치는 영향에 관한 연구(Lee, 2022b) 등 지속적 사용에 관한 연구들과 메타버스에서 시각적 인터페이스가 사용자 경험에 미치는 영향에 관한 연구(Song et al., 2022), 메타버스 속 공간 정보와 시각 지능의 관계성에 관한 연구(Kim, 2021) 등 시각적인 몰입에 관한 연구가 지속되어왔다. 실재감은 사용자 개개인이 느끼는 경험에 근거하며, 이는 인간의 오감과 시스템의 접점인 인터페이스와 밀접한 관계가 있다고 할 수 있다. 인간과 시스템의 상호작용에서 사용되는 청각 인터페이스인 사운드는 사용자의 감정을 유발하고 관리하여 사용자가 마치 실제와 유사한 상황에 있는 것처럼 느끼도록 하는 효과를 준다(Yang and Ryu, 2021). 이처럼 가상현실에서 실재감의 향상에 사운드가 중요하다는 연구들이 있지만, 실제 메타버스 플랫폼에서 청각 경험의 실재감을 다룬 연구는 이루어지지 않았다.

사용자에게 실재감을 제공하는 메타버스 플랫폼은 청소년들에게 새로운 문화공간으로 자리를 잡고 있다(Song, 2022). 청소년의 메타버스 경험 비율은 다른 연령대에 비해 월등히 높고 긍정적인 반응을 보이며(Kim, 2022), 대표적인 메타버스 플랫폼인 제페토(Zepeto) 서비스의 경우 사용자의 80%는 청소년이다(Kwon, 2021). 이들은 다른 연령대에 비해 비교적 디지털 기기에 친숙하며 메타버스 환경에서 새로운 친구를 사귀기도 하는 등(Kim and Kwon, 2022)의 활동하기도 한다. 특히, 제페토 서비스는 플랫폼 내의 공간을 월드(World)라고 하는데, 제페토 스튜디오(Zepeto studio)라는 툴을 이용하여 사용자들이 상상력으로 새롭고 신기한 공간을 만들기도 하며 실제 하는 현실 세계와 유사한 공간을 만들고 꾸미기도 한다. 2021년 3월 기준 약 15,000개 이상의 월드가 제페토 서비스 내에 존재하며 그 수는 현재도 계속 늘어나고 있다(Cho, 2021). 이에 본 연구는 주 사용층인 청소년들이 사용하는 메타버스 플랫폼들을 대상으로 메타버스 공간에서의 청각 경험 환경을 분류하여 메타버스 플랫폼 서비스의 실재감의 향상을 위한 청각 디자인의 실무적 기초자료를 제공하고자 한다.

2. Method

Figure 1. Method flowchart

본 연구는 메타버스의 청각 경험과 관련된 선행연구, 연구보고서, 기사 등을 포함한 자료들을 검토하고, 설문 조사를 통해 현재 서비스되고 있는 대표적인 메타버스 플랫폼을 선정하였으며, 선정된 각각의 플랫폼에 대한 청각 경험 환경을 청각 디자인 분야의 선행연구에서 제시한 분류법을 통해 분류하고 고찰하였다(Figure 1).

2.1.1 Sound identity classification

Kim and Yu (2013)은 사운드의 여러 요소로 특정 브랜드를 구분하는 것이 사운드 아이덴티티라고 정의하였고, Namkung and Pan (2017)은 사운드 아이덴티티에 대해 다양한 청각 경험을 통해 사용자에게 서비스의 이상적인 이미지를 형성하는 데 도움이 되는 청각적 요소들을 통합적으로 관리하는 방법론이라고 정의 내렸다. 또한, Namkung and Pan (2018a)은 사운드 아이덴티티 유형을 사운드 로고 외에도 수많은 유형이 존재할 것으로 예상하였고 이에 Namkung and Pan (2018b)은 사운드 아이덴티티의 정의와 그에 따른 유형과 성분을 명확히 분류하였으며, 이를 도식화 하여 사운드 아이덴티티 구조도를 제시하였다(Table 1). 활발하게 진행되지 않았던 청각 디자인 연구 분야에서 사운드 아이덴티티 구조도가 제시되었으나, 기업이나 기업의 브랜드 단위에서의 사운드 아이덴티티를 분류하였고 본 연구에서 진행하고자 하는 가상 환경에서의 전반적인 사용자 청각 경험에 관한 분류에 구조도를 사용하기에는 한계가 있다고 사료된다. 그리하여 본 연구에서는 앞선 선행연구가 제시한 사운드 아이덴티티 구조도의 일부 요소를 활용하여 메타버스 플랫폼 서비스에서의 사운드를 분류하였다.

Sound identity type	Sound identity component	Explanation
Sound impression	Introduction sound	Sound experienced before or at the initiation point of auditory communication with products and services
Sound activity	Interaction sound	Interactive sound and voice feedback from the product
	Action sound	The physical sound of the product you experience while using it
	Service sound	Sound as an auditory communication tool experienced while using face-to-face and non-face-to-face services (service BGM, specific vocabulary of face-to-face/non-face-to-face service staff, etc.)
Sound personality	Sound attribute	A unique distinction or message that can have in the overall auditory communication process.

Table 1. Sound identity structure diagram

2.1.2 Soundscape classification

사운드 스케이프의 개념의 처음 등장은 1969년 사운드 스케이프를 제창한 캐나다의 작곡가 쉐이퍼(Schafer)가 쓴 저서의 국내 출간본인 사운드 스케이프(Schafer, 2008)에 등장하며, 사운드와 경관을 의미하는 접미어 스케이프와의 복합어로서, 시각적인 랜드 스케이프(Landscape)에 대해서 귀로 받아들이는 풍경, 즉 음의 풍경 또는 음의 경관을 의미한다. 또한, 불필요한 음과 방해되는 음을 배제하는 것이 아닌 지역과 공간에 필요한 음을 적극적으로 활용하여 연출하는 것도 포함한 종합적인 음 환경계획을 말한다(Han and Kim, 2002).

사운드 스케이프에 대한 정의는 연구기관, 학자 마다 다른데 공간에서 들려오는 여러 사운드들을 분류하고 분석하여 사람들에게 쾌적한 사운드 환경을 제공하는 것에는 모두가 동의하고 있다(Choi, 2019).

사운드 스케이프를 디자인할 때는 시각 정보만으로 사운드를 디자인하게 된다면 음의 부조화로 오히려 불쾌감을 조성할 수 있으므로 무조건 사용자들이 선호하는 사운드를 디자인하기보다는 공간에 어울리는 사운드를 만들어내는 것이 중요하다(Shin et al., 2006).

다양한 사운드 스케이프 분류법 중에서 사운드의 지시 기능에 따른 분류(Table 2)는 어떤 사운드도 객관적으로 명확한 하나의 의미만 있는 것이 아니고 문학, 인류학, 역사 문헌 등 과거의 사운드에 대한 기록과 사용자들의 기존 학습 경험에 기반을 두어 분류할 수 있는 분류법이기에 메타버스 플랫폼 환경을 대상으로 분류한다면 과거부터 사용자들이 경험해온 영상, 게임 등 메타버스 플랫폼 환경과 청각적으로 유사한 경험과 기록이 있으므로 사용자들은 긍정적, 부정적 사운드를 인지할 수 있고, 사운드 스케이프 개념의 목적인 분류를 통해 사용자에게 쾌적한 사운드 환경을 제공할 수 있다고 판단하였다.

Sound of nature

Human
sound

Sound and society

Mechanical
sound

Silence

Sound as a
pointing device

The sound of creation, the sound of the apocalypse, the sound of water, the sound of the atmosphere, the sound of the earth, the sound of fire,
the sound of a bird, the sound of an animal, the sound
of a bug, the sound of fish and marine life, the sound of

the four seasons

Voice, sound of the human body, sound
of clothes

In the soundscape of the country, general technology
(sounds of each continent),
the soundscape of the village, the soundscape

of the city, the soundscape
of the sea, the soundscape
of the home, the sound
of business, work and livelihood, the sound of factories, offices, of entertainment sound

Music, ceremonies and festivals, parks, gardens
rites

Machinery or industrial
or factory equipment, transport machinery,
war machines, trains
and tanks, internal combustion engines, aircraft, construction
and dismantling
sounds, mechanical tools, ventilation and
air conditioners, tools
for war and destruction,
agricultural implements

Bells and gongs, horns and flutes, sounds of time, telephones, (others) alarms, (others) signals of joy, sounds
of future events

Table 2. Classification according to the indication function of sound

2.2 Survey

서울 소재 초등학교의 메타버스 활동 모임의 학생들을 대상으로 사운드 분류를 진행할 플랫폼 선정을 위해 가장 선호하는 메타버스 플랫폼에 대한 설문 조사를 진행하였다. 총 104명이 참여하였으며 설문 조사의 기간은 2022년 6월 20일부터 2022년 7월 20일까지 한 달간 구글 설문 조사(Google survey)를 이용하여 진행하였다.

설문 조사 결과(Table 3) '로블록스(Roblox)' 22.1%의 이용 경험 비율이 가장 높았다. 이어서 20.2%로 응답이 기록된 '제페토'의 메타버스 플랫폼, 19.2%의 마인크래프트(Minecraft) 순으로 조사되었다.

Metaverse platform type	Horizon	Roblox	Zepeto	Ifriend	Gathertown	Minecraft	Fortnite	ZEP
Number of responses	5	23	21	4	17	20	4	10
Proportion	4.8%	22.1%	20.2%	3.9%	16.3%	19.2%	3.9%	9.6

Table 3. Survey result on the percentage of experience

다양한 종류의 메타버스 플랫폼들은 각 사용목적과 경험 방식에 따라 유형이 나누어지는데 게임형, 산업형, 생활형으로 플랫폼을 분류한 연구에서는 게임형 분류에 속한 메타버스 플랫폼들이 가장 높은 사용 빈도를 보여주었다(Son and Lee, 2022). 따라서 본 설문 결과 중 이용 경험 비율이 높았던 게임형 플랫폼들을 연구 대상 플랫폼으로 선정하였다.

3. Sound Classification Result

본 연구는 선행연구의 사운드 아이덴티티 구조도(Table 1)와 사운드 스케이프 분류법(Table 2)의 한계점 및 보완점을 통합 적용하여 메타버스 환경에서의 사운드를 분류하였다(Table 4).

또한, 사운드 아이덴티티 구조도(Table 1)에서는 공간에 대한 부분도 다루고 있지만, 브랜드나 기업의 이미지에 관한 사운드 활용에 집중하고 있기에 구조도 활용에 한계점을 발견하였고, 사운드 스케이프 분류법(Table 2)에서는 소분류로 나열된 다양한 사운드들을 담을 수 있는 포괄적인 개념의 대분류가 필요해 보인다.

따라서 사운드 아이덴티티 구조도(Table 1)의 사운드 아이덴티티 유형의 서비스 사운드는 서비스 사용 중 사용자가 인지하게끔 만들고 사용자와 커뮤니케이션을 하는 사운드의 지시 기능의 사운드이므로(Namkung and Pan, 2018b) 사운드 스케이프 분류법(Table 2)의 사운드 지시 기능에 따른 분류법과 유사한 분류 요소라고 판단하였고 사운드 스케이프 분류법(Table 2)의 정적과 침묵은 실재감을 일으켜야 하는 가상공간에는 필요하지 않다고 판단하여 삭제하였다.

또한, 사운드 스케이프 분류법(Table 2)에서의 정적과 침묵을 제외한 5가지 분류(자연의 사운드, 인간 사운드, 사운드와 사회, 기계 사운드, 지시 기능에 따른 사운드)를 통합하여 본 연구의 주제인 사용자 청각 경험을 새로운 분류법의 분류 요소 항목으로 적용하여 대분류 하였고 이를 경험 사운드라고 새롭게 명명하였다.

Sound identity type (Sound activity)	Experience sound				None	Interaction sound
Soundscape classification	Sound of nature	Human sound	Sound and society	Mechanical sound	Silence	Sound as a pointing device

Table 4. Sound detailed classification table

3.1 Metaverse platform sound classification

설문 조사에서 선정한 세 가지 플랫폼을 대상으로 플랫폼 별 2022월 09월 10일 기준 인기 월드들을 대상으로 본 연구자가 직접 이용하면서 약 10분간을 화면 녹화를 진행하였고, 녹화 영상을 본 연구에서 새롭게 정의한 사운드 구조도(Table 4)를 통해 다음과 같이 분류하였다(Table 5 to 7).

Sound classification	Sound identity classification	Experience sound				Interaction sound
Sound classification	Soundscape classification	Sound of nature	Human sound	Sound and society	Mechanical sound	Sound as a pointing device
Place	Street	Sound of water	Sound of footstep	BGM	None	Sound effects
	School	None	Sound of footstep	BGM	None	Sound effects
	House	None	Sound of footstep	BGM	None	Sound effects

Table 5. Roblox sound classification

Sound classification	Sound identity classification	Experience sound				Interaction sound
Sound classification	Soundscape classification	Sound of nature	Human sound	Sound and society	Mechanical sound	Sound as a pointing device
Place	Square	None	None	None	None	None
	Healing garden	None	None	BGM	None	None
	Flower garden	None	None	BGM	None	None

Table 6. Zepeto sound classification

Sound classification	Sound identity classification	Experience sound				Interaction sound
Sound classification	Soundscape classification	Sound of nature	Human sound	Sound and society	Mechanical sound	Sound as a pointing device
Place	Cave	None	Sound of footstep	BGM, Spatial sound	Construction sound	None
	Forest	None	Sound of footstep	BGM, Spatial sound	Construction sound	None
	Museum	None	Sound of footstep	BGM, Spatial sound	Construction sound	None

Table 7. Minecraft sound classification

4. Discussion and Conclusion

현재 사용되고 있는 메타버스 플랫폼 서비스들의 청각 경험을 분석한 결과, 경험 사운드 요소들이 상대적으로 부족함을 알 수 있다(Table 5 to 7). 세 가지 종류의 메타버스 플랫폼의 각각의 공간의 사운드 분류 결과를 보면 인터랙션 사운드 분류에서는 사용자와 커뮤니케이션을 위해 적절하게 경고음, 효과음 등이 사용되었으나 경험 사운드 분류에서는 자연의 사운드, 발자국 사운드, 물 사운드, 공간 사운드 등 여러 사운드 요소가 존재하지 않았다.

세부적으로 들여다보면 로블록스 플랫폼의 경우에는 각 공간에 모두 배경음악과 발자국 사운드가 삽입되어 있었으나(Table 5), 제페토 플랫폼의 경우에는 발자국 사운드, 공간 사운드 등이 삽입되어 있지 않아(Table 6) 로블록스 플랫폼에 비해 비교적 적은 사운드 요소가 삽입되어 있었다. 마인크래프트 플랫폼은 플랫폼의 성격에 맞는 건설 사운드나, 공간 사운드를 삽입하는 등 타 플랫폼들에 비해 비교적 다양한 사운드 요소들이 삽입되어 있었다(Table 7). 하지만, 공통으로 세 개의 메타버스 플랫폼에서 경험 사운드 요소들은 인터랙션 사운드 요소보다 적게 적용되어 있었던 것을 발견할 수 있었다.

본 연구는 메타버스 환경에서의 사운드를 사운드 아이덴티티 구조도와 사운드 스케이프 분류법 등 청각 디자인의 이론을 통합 적용하고 새롭게 분류하여 실무적 기초 자료를 제시했다는 점에서 의의가 있다. 현재 서비스되고 있는 게임형 메타버스 플랫폼을 대상으로만 진행하였으며 메타버스 플랫폼 내의 다양한 공간이 현재도 만들어지고 있음에도 불구하고 연구 진행 당시 접속할 수 있었던 특정 공간들만 선정하여 사운드 분류를 진행한 것에 한계점이 있다. 또한, 후속 연구에서는 본 연구에서 발견한 경험 사운드 요소들의 부족함을 플랫폼 운영 환경에 적절하게 추가하였을 때의 사용자 청각 경험에서 유의미한 차이를 검증하는 연구가 이어져야 할 것이다.

본 연구에서 제시한 분류법에 더하여 사운드의 음향학적 특성이나, 질감, 느낌 등을 고려한 새로운 사운드 분류법을 디자인하고 더 광범위한 메타버스 플랫폼을 일반화하여 사운드들을 분석한다면 사운드 디자이너들이 실무적으로 활용할 수 있는 효과적인 자료가 될 것이다.

References

1. Cho, Y.K., The Power of Virtual Space Proven by Zepeto, Customers, not just consumers, but active participants, Donga business review, https://dbr.donga.com/article/view/1202/article_no/9979/ac/magazine (retrieved March, 2021).

2. Choi, J.H., Developing teaching and learning programs that make music a part of everyday life using Soundscape. Music Education Research, 48(3), 197-216, 2019.

3. Han, M.H. and Kim, S.W., A Study on the Soundscape Design for the Creation of a Pleasant Sound Environment in Urban Space - Residents' Sense of Amenity and Sound Environment in Residential Environment - Korean Architectural Society Paper Collection, 18(6), 117-125, 2002.

4. Hwang, I.H., Kim, J.S. and Lee, I.H., The effect of metaverse presence on the intention to continue using through the user's motivation to use: the moderating effect of normative interpersonal sensitivity. Venture Start-up Research, 17(3), 119-133, 2022.
Google Scholar

5. Jang, S.H., "A case study on moral education's teaching-learning to enhance the "presence" in video lectures - Focusing on the "Elementary Moral Education 2" course -". Korean Elementary Moral Education Society, 71, 77-118, 2021.

6. Kim, J.Y. and Yu, H.J., The effect of auditory factors on the perception of channel brand identity -Focused on female lifestyle channels-. Design Convergence Study, 12(4), 291-306, 2013.

7. Kim, J.Y., Youth Gamers Welcome to the Metaverse World...Prefer digital experience for both gaming and social activities, Coding world news, https://www.codingworldnews.com/news/articleView.html?idxno=11431 (retrieved July 28, 2022).

8. Kim, M.Y., The relationship between Spatial Information and Visual AI in the Metaverse. Proceedings of Korean Society for Geospatial Information Science, 129-132, 2021.

9. Kim, Y.J. and Kwon, Y.K., A Study on User Perception of the MZ Generation for the Introduction of Metaverse in Public Libraries. Journal of Information Management Society, 39(3), 217-240, 2022.

10. Kwon, H.R., "Do you want to meet a college student?" The guy from Zepeto, the elementary student, Joongang news, https://www.joongang.co.kr/article/24113027#home (retrieved July 24, 2021).

11. Lee, S.W., "Analysis of Academic Discourse on Metaverse Using Big Data Research Methodology", Journal of the Korean Film Society, 20(3), 5-17, 2022a.

12. Lee, J.W., Effects of Metaverse Participants Interactivity and Experience Value on Continuous Use Intention. Korea Research Academy of Distribution and Management Review, 25(4), 103-115, 2022b.

13. Namkung, K.C. and Pan, Y.H., A Study on Structuring Sound Identity. KSDS Conference Proceeding, 36-37, 2017.

14. Namkung, K.C. and Pan, Y.H., Proposal of Evaluation Method Based on Lens Model for Verification of Sound Design Identity Specialized in Sound Logo -. Journal of Integrated Design Research, 17(3), 69-78, 2018a.

15. Namkung, K.C. and Pan, Y.H., A Study on the Structural Definition of Sound Identity for Brand Management in Corporate Auditory Communication. A Journal of Brand Design Association of Korea, 16(3), 245-254, 2018b.

16. Ryu, S.H., Yun, H.J., Park, J.H. and Chang, Y.H., Thesis of the Metaverse Concept and Proposing Research Direction. Knowledge Management Research, 23(2), 1-13, 2022.

17. Schafer, Murray R., Soundscape - Tuning the World, Kmulco Press, Seoul, 2008.

18. Shin, H., Song, M.J., Kook, C. and Jang, G.S., The Classification of Soundscape Design Types. Proceedings of the Korean Society of Noise and Vibration Engineering Conference, 720-725, 2006.

19. Son, H.R. and Lee, C.K., A Study on Metaverse Platform Types and Characteristics According to Purpose of Use and Experience Method. Journal of Digital Contents Society, 23(11), 2181-2190, 2022.
Google Scholar

20. Song, W.C., Hwang, D.W. and Jeong, D.H., Metaverse and Media Abundance: The Impact of UI Design on User Experience. Knowledge Management Research, 23(2), 83-98, 2022.

21. Song, W.I., A Case Study on the New Cultural Space for Youth: focusing on the Meta-verse platform Zepeto. Forum For Youth Culture, 75-120, 2022.

22. Yang, E.B. and Ryu, J.H., The effect of sound implementation method for emotional conditions in virtual reality-based scenarios on virtual reality. Educational Engineering Research, 37(4), 917-942, 2021.

PIDS App ServiceClick here!

Download this article

Full text file: PDF
Citations
XML Download

Submit your research

Jump to: