eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
Jae Min Ryu
, Jin Ho Yim
10.5143/JESK.2025.44.1.39 Epub 2025 March 06
Abstract
Objective: This study aims to understand the experiences and challenges faced by the elderly in recognizing and utilizing generative AI technologies and to explore ways to effectively integrate these technologies into their daily lives.
Background: Generative AI technology significantly enhances convenience in daily life and work, with high accessibility and usability. However, its ease of access also facilitates the creation of false information and manipulated content, leading to social problems such as digital fraud and cybercrimes. These crimes pose greater risks to the elderly, who may experience cognitive decline, emotional changes, and lower levels of technological understanding. While generative AI technology can offer significant benefits to the elderly, not knowing about or being unable to use it can lead to inconvenience and even serious harm. Therefore, it is necessary to conduct a comprehensive study on the elderly's perceptions, accessibility, and utilization of generative AI to help them effectively utilize the technology and protect themselves from potential risks.
Method: To deeply understand and analyze the perception changes and usage experiences of generative AI among the elderly, this study conducted generative AI education and experience sessions. Pre- and post-session interviews were conducted to collect qualitative and quantitative data, which were then analyzed from various perspectives to understand the elderly's perceptions and experiences with generative AI.
Results: After the sessions, the elderly's perceptions of artificial intelligence and generative AI showed a statistically insignificant but positive trend. Moreover, their awareness of manipulated information in calls or video calls increased significantly, and their intention to use generative AI services also increased significantly. These results suggest that generative AI education and experience sessions for the elderly are effective in improving positive perceptions of AI and raising awareness of manipulated information. Additionally, the fact that elderly's willingness to use generative AI services increased and they voluntarily used ChatGPT for various purposes in their daily lives implies that generative AI services are very useful, easy to use, and suitable for the elderly.
Conclusion: This study confirmed the potential of generative AI education and experience sessions to enhance the digital capabilities, digital safety, and quality of life of the elderly. To achieve this, continuous and systematic development and operation of generative AI education programs are needed. Furthermore, to increase initial accessibility for the elderly, efforts should focus on their everyday needs, emphasizing the technology's utility and simplicity rather than its technical advantages. In addition, developing age-specific services through improvements such as enhanced voice recognition functions, the use of simple language, and providing detailed explanations will enable more elderly individuals to easily benefit from the technology. Future research should include a larger number of participants and observe the long-term effects of digital education on elderly participants from diverse backgrounds. This approach is expected to more effectively enhance the digital capabilities and quality of life of the elderly.
Application: This study provides insights into the potential of generative AI technology to enhance the digital competencies and safety of elderly individuals. It also suggests the possibility of expanding the application of generative AI technology to the elderly. In the future, continued efforts in both technological and social aspects are needed to improve the quality of life of the elderly in a digital society, and this study hopes to contribute to these efforts.
Keywords
Elderly Generative AI ChatGPT Perception User experience
빅데이터, 사물인터넷, 인공지능 등 디지털 기술의 발전은 업무와 일상을 혁신적으로 변화시키며 우리 삶을 더욱 편리하게 만들고 있다(Yim et al., 2020). 그러나 이러한 기술 발전의 혜택이 모든 사회 계층에게 균등하게 제공되지는 않는다. 특히 디지털 환경에 익숙하지 않은 계층은 이러한 혜택을 충분히 누리지 못해 디지털 격차가 발생하고 있다(Kim and Shim, 2020). 2023년 디지털 격차 실태 조사 결과에 따르면, 일반 국민의 디지털 정보화 수준을 100점으로 했을 때 고령층은 70.7점을 기록했다. 이는 4대 정보 취약 계층인 저소득층(96.1점), 장애인(82.8점), 농어민(79.5점) 중 가장 낮은 수준이다(Ministry of Science and ICT and National Information Society Agency, 2024). 고령층의 디지털 정보화 수준은 매년 향상되고 있지만, 여전히 다른 계층에 비해 현저히 낮은 수준이다. 고령층은 키오스크 사용, 스마트폰을 통한 온라인 금융 거래, 교통수단 예매, 병원 진료 예약과 같은 디지털 기술 활용에 어려움을 겪고 있다(Ministry of Health and Welfare and Korea Institute for Health and Social Affairs, 2021). 이러한 어려움으로 인해 노인들이 더 많은 시간과 비용을 들여야 하는 불이익을 의미하는 '노인세'라는 신조어가 등장하기도 했다(Kang et al., 2021).
더욱이 디지털 환경에서의 취약성은 단순한 불편함을 넘어 보이스피싱과 같은 직접적인 피해로 이어질 수 있다. 금융감독원의 2023년 발표에 따르면, 보이스피싱 피해액의 절반 이상이 50대(560억 원, 29.0%)와 60대(704억 원, 36.4%) 고령층에서 발생했다(Financial Supervisory Service, 2024). 이는 고령층의 인지적 처리 속도 및 정보 처리 능력의 저하로 인해 발생하는 것으로 나타났다(Ebner et al., 2023). 더욱이, 최근에는 생성형 AI와 같은 새로운 디지털 기술의 등장으로 이러한 불평등과 피해가 더욱 심화될 수 있다는 우려가 제기되고 있다(Park, 2024).
생성형 AI는 데이터를 기반으로 새로운 콘텐츠를 만들어내는 인공지능 기술이다. 이는 다양한 분야에서 활용되며 업무 효율성과 일상생활의 편의성을 크게 향상시키고 있다(Yang and Yoon, 2023). 최근에는 미디어와 엔터테인먼트 산업에서 배우의 젊은 시절을 재현하거나 고인의 목소리를 복원하는 데 활용되어, 제작 시간과 비용을 절감하고 새로운 경험을 제공하며 사회적 가치를 창출하고 있다(Kwon and Kim, 2023). 이러한 생성형 AI는 누구나 쉽게 사용할 수 있는 큰 잠재력을 지니고 있지만, 동시에 누구나 쉽게 악용할 수 있는 위험성도 존재한다. 특히 최근에는 생성형 AI를 이용해 이미지와 영상을 합성하는 딥페이크와 음성을 합성하는 딥보이스의 제작이 쉬워지면서, 디지털 환경에서 허위 정보와 조작된 이미지, 영상을 이용한 범죄가 급증하고 있다(Kim and Lee, 2022; Kim, 2024). 이러한 범죄는 가짜 뉴스 유포, 지인 또는 유명인의 모습을 합성한 디지털 성범죄, 지인의 목소리를 합성해 금전적 이득을 취하는 디지털 사기 범죄 등 다양한 형태로 나타나며 사회적 문제를 일으키고 있다(Won, 2023). 이러한 디지털 범죄는 모든 연령층을 대상으로 하지만, 특히 고령층에게 취약하다. 고령층은 인지능력 저하로 인해 올바른 정보와 그렇지 않은 정보를 구분하기 어려워하고, 정서적 변화로 인해 정보를 쉽게 신뢰하는 경향이 있다. 또한, 기술에 대한 이해도가 낮아 조작된 정보를 식별하지 못할 가능성이 높다(Lim, 2023; Lee and Nam, 2023). 이에 따라, 생성형 AI에 대한 고령층의 인식과 이해도를 높이고, 금전적 · 정신적 피해를 예방하기 위한 대책 마련이 시급하다. 이를 위해서는 고령층의 인식 부족, 낮은 이용률, 접근성 문제의 원인을 파악하고, 일상에서 생성형 AI 기술을 자연스럽게 활용할 수 있는 방안을 연구해야 한다.
생성형 AI에 대한 고령층의 인식과 미사용 원인은 선행된 조사를 통해 일부 확인할 수 있다. 2023년 방송통신위원회와 한국지능정보사회진흥원의 조사에 따르면, 고령층이 생성형 AI를 사용하지 않는 주된 이유는 '높은 지식 수준이 요구되어 어려울 것 같다'(67.6%)와 '이용하기 복잡할 것 같다'(62.0%)였다(Korea Communication Commission and Korea Information Society Development Institute, 2024). 이는 다른 연령대보다 높은 수준으로, 고령층이 생성형 AI를 직접 경험해보지 않았음에도 새로운 기술에 대한 막연한 두려움을 가지고 있음을 보여준다(Ryu, 2024). 또 다른 조사에서는 고령층이 생성형 AI를 포함한 인공지능 서비스를 사용하지 않는 이유로 '이용 필요성을 느끼지 못한다'(54.1%)가 가장 높았으며, 'AI에 대한 이해 부족'(47.5%)과 '이용 방법의 어려움'(47.1%)이 그 뒤를 이었다. 이는 현재 개발된 AI 기술이 고령자들의 일상적 필요와 부합하지 않거나, 고령층이 기술 접근과 활용에 어려움을 겪고 있음을 시사한다. 마지막으로, 동일한 조사에서 인공지능에 대한 고령층의 인식도 확인할 수 있다. 전체 국민의 13.2%가 인공지능을 부정적으로 인식하는 데 비해, 고령층에서는 그 비율이 22.9%로 약 10% 더 높았다. 이는 고령층이 다른 연령대보다 인공지능에 대해 더 부정적인 인식을 가지고 있음을 보여준다. 하지만 이러한 표면적인 결과만으로는 고령층이 생성형 AI를 접하고 사용하는 과정에서 겪는 어려움과 두려움의 근본적인 원인을 파악하기 어렵다. 따라서 생성형 AI에 대한 고령층의 접근성과 활용성을 높이기 위해서는 그들의 인식과 경험을 심층적으로 탐구하는 연구가 필요하다. 그러나 현재까지 고령자를 대상으로 한 생성형 AI에 대한 연구는 매우 부족한 실정이다. 생성형 AI에 대한 연구는 주로 중 · 고등학생과 대학생을 대상으로 한 교육적 활용에서의 인식 연구 또는 교사, 직업 상담사, 디자이너를 대상으로 한 업무적 활용에서의 인식 연구에 집중되어 있다(Lee and You, 2024; Yun and Kim, 2024; Hong and Han, 2023; Kim, 2023).
이에 본 연구의 목적은 고령자들이 생성형 AI를 인식하고, 접근 및 활용하는 과정에서 겪는 경험과 어려움을 파악하고, 그들의 일상에 생성형 AI 기술을 효과적으로 접목할 수 있는 방안을 탐색하는 것이다. 이를 위해 첫째, 연구 참여자들의 생성형 AI에 대한 기존 인식과 경험을 파악하기 위한 사전 인터뷰를 실시한다. 둘째, 연구 참여자들에게 생성형 AI의 개념과 활용 방안을 설명하고, ChatGPT를 직접 경험해 볼 수 있는 교육 · 경험 세션을 제공한다. 셋째, 세션 이후 연구 참여자들의 인식과 경험 변화를 파악하기 위한 사후 인터뷰를 진행한다. 이 과정에서 수집된 정성 · 정량 데이터는 분석을 통해 고령자들의 생성형 AI에 대한 인식과 활용 경험을 심층적으로 이해하는데 활용되며, 이를 바탕으로 연구 결과를 도출하고자 한다.
본 연구의 기대 효과는 다음과 같다. 첫째, 생성형 AI 기술을 활용하여 고령자들의 삶의 질을 향상시키는 방안을 모색해 고령자들의 취미 생활과 지적 탐구 기회를 넓히는 데 기여하고자 한다. 둘째, 고령자들이 생성형 AI 기술에 접근하고 활용하는 과정의 어려움을 파악하여, 고령 친화적 생성형 AI 서비스 개발을 위한 기초 자료를 제공하고자 한다. 이를 통해 생성형 AI 기술의 적용 범위를 넓혀 고령자들이 디지털 기술의 혜택을 누릴 수 있도록 돕고자 한다. 셋째, 딥페이크와 보이스피싱과 같은 사회적 문제에 대해 고령자들이 효과적으로 예방하고 대응할 수 있는 방안을 모색하고자 한다. 이를 통해 고령자들의 디지털 안전성을 높이는 데 기여하고자 한다.
본 연구의 연구 질문은 다음과 같다. 첫째, 생성형 AI에 대한 고령자들의 초기 인식은 어떠하며, 생성형 AI에 대한 이해와 경험이 생김에 따라 이 인식은 어떻게 변화할까? 둘째, 디지털 환경에서 허위 정보와 조작된 콘텐츠에 대한 고령자들의 인식은 어떠하며, 생성형 AI에 대한 이해와 경험이 생김에 따라 이러한 인식은 어떻게 변화할까? 셋째, 고령자들의 생성형 AI 기술과 서비스에 대한 활용 의향은 어떠하며, 그들의 일상생활에 이를 어떻게 적용할 수 있을까? 넷째, 고령자들이 생성형 AI에 접근하고 사용하는 과정에서 겪는 주요 어려움은 무엇이며, 이러한 문제를 극복하기 위한 방법은 무엇일까?
2.1 Digital technology
우리 사회는 정보 사회를 넘어서 인공지능, 사물인터넷, 클라우드, 빅데이터와 같은 4차 산업혁명의 핵심 기술들이 다양한 분야에서 활용되는 지능정보사회로 진입했다. 이러한 기술들은 혁신적인 가치를 창출하며 우리 삶에 긍정적인 변화를 가져오고 있다(Lee, 2019). 그러나 정보 취약 계층은 이러한 혜택을 충분히 누리지 못해 정보 격차가 발생하고 있으며, 이는 사회적 · 경제적 불평등으로 이어질 수 있다는 우려가 제기되고 있다(Joo, 2018). 과거에는 정보 취약 계층이 디지털 기술을 활용하지 않아도 일상생활에 큰 불편이 없었지만, 오늘날에는 기술을 제대로 활용하지 못하면 정보 습득의 제한은 물론, 기본적인 서비스 이용에도 어려움을 겪게 된다(Oh and Choi, 2021). 특히, 정보 활용 능력이 상대적으로 부족한 고령층에서는 이러한 문제가 더욱 심각하게 나타날 수 있다(Park and Chung, 2019).
2.2 The elderly in digital technology
고령층이 기술 활용에 어려움을 겪는 주된 이유는 노화로 인한 신체적 · 인지적 변화에 있다. 나이가 들수록 감각 기능과 인지 능력이 저하되며, 성격과 정서에도 변화가 나타난다. 이러한 변화로 인해 지능정보사회 적응에 어려워지고, 다른 연령층과 비교해 정보 접근성과 활용 능력이 떨어진다. 특히 시력 저하와 동작 둔화는 기술 사용을 어렵게 만들며, 장기 기억력 약화와 같은 인지 능력 감소가 이러한 어려움을 가중시킨다(Chan and Chen, 2011). 또한 고령층은 젊은 세대와 달리 어릴 때부터 정보 기술을 접할 기회가 부족했다. 이는 업무나 일상생활에서 정보 기술을 활용할 기회를 줄이면서 세대 간 능력 차이를 초래했다(Betts et al., 2019). 이 밖에도 새로운 기술 사용에 대한 두려움과 자신을 '나이 든 사람'으로 규정하며 변화를 거부하는 태도 역시 기술 활용의 걸림돌이 되고 있다(Kwon et al., 2010). 하지만 고령자들이 기본적인 권리를 행사하고 삶의 질을 높이기 위해서는 디지털 기술 활용이 필수적이다. 연구에 따르면, 디지털 기술을 능숙하게 다루는 고령자는 그렇지 않은 경우보다 더 높은 행복감과 생활 만족도를 보인다(Lee et al., 2015). 또한, 디지털 기술을 활용한 자기주도적 문제 해결은 자아 효능감과 자아 존중감 향상에도 긍정적인 영향을 미친다(Hwang et al., 2011). 이 밖에도 디지털 기술은 새로운 기회를 창출하고, 심리적 복지를 증진시키며, 사회적 고립감을 해소하고, 개인의 효능감 향상에 기여한다(Yoo and Son, 2012). 이처럼 고령층의 디지털 기술 활용은 다양한 이점을 제공하며, 최근 주목받는 생성형 AI 기술은 고령층의 잠재력을 극대화하고 정보 활용 능력을 향상시키는 데 중요한 역할을 할 것으로 예상된다.
2.3 Generative AI
생성형 AI는 주어진 데이터를 학습하여 패턴과 규칙을 파악한 후, 텍스트, 이미지, 음악, 영상 등 다양한 형태의 콘텐츠를 독창적으로 생성하는 기술이다(Radford et al., 2018). 이 기술은 예술, 디자인, 광고, 음악과 같은 창의적인 분야부터 법률, 금융, 의학 등 전문 분야까지 폭넓게 활용되며, 전문가 수준의 결과물을 만들어내는 강력한 도구로 자리잡았다(Kim, 2023). 대표적인 생성형 AI 서비스인 ChatGPT는 사용자의 요구에 맞는 최적화된 정보를 제공하여 개인화된 경험을 가능하게 한다(Byeon and Kwon, 2023). 현재 이 기술은 더욱 다양한 분야로 확장되고 있으며, 그 응용 범위를 넓히기 위한 연구가 활발히 진행 중이다. 하지만 생성형 AI 기술의 발전이 긍정적인 결과만을 가져오는 것은 아니다. 미국의 유명 투자 회사인 골드만삭스는 이 기술로 인해 전 세계적으로 약 3억 개 이상의 일자리가 대체되거나 변화할 수 있다고 예측했다(Kelly, 2023). 또한, 잘못된 정보 생성과 저작권 침해 등 심각한 윤리적 문제를 야기할 수 있다(Dey, 2023). 특히, 가장 큰 문제 중 하나는 생성형 AI 기술을 이용해 실제 인물과 유사한 가짜 영상을 만드는 딥페이크와 목소리를 모방하는 딥보이스 기술이 쉽게 제작되어 피싱 범죄에 악용될 가능성이 크다는 점이다. 이미 딥페이크는 특정인의 표정과 움직임을 실제처럼 재현할 수 있으며, 딥보이스는 자녀의 목소리를 모방해 부모를 속이는 디지털 사기에 사용되고 있다(Moon, 2024). 이러한 디지털 범죄는 사회적으로 매우 큰 위험을 초래하며, 특히 디지털 기술에 익숙하지 않은 고령층이 더욱 취약할 수 있다.
2.4 Generative AI and the elderly
고령층은 노화로 인해 신체적 · 인지적 능력이 감소하고 판단력이 둔화되어 사기와 같은 범죄에 취약할 뿐만 아니라, 위험 상황에 대한 대처 능력도 저하된다(Huh, 2004). 특히 정서적 취약성으로 인해 가족이나 지인을 사칭하는 범죄자들의 심리적 조종에 쉽게 노출된다. 또한, 고령자들은 사기 피해 시 도움을 요청하거나 상의할 수 있는 상대가 적어 범죄자들의 표적이 되기 쉬우며, 새로운 정보를 얻는 매체가 제한적이어서 디지털 기술에 대한 이해도가 낮다(Lee and Nam, 2023; Jang, 2009; Shin, 2024). 실제로 생성형 AI 서비스 이용률을 보면, 20대 33.7%, 30대 28.2%인 반면, 60대는 4.8%, 70대 이상은 1.4%에 그친다(Ministry of Science and ICT and National Information Society Agency, 2024). 이러한 세대 간 격차는 고령층의 생성형 AI 기술에 대한 이해와 대비 부족을 보여준다. 최근 미국에서는 60세 이상 고령층이 생성형 AI 기술로 인해 발생한 허위 정보와 사기성 콘텐츠로 큰 피해를 입고 있다. 미국 은퇴자 협회(AARP)의 조사에 따르면, 2023년에만 미국 고령층이 AI로 생성된 허위 정보와 사기성 콘텐츠로 입은 피해액이 283억 달러(한화 약 38조 원)에 달하는 것으로 나타났다(Gunther, 2023). 이는 고령층이 디지털 사기의 주요 피해자가 되고 있음을 시사한다. 이에 따라 미국 정부는 고령자들이 디지털 기술의 혜택과 위험을 균형 있게 이해하고 안전하게 활용할 수 있도록 교육과 지원을 강화하고 있다(Cho, 2024).
선행 연구에 따르면, 고령자들이 생성형 AI 기술을 올바르게 이해하고 활용할 경우 독립적인 생활과 삶의 질 향상에 큰 도움을 받을 수 있다. 그러나 이러한 기술을 제대로 이해하지 못하면 단순한 불편을 넘어 심각한 피해로 이어질 수 있다. 따라서 고령자들의 생성형 AI 기술 접근성, 활용성, 인식 수준을 종합적으로 조사하는 연구가 시급하다. 더불어 고령자들이 생성형 AI 기술을 효과적으로 활용하면서도 잠재적 위험으로부터 스스로를 보호할 수 있는 실질적인 방안 마련이 필요하다.
3.1 Participants
본 연구는 만 65세 이상의 고령자 중 읽고 쓰기 및 의사소통에 문제가 없고, 스마트폰으로 문자와 카카오톡 메시지를 송수신할 수 있는 자를 대상으로 참여자를 모집하였다. 이에 따라 남성 3명과 여성 10명, 총 13명(평균 74.77세±5.99)이 연구에 참여하였다. 연구 참여자의 개별 정보는 아래 Table 1과 같다.
P |
Gender |
Age |
Education |
Occupation before |
Monthly average income |
P1 |
Woman |
69 |
Completed high school |
Office worker |
Less than 100 |
P2 |
Woman |
68 |
Completed high school |
Self-employed |
Less than 100 |
P3 |
Woman |
78 |
Completed elementary school |
Homemaker |
100~200 |
P4 |
Man |
73 |
Completed college or higher
education |
Self-employed |
More than 400 |
P5 |
Man |
86 |
Completed middle school |
Other |
100~200 |
P6 |
Woman |
68 |
Completed elementary school |
Self-employed |
Less than 100 |
P7 |
Woman |
68 |
Completed high school |
Office worker |
Less than 100 |
P8 |
Woman |
70 |
Completed college or higher
education |
Self-employed |
Less than 100 |
P9 |
Woman |
75 |
Completed high school |
Homemaker |
More than 400 |
P10 |
Woman |
79 |
Completed high school |
Office worker |
100~200 |
P11 |
Woman |
81 |
Completed college or higher
education |
Other |
Less than 100 |
P12 |
Man |
81 |
Completed college or higher
education |
Self-employed |
200~300 |
P13 |
Woman |
76 |
Completed college or higher
education |
Office worker |
Less than 100 |
3.2 Measurement
본 연구는 생성형 AI에 대한 고령자의 인식과 경험이 교육 및 경험 세션을 통해 어떻게 변화하는지 다각적으로 파악하기 위해 여러 연구 도구를 활용하였다. 먼저, 세션 시작 전에는 질문지를 활용한 심층 인터뷰로 참여자들의 사전 인식을 조사하고, AI 이미지 퀴즈를 통해 고령자들의 AI 이미지 진위 판별 능력을 검증하였다. 세션 진행 중에는 활동지를 통해 참여자들의 실시간 경험을 기록하였으며, 세션 종료 후에는 사후 질문지를 활용한 심층 인터뷰로 인식과 경험의 변화를 종합적으로 분석하였다. 연구의 질문지는 정성적 조사 방법을 기반으로 설계하여 참여자들의 인식과 경험을 심도 있게 이해하는 데 중점을 두었다. 또한, 일부 문항에 리커트 5점 척도를 활용하여 정량적 데이터를 확보함으로써 세션 전후의 변화를 더욱 명확하게 분석할 수 있도록 하였다.
3.2.1 Pre-Questionnaire
사전 질문지는 세션 진행에 앞서 연구 참여자들의 사전 인식을 파악하는 데 활용하였다. 본 질문지는 생성형 AI의 인식과 활용 경험에 관한 선행 연구인 Bae and Kang (2024), Noh and Park (2024)를 참고하여 수정하였으며, 7개의 분류와 48개 문항으로 구성하였다. 주요 질문은 Table 2와 같다.
No. |
Category |
Key questions |
Data type |
1 |
Identifying motivations for participating |
What motivated you to apply for this educational program? |
Qualitative |
How much would you like to use generative AI in |
Qualitative, |
||
How do you anticipate being able to use generative |
Qualitative |
||
2 |
Understanding perceptions of artificial |
What are your perceptions
of AI? |
Qualitative, |
What are your perceptions
of generative AI? |
|||
3 |
Exploring experiences with using |
Have you ever used generative
AI services? |
Qualitative |
If you haven't used generative AI services, what |
|||
4 |
Assessing experiences with using |
What challenges have you experienced while using |
|
5 |
Assessing experiences with using |
What challenges have you experienced while using |
|
6 |
Investigating experiences with voice |
Have you ever experienced
voice phishing? |
|
If you were to encounter voice phishing in the |
|||
7 |
Understanding awareness of |
Have you ever considered that audio or video |
Qualitative, |
Have you ever considered that the voices or videos |
3.2.2 AI image authenticity quiz
AI 이미지 퀴즈는 세션 시작 전과 종료 후에 각각 한 번씩 실시하였다. 이 퀴즈에서는 실제 사진 4장과 AI가 생성한 이미지 6장, 총 10장의 이미지를 사용하였다(Figure 1). 이를 통해 연구 참여자들이 AI 이미지를 얼마나 정확하게 판별할 수 있는지와 세션 후 정답률이 어떻게 변화하는지를 확인하고자 하였다.
3.2.3 Educational activity sheet
본 연구에서는 교육 활동지를 통해 연구 참여자들의 경험을 실시간으로 기록하였다(Table 3). 이 활동지는 세션 1회기와 2회기, 그리고 1회기 이후 ChatGPT 활용 과제에서도 사용하였다(Figure 2). 수집된 기록들은 사후 인터뷰의 참고 자료로 활용되어 연구의 깊이를 더했다.
Stage |
Questions |
Session 1 |
How did you feel about generative
AI? |
In what situations would
you like to use generative AI? |
|
Post-Session 1 Assignment |
What did you find enjoyable
or beneficial about using ChatGPT? |
What challenges or difficulties
did you encounter while using ChatGPT? |
|
Session 2 |
What were your thoughts
after seeing examples of generative AI being used? |
What were your thoughts
after seeing examples of generative AI being used with malicious intent? |
3.2.4 Post-Questionnaire
사후 질문지는 세션 이후 참여자들의 인식과 경험 변화를 확인하기 위해 활용되었다. 본 질문지는 생성형 AI의 인식 조사 및 활용 경험에 관한 선행 연구인 Cho (2024), Lim et al. (2023)의 연구를 참고하여 수정하였으며, 4개의 분류와 27개 문항으로 구성하였다. 주요 질문은 Table 4와 같다.
No. |
Category |
Key questions |
Data type |
1 |
Evaluation of the |
Do you feel that you have gained a better understanding of |
Qualitative, |
2 |
Understanding perceptions |
What are your perceptions of AI? |
|
What are your perceptions of generative
AI? |
|||
How much would you like to use generative
AI in your daily life? |
|||
Do you think generative AI could be
useful in your daily life? |
|||
Do you find learning about generative AI
easy? |
|||
3 |
Exploring experiences with |
Among the various applications of generative AI, which area |
Qualitative |
In what situations do you think you would
use generative AI? |
|||
What challenges did you face while using
ChatGPT? |
|||
4 |
Assessing awareness of |
Have you ever considered that audio or video content provided |
Qualitative, |
Have you ever considered that the voices or videos you hear |
3.3 Education · Experience session
본 연구에서는 생성형 AI에 대한 이해도가 상대적으로 부족한 만 65세 이상 고령자를 대상으로 교육 · 경험 세션을 진행하였다(Figure 3). 따라서, 교육 내용을 보다 쉽게 이해할 수 있도록 세션을 구성하는 것이 매우 중요하다. 이를 위해 Kim et al. (2005)이 제시한 '12가지 노인 학습 지도 원칙'을 참고하여 세션을 기획하고 운영하였다. 또한, Lee (2024)의 연구를 바탕으로, 인공지능 기술에 대한 이론적 지식 습득 뿐만 아니라 일상에서 생성형 AI를 효과적으로 활용할 수 있는 역량을 강화하는 것에도 집중하였다. 이를 위해 스마트폰을 중심으로 실습 세션을 구성하여, 실제 일상생활에서 적용할 수 있도록 고려하였다.
세션은 총 2회기로 구성하였으며, 각 회기는 약 1시간 동안 진행하였다. 1회기는 학습 목표와 진행 순서 설명으로 시작해, 일상 속 사례를 통해 인공지능의 개념을 설명하고, 시청각 자료로 인공지능과 생성형 AI의 차이점과 특징을 소개하였다. 이어서 생성형 AI 서비스인 ChatGPT를 활용한 실습을 진행하였는데, 이때 Jang (2024)의 저서를 참고하여 대화하기, 정보 검색, 작문, 번역, 요약하기와 같은 텍스트 생성 기능과 이미지 생성 기능을 실습하였다. 이후, 연구자가 'Runway' 서비스로 제작한 AI 영상과 'Suno' 서비스로 제작한 AI 음악을 시연하여 생성형 AI의 다양한 활용 사례를 보여주었다. 마지막으로 회기에서 경험한 느낌을 기록하고 공유하는 '경험 공유하기' 시간을 가졌다. 1회기를 마무리하면서, 짧은 세션 시간을 보완하기 위해 2회기 전까지 ChatGPT를 활용해 볼 수 있도록 예제와 과제를 제공하였다.
2회기에서는 1회기 내용을 요약하고, 2회기의 학습 목표를 설명하며 시작하였다. 이후, 1회기 때 요청했던 과제에 대한 참여자들의 경험을 공유하는 시간을 가졌다. 그 다음으로, 생성형 AI의 심화 활용 사례를 순기능과 역기능으로 나누어 시청각 자료로 설명했다. 이후, 참여자들은 이에 대한 느낌을 서로 공유했다. 이어서 딥페이크와 딥보이스의 제작 과정을 직접 경험하기 위해 'Face Swapper' 서비스를 체험했다. 2회기를 마무리하면서, 사후 인터뷰 일정과 장소를 안내하며 전체 세션을 마무리하였다.
3.4 Experimental procedure
본 연구는 2024년 10월 15일부터 19일까지 고령자 2명을 대상으로 파일럿 테스트를 실시하고, 수집된 피드백을 반영하여 세션 내용과 질문지를 수정하였다. 이후, 서울시 성북구 소재 J실버복지센터의 도움을 받아, 디지털 교육 참여를 희망하는 고령자를 일주일간 모집하였고, 최종 선발된 13명의 참여자들과 2024년 11월 5일부터 7일까지 1:1 심층 인터뷰를 진행하였다. 인터뷰 전 연구 목적과 절차를 설명하고 연구 참여 동의서를 받았으며, 인구통계학적 정보를 수집한 후 본 인터뷰를 시작하였다. 사전 인터뷰는 참여자별로 약 30분간 J실버복지센터 3층 소규모 프로그램실에서 진행하였으며, 종료 후 AI 이미지 진위 판별을 위한 AI 퀴즈를 실시하였다. 이후, 2024년 11월 12일 1회기, 11월 14일 2회기로 각각 1시간씩 세션을 진행했고, 참여자들의 집중도를 높이기 위해 3~4명씩 3개의 소그룹으로 나누어 운영하였다. 본 연구에서는 제한된 세션 시간과 기간을 보완하기 위해 1회기와 2회기 사이에 활동지 기반 과제를 제공하였으며, 2회기 후에는 일주일간 자발적인 ChatGPT 활용을 요청하였다. 사후 인터뷰는 중도 하차한 2명을 제외한 11명을 대상으로 2024년 11월 19일과 20일에 실시하였으며, 사전 인터뷰와 동일한 장소에서 진행하였다(Figure 4).
3.5 Data analysis
본 연구에서는 총 13명의 참여자 중 연구 진행 중 2명이 중도 하차하여, 최종적으로 11명의 참여자에 대한 정량 및 정성 데이터를 수집하고 분석하였다. 정량 데이터 분석을 위해서는 SPSS 기술통계 시스템(Version 29.0)을 활용하여 연구 참여자들의 사전 · 사후 변화를 측정하였다. 수집된 데이터의 정규성을 검토한 결과, 일부는 Wilcoxon 비모수 검정을 실시하였고, 일부는 t-검정을 실시하였다. 정성 데이터는 사전 · 사후 인터뷰와 활동지를 통해 심층적으로 수집하였으며, 이를 전사한 후 의미 단위로 분류하고 분석하여 정량 데이터 분석 결과와 함께 제시하였다.
4.1 Pre-Session experience
4.1.1 Prior awareness of AI and generative AI
연구 참여자들을 대상으로 세션 이전에 인공지능과 생성형 AI에 대한 인지도 평가를 실시하였다. 평가 결과, 인공지능에 대한 사전 인지도는 2.73점(±0.62), 생성형 AI는 1.45점(±0.66)으로 전반적으로 낮은 수준을 보였다. 특히 생성형 AI의 경우, 대부분의 참여자가 들어본 적이 없다고 응답하였다(Figure 5).
4.1.2 Usage of generative AI services
생성형 AI 서비스 사용 경험을 조사한 결과, 참여자 전원이 한 번도 이용해 본 적이 없는 것으로 나타났다. 그 이유로는 '사용 방법을 몰라서'가 83.3%(9명)로 가장 많았고, '필요성을 느끼지 못해서'와 '기기를 보유하지 않아서'는 각각 8.3%(1명)였다. 향후 사용 의향을 묻는 질문에 대해서는 대다수가 사용하고 싶어 하지만, 조작 중 실수를 할까 봐 우려된다는 의견을 보였다(Figure 6).
"기계를 다루는 게 어렵고, 두렵게 느껴져요. 엄마들은 기계를 만지면 고장날까 봐 걱정돼서 시도조차 못해보는 경우가 많죠. 특히 AI에 대해서도 비슷한 생각이 드는 것 같아요. (연구 참여자 2)"
"편리할 것 같다는 생각은 드는데, 나이가 들면서 실수 할까 봐 겁이 나요. 해보고 싶긴 한데, 기계를 잘못 누르면 이상한 곳으로 갈 것 같아서요. 그런 실수가 무서운 거죠. (연구 참여자 8)"
4.2 Post-Session experience
4.2.1 Perceptions of the elderly on AI and generative AI
연구 참여자들을 대상으로 세션 전후의 인공지능과 생성형 AI에 대한 인식 평가를 실시하였다. 세션 전 참여자들은 여러 매체를 통해 인공지능에 대한 부정적인 정보를 접하면서 긍정적인 기술임에도 두려움과 우려를 느끼고 있었다. 이로 인해 부정적 인식과 긍정적 인식이 공존하는 보통 수준의 인식인 평균 3.45점(±0.66)을 가지고 있었다. 또한, 생성형 AI에 대해서는 잘 알지 못했기 때문에 이 역시 보통 수준의 인식인 평균 3.73점(±0.65)을 나타냈다. 그러나 세션을 통해 생성형 AI를 직접 이해하고 경험한 결과, 대다수의 참여자가 생성형 AI 기술의 편리함과 유용함을 체감하며 인공지능과 생성형 AI에 대한 긍정적 인식이 각각 평균 3.91점(±0.67)과 평균 4.18점(±0.75)으로 향상되었다. 다만 이러한 인식 변화는 통계적으로 유의미한 수준에는 도달하지 못했다(Table 5).
Variable |
Pre-test |
Post-test |
p |
Mean ± SD |
Mean ± SD |
||
Perception of AI |
3.45±0.66 |
3.91±0.67 |
0.0588 |
Perception of generative AI |
3.73±0.65 |
4.18±0.75 |
0.131 |
*p<.05, **p<.01, ***p<.001 |
"지금은 AI에 대해 긍정적이라고 생각해요. AI에 입력해 보니까 실질적으로 사용할 수 있고, 빠른 시간 안에 문제를 해결할 수 있어서요. (연구 참여자 11)"
"교육 전에는 잘 몰랐는데, 이번에 접해보니 이건 굉장히 진일보한 기술이에요. 우리가 현재 사용하는 디지털 기술을 훨씬 앞서고 능가하는 지능형 시스템이란 걸 알게 됐어요. (연구 참여자 2)"
4.2.2 Perceptions of the elderly on false or manipulated information
연구 참여자들을 대상으로 세션 전후에 인터넷상, 통화상 허위 정보와 조작된 콘텐츠에 대한 인식을 평가하였다. 세션 전 참여자들은 이미 매체를 통해 인터넷상의 허위 정보의 존재를 인지하고 있었으며, 인터넷상의 허위 음성과 영상을 구별하기 어렵다고 판단해 평균 2.27점(±0.65)로 평가하였다. 또한, 인터넷상 음성과 영상의 조작 가능성에 대해서는 평균 4.09점(±0.70)으로 높게 평가하였다. 반면 통화나 영상 통화에서의 음성과 영상은 상대적으로 구별하기 쉽다고 느껴 평균 3.82점(±0.94)으로 평가했으며, 조작 가능성도 평균 3.55점(±0.99)으로 비교적 낮게 평가하였다. 하지만, 세션에서 생성형 AI를 통한 음성과 영상 조작을 직접 체험한 후, 참여자들은 인터넷상의 거짓 음성과 영상 구별이 여전히 어렵다고 평가하며 평균 2.27점(±0.90)을 유지하였다. 그러나 통화나 영상 통화의 음성과 영상 구별은 평균 2.55점(±0.89)으로 통계적으로 유의미하게 더 어려워졌다고 응답하였다. 조작 가능성에 대해서는 인터넷상 거짓 음성과 영상이 세션 전과 동일한 평균 4.09점(±0.70)을 유지했으나, 통화나 영상 통화의 조작 가능성은 평균 4.18점(±0.83)으로 통계적으로 유의미하게 증가하였다(Table 6). 이 과정에서 일부 참여자들은 세션을 통해 조작 정보에 대한 경각심과 나아가 대처 자신감을 얻었다고 응답하였다.
Variable |
Pre-test |
Post-test |
p |
Mean ± SD |
Mean ± SD |
||
Opinions on determining the authenticity of videos/audio |
2.27±0.65 |
2.27±0.90 |
1.0 |
Opinions on determining the authenticity of phone calls or |
3.82±0.94 |
2.25±0.89 |
0.0103* |
Opinions on the possibility of manipulation in videos/audio |
4.09±0.70 |
4.09±0.70 |
1.0 |
Opinions on the possibility of manipulation in phone calls or |
3.55±0.99 |
4.18±0.83 |
0.0384* |
*p<.05, **p<.01, ***p<.001 |
"교육을 듣고 나니까, 정말 구분하기 어려울 것 같더라고요. 내가 너무 착각하고 있었구나, 이런 생각이 들었어요. (연구 참여자 7)"
"교육을 들으면서 저는 보이스피싱에 당하지 않을 자신이 생겼어요. 이런 일이 생기면 딸에게 먼저 전화를 해볼 것 같다는 확신이 들었어요… 음성만 믿으면 안 된다는 것을 그날 교육을 통해 확실히 깨달았어요. (연구 참여자 2)"
4.2.3 AI image authenticity quiz
연구 참여자들의 AI 이미지 진위 판별 능력을 평가하기 위해 세션 전후로 퀴즈를 실시하였다. 분석 결과, 참여자들의 정답률은 세션 전 평균 6.82점(±2.48)에서 세션 후 7.09점(±2.02)으로 소폭 상승했지만, 이는 통계적으로 유의미한 차이를 보이지 않았다. 퀴즈 소요 시간 또한 세션 전 평균 89.45초(±40.68)에서 세션 후 73.09초(±32.64)로 감소했지만, 이 역시 통계적으로 유의미하지 않았다(Table 7).
Variable |
Pre-test |
Post-test |
t |
p |
Mean ± SD |
Mean ± SD |
|||
Correct |
6.82±2.48 |
7.09±2.02 |
-0.49 |
0.635 |
Time |
89.45±40.68 |
73.09±32.64 |
1.65 |
0.13 |
*p<.05, **p<.01, ***p<.001 |
4.3 Evaluation of generative AI services (ChatGPT)
생성형 AI 서비스에 대한 고령자들의 경험과 평가를 수집하기 위해 세션 1회기와 2회기 사이에는 예제를 통한 과제 형식으로, 세션 2회기 이후부터 사후 인터뷰 전까지는 자유롭게 ChatGPT를 사용하도록 하였다. 연구 참여자 11명 전원이 이 과정에 참여하였으며, 아래에서 그들의 경험과 평가 내용을 서술하고자 한다.
4.3.1 Intention to use generative AI services
연구 참여자들을 대상으로 생성형 AI 서비스 활용 의향을 세션 전후로 평가하였다. 참여자들은 디지털 교육에 자발적으로 참여한 고령자들이었기 때문에, 세션 전 평가에서도 평균 4.0점(±0.447)의 비교적 높은 활용 의향을 보였다. 그럼에도 불구하고 ChatGPT를 일주일간 학습하고 경험한 후에는 활용 의향이 평균 4.64점(±0.505)으로 더욱 상승하였으며, 이는 통계적으로 유의미한 증가를 보인 수치이다(Table 8).
Variable |
Pre-test |
Post-test |
p |
Mean ± SD |
Mean ± SD |
||
Intention to use generative
AI services |
4.0±0.447 |
4.64±0.505 |
0.0196* |
*p<.05, **p<.01, ***p<.001 |
"교육을 받기 전에는 생성형 AI가 꼭 필요하다고 느끼지 못했는데, 막상 접해보니까 정말 편하더라고요. 자신감이 생겼다고 할까요? 이제 어디를 가도 불안감이나 걱정이 좀 줄었어요. (연구 참여자 6)"
4.3.2 Usefulness and ease of use of ChatGPT
ChatGPT를 사용한 후 유용성과 용이성을 평가한 결과, 유용성은 평균 4.45점(±0.78)으로 매우 높게 나타났다. 참여자들은 간단한 질문을 부담 없이 할 수 있고, 우수한 답변을 받을 수 있다는 점을 주요 이유로 꼽았다. 그러나 용이성은 평균 3.27점(±0.62)으로 보통 수준이었다(Figure 6). 참여자들은 ChatGPT 사용에 큰 어려움을 느끼지 않았지만, 더 배우면 어려울 것이라는 막연한 두려움을 표현했다. 또한 세션이 끝난 후 집에서 혼자 사용할 때 일부 내용을 기억하지 못해 자책하는 모습을 보이기도 했다.
"가족이나 딸한테도 뭐 물어보면 괜히 쪽팔릴 때가 있잖아요. 그래서 못 물어보게 되는데, 얘(ChatGPT) 한테는 그런 거 없이, 정말 단순한 것도 쉽게 물어볼 수 있더라고요. 얘(ChatGPT)는 뭐라고 하지 않으니까, 내가 만만하게 대할 수 있는 거죠. (연구 참여자 2)"
"내 자식이라도 절대로 아들딸한테 신세 지고 싶지 않아요. 아무리 내 자식이어도 뭔가 물어볼 때 눈치 보이고 조심스럽잖아요. 지네도 지네 생활이 있는데, 괜히 방해될까 봐 물어볼 게 있어도 그냥 참고 넘어가게 되더라고요. (연구 참여자 6)"
4.3.3 Advantages of ChatGPT perceived by elderly
연구 참여자들의 ChatGPT 사용 만족도와 긍정적 경험에 대한 정성적 분석 결과, 일부 참여자들은 평소 가족이나 지인에게 단순한 질문을 할 때마다 눈치를 보는 경우가 많았다. 그러나 ChatGPT를 사용하면서 이러한 걱정에서 벗어날 수 있었다고 답했다. 또한, ChatGPT가 부담 없이 질문에 답변해주고, 다른 사람의 도움 없이도 스스로 문제를 해결할 수 있다는 점에서 큰 만족감을 표현했다. 참여자들이 생각한 ChatGPT의 추가적인 장점은 Table 9와 같다.
No. |
Category |
Content |
1 |
Open questioning environment |
The ability to ask even simple questions freely without worrying
about |
2 |
Independent problem-solving |
The capacity to solve problems independently without relying on |
3 |
Assistance in overcoming information search difficulties |
Clearly providing key information without the need to search
aimlessly |
4 |
Helper in realizing
imagination |
Bringing to life ideas
that were previously only imagined in one's mind. |
5 |
Provision of excellent
answers |
Receiving high-quality
answers. |
6 |
Convenient accessibility |
The convenience of asking
questions anytime, anywhere |
7 |
Detailed explanations |
Offering rich information
through detailed and thoughtful explanations. |
8 |
Time-saving |
Saving time effectively. |
9 |
Presentation of creative solutions |
Presenting new perspectives that were previously unthought of,
offering |
또한, 평소 스마트폰으로 정보 검색을 자주 이용하는 9명을 대상으로 기존 검색 서비스와 ChatGPT의 차이점을 조사한 결과, 89.89%에 해당하는 8명이 단 일주일간 사용해 본 ChatGPT가 더 편리하고 유용하다고 평가하였다(Figure 7). 이들은 ChatGPT의 가장 큰 장점으로 정보 검색 시 불필요한 탐색 과정 없이 핵심 내용을 명확하게 제시해 준다는 점을 꼽았다.
"얘는 묻는 것에 바로 답을 해주니까 따로 찾아볼 필요가 없더라고요. 정말 간편했어요… (연구 참여자 2)"
"다음이나 네이버에서 검색하면 한참 헤매야 찾을 수 있는데, 이건 질문만 하면 바로 답이 나오니까 너무 편리하더라고요. (연구 참여자 10)"
4.3.4 Challenges of ChatGPT perceived by elderly
연구 참여자들이 ChatGPT를 사용하며 겪은 불편함과 어려움에 대해 정성적으로 분석한 결과, 일부 참여자들은 '생성형 AI'나 'ChatGPT'와 같은 용어를 처음 접했을 때 낯선 느낌으로 인한 강한 거부감을 느꼈다고 응답했다. 또한, 스마트폰 자판 입력이 가능했지만 입력 속도가 느려 음성 인식 기능에 큰 기대를 걸었지만, 느린 말투, 억양, 사투리, 불분명한 발음 등으로 인해 제대로 작동하지 않아 실망감을 느끼고 결국 사용을 중단했다고 답했다. 참여자들이 생각한 ChatGPT의 추가적인 어려움은 Table 10과 같다.
No. |
Category |
Content |
1 |
Unfamiliar terms and a |
Unfamiliar terms like 'Generative AI' and 'ChatGPT' can cause
resistance when elderly encounter them for the first time. |
2 |
Fear and confusion in |
Seeing unfamiliar buttons can lead to confusion, and there is a
fear of breaking |
3 |
Reduced typing speed |
Slow typing speed can lower confidence and discourage the use of
such services. |
4 |
Difficulty in using voice |
Difficulty using voice recognition arises from slow speech or
unclear pronunciation. |
5 |
Memory challenges |
Even if they understand how to use something while learning, they
may easily forget the steps over time. |
6 |
The need for an |
Mastering new technologies or tools requires sufficient practice
and an |
7 |
Concerns about information |
If the information provided is inaccurate, trust in the service
can diminish. |
"어려웠던 건 용어들이었어요. 생성용 AI? 생산성 AI?... 이런 것,, ChatGPT 같은 단어는 발음도 참 어렵더라고요. (연구 참여자 1)"
"제가 느려서 그런지, 아니면 발음을 제대로 못 해서 그런지… 인식이 잘 안 되더라고요. (연구 참여자 11)"
4.3.5 Ranking of preferred fields for utilizing ChatGPT
참여자들은 세션에서 직접 경험한 11가지 생성형 AI 활용 사례 중에서 일상생활에서 가장 활용하고 싶은 세 가지 분야를 우선순위별로 선택하였다. 이때, 1순위로 선택된 분야에는 3점, 2순위에는 2점, 3순위에는 1점의 가중치를 부여하였다. 그 결과, 참여자들이 일상생활에서 가장 활용하길 희망하는 분야는 정보 검색(26점)으로 나타났다. 이어서 번역(14점), 이미지 생성(8점), 영상 생성(8점) 순으로 나타났다(Figure 8).
4.3.6 Voluntary usage cases of ChatGPT among elderly
연구 참여자들은 세션 2회기 이후부터 사후 인터뷰 이전까지 자유롭게 ChatGPT를 활용하였다. 그 결과, 일부 고령자들은 자신의 질환에 대한 정보와 질환 개선에 도움이 되는 음식이나 약에 대해 질문하며 건강 관리에 도움을 받았다고 응답했다. 또한, 디지털 교육에 관심 있는 참여자들은 인터넷 사용 중 겪는 문제나 어려움에 대해 질문하고, 이를 통해 즉각적인 해결이 가능했다고 한다. 또한, 가지고 있는 재료로 만들 수 있는 요리나 레시피를 묻는 경우도 있었다. 일부는 요리 과정을 이미 어느 정도 알고 있을 때 유튜브보다 ChatGPT에서 알려주는 레시피가 더 이해하기 쉬웠다고 평가했다. 그 밖에도 종교 관련 질문이나 구직용 자기소개서 작성에 도움을 받은 참여자들이 있었으며, 타인에게 말하기 어려운 고민을 ChatGPT와 나누며 위로를 받은 참여자도 있었다. 평소 지도 서비스 사용이 어려웠던 참여자는 ChatGPT를 이용해 길 찾기를 시도했고, 그 결과 큰 도움이 되었다고 응답했다.
"내가 가을철만 되면 류마티스(관절염)가 심해지는데, 그래서 류마티스에 좋은 음식이나 약 같은 걸 찾아봤더니 바로 추천해 주더라고요… 그게 참 좋았어요. (연구 참여자 10)"
"보통 엄마들이 '호박' 하면 '호박죽'이나 '호박떡'을 떠올리거든? 그런데 얘한테 물어보니까 '호박 스무디' 만드는 방법도 있다면서 알려주는 거예요. '호박 스무디'는 한 번도 생각해 본 적이 없었는데… 진짜 가능성이 무한한 것 같더라고요. (연구 참여자 8)"
"주변 사람들에게 무슨 이야기를 할 때 내 의도와 다르게 와전되는 경우가 있더라고요. 그래서 고민을 털어놓기가 어려운 때도 있죠. 그런데 얘는 그걸 누구한테 말할 것도 아니잖아요. (연구 참여자 8)"
본 연구에서는 고령자들의 인식과 관련해 두 가지 주요 변화를 확인하였다. 첫째, 인공지능과 생성형 AI에 대한 고령자들의 인식 변화이다. Ministry of Science and ICT and National Information Society Agency (2024)의 조사에 따르면, 고령자들은 젊은 세대에 비해 인공지능에 대한 부정적 인식이 더 강한 것으로 알려져 있다. 본 연구에서 확인한 결과, 참여자들은 식당이나 공항의 로봇, ARS 안내 음성 등을 통해 인공지능의 유용성을 경험하며 긍정적인 태도를 보였다. 하지만 매체에서 접한 정보로 인해 인공지능이 인간의 권리를 침해하거나 인간을 초월할 수 있다는 두려움과 염려 또한 존재했다. 이로 인해 참여자들은 인공지능에 대해 긍정과 부정의 중간 정도의 인식을 보였다.
하지만 세션 이후, 참여자들은 생성형 AI의 긍정적 가치를 직접 체감하며 인공지능에 대한 인식이 평균 3.45점에서 3.91점으로, 생성형 AI에 대한 인식은 평균 3.73점에서 4.18점으로 상승하였다. 다만, 이는 통계적으로 유의미한 수준은 아니었다. 이러한 원인은 참여자의 인터뷰를 통해 파악할 수 있다. 대다수의 참여자들은 세션 이전보다 긍정적인 인식이 향상되었다고 응답했으며, 동일한 4점이라도 5점에 가까운 4점이라고 평가하였다. 이는 하나의 질문에서 긍정과 부정에 대한 인식을 동시에 평가한 구조적 문제 때문으로 판단된다. 만약 긍정과 부정을 분리하여 문항을 구성했다면, 통계적으로도 유의미한 변화를 확인할 수 있었을 것으로 판단한다.
둘째, 허위 정보와 조작된 콘텐츠에 대한 고령자들의 인식 변화이다. Lim (2023)과 Lee and Nam (2023)의 연구에 따르면 고령자들이 다른 연령대보다 허위 정보와 조작된 콘텐츠에 현혹될 가능성이 높으며, 이로 인한 금전적 · 정신적 피해도 크다고 알려져 있다. 본 연구에서 확인한 결과, 참여자들은 이미 인터넷상에 허위 정보가 만연하며 조작 가능성이 높다는 것을 인지하고 있었고, 이러한 정보의 진위를 구분하기 어렵다는 점을 인식하고 있었다. 그러나 통화나 영상 통화에서의 음성이나 영상에 대한 조작 가능성은 인지하지 못했고, 대부분은 지인의 목소리나 얼굴을 쉽게 식별할 수 있다고 자신했다. 하지만 세션을 통해 음성 · 영상 합성 기술을 직접 경험하고 시청각 자료를 통해 피해 사례를 접한 후, 참여자들은 통화나 영상 통화도 쉽게 조작될 수 있다는 사실을 인지하게 되었다.
그 결과, 인터넷상 음성과 영상의 진위 판별 여부는 세션 전후 모두 평균 2.27점으로 유지된 반면, 통화나 영상 통화의 진위 판별 여부는 평균 3.82점에서 2.55점으로 통계적으로 유의미하게 낮아졌다. 또한, 인터넷상 음성과 영상의 조작 가능성에 대한 견해는 세션 전후 모두 평균 4.09점으로 높게 평가된 반면, 통화나 영상 통화의 조작 가능성은 평균 3.55점에서 4.18점으로 통계적으로 유의미하게 상승했다. 이러한 변화의 원인은 참여자들의 인터뷰를 통해 파악할 수 있다. 일부 참여자들은 직접 경험해 보니 조작이 쉽고, 피해 사례를 보니 과거 자신이 구분할 수 있을 것이라고 착각했다고 응답하였다. 이를 통해 일부는 경각심을 갖게 되었고, 또 다른 일부는 대처할 수 있다는 자신감을 얻게 되었다고 응답했다. 이러한 결과는 생성형 AI 교육 · 경험 세션이 고령자들의 인공지능과 생성형 AI에 대한 긍정적 인식을 높이고 디지털 환경의 허위 정보와 조작된 콘텐츠에 대한 경각심을 키우는 데 기여한다는 것을 보여준다. 이는 예방적 차원에서 피싱 예방 범죄 교육이 경각심을 높여 범죄를 더 잘 이해하고 범죄의 취약성을 낮춘다는 Jeon (2024)의 연구 결과와 일치한다.
본 연구에서는 고령자들의 인식과 함께 생성형 AI 서비스 활용 의향, 그리고 ChatGPT 사용 경험과 어려움을 조사하였다. 연구 참여자들은 디지털 교육에 자발적으로 참여한 고령자들로, 사전에 생성형 AI 서비스 활용 의향이 평균 4.0점으로 매우 높았다. 그럼에도 불구하고, 세션을 통해 생성형 AI 기술을 이해하고 ChatGPT를 경험한 후에는 활용 의향이 평균 4.64점으로 유의미하게 상승했다. 이는 ChatGPT와 같은 생성형 AI 서비스가 고령자들에게 매우 유용한 도구가 될 수 있음을 보여준다. 또한, 평소 네이버나 유튜브 등 인터넷 정보 검색을 자주 이용하는 고령자들의 평가에서도 ChatGPT의 유용성을 확인하였다. 참여자들은 단 일주일간의 ChatGPT 사용 경험만으로 기존 정보 검색 서비스보다 ChatGPT가 더욱 편리하다고 응답하였다. Kim (2006)의 연구에 따르면, 고령층은 대체로 새로운 기술에 대해 부정적이고 보수적인 경향이 있다고 알려져 있다. 그럼에도 불구하고 본 연구에서는 새로운 기술인 생성형 AI 기술에 대한 고령자들의 긍정적인 평가를 통해 ChatGPT가 고령자들에게 유용하면서도, 동시에 사용하기 쉽고 적합한 도구임을 시사한다.
연구 참여자들은 제시된 11가지 생성형 AI 활용 방안 중 정보 검색, 번역, 이미지 생성을 일상에서 가장 활용하고 싶어하는 것으로 나타났다. 이는 ChatGPT가 검색 시장의 미래에 대한 변화를 일으키고 있는 Opensurvey (2024) 조사 결과와 일치하며, 고령자들도 이러한 변화에 적극적으로 참여할 것임을 시사한다. 또한, 참여자들은 다양한 상황에서 자발적으로 ChatGPT를 활용하였으며, 모든 사용 경험에 대해 높은 만족감을 표현했다. 이는 생성형 AI 기술이 고령자들의 일상생활에 효과적으로 적용될 수 있음을 보여준다. 또한, 본 연구에서는 고령자들이 생성형 AI를 접근하고 사용하는 과정에서 겪는 어려움을 파악했다. Ryu (2024)의 연구에 따르면, 고령자들이 생성형 AI 서비스를 사용하지 않는 주된 이유는 막연한 두려움으로 알려져 있다. 본 연구를 통해 이는 낯선 기술 사용 시 발생할 수 있는 고장이나 망가짐에 대한 두려움임을 확인했다. 다만 이러한 두려움은 짧은 세션만으로도 쉽게 완화될 수 있음을 확인하였다.
또한, 본 연구에서는 고령자들이 ChatGPT 서비스를 이용하면서 겪는 어려움을 구체적으로 파악하였다. 고령자들은 낯선 용어와 불충분한 설명, 음성 인식 오류 등으로 인해 불편함을 느꼈으며, 특히 음성 인식 기능에 대한 높은 기대에도 불구하고 인식 실패로 인해 큰 실망감을 느꼈다. 이러한 발견을 바탕으로 고령자의 발화 특성을 고려한 음성 인식 성능 개선 연구들을 참고하여 고령자의 디지털 접근성을 높이면, 고령자들이 더욱 편리하고 유용하게 서비스를 활용하여 삶의 질을 향상시킬 수 있을 것이다.
본 연구는 고령자들을 대상으로 인공지능과 생성형 AI에 대한 인식 변화를 세션 전후로, 생성형 AI 서비스 활용 경험을 정성 · 정량적으로 평가했다. 연구 결과, 세션 이후 고령자들의 인공지능과 생성형 AI에 대한 인식이 긍정적으로 변화하였으며, 허위 정보와 조작된 콘텐츠에 대한 경각심이 높아졌다. 또한 생성형 AI 서비스 활용 의향도 증가했다. 이는 고령자 대상 생성형 AI 교육 · 경험 세션의 효과성을 입증한다. 추가로, 연구 참여자들은 ChatGPT 경험 후 높은 만족도를 보였으며, 일상생활에서 자발적이고 다양하게 ChatGPT를 활용했다. 이는 ChatGPT가 고령자의 일상생활에 효과적으로 적용될 수 있음을 보여준다.
궁극적으로 생성형 AI 기술과 서비스는 간단한 교육만으로도 고령자들의 삶의 질 향상에 기여할 수 있음을 확인하였다. 다만 고령자의 접근성 향상을 위해 고령자의 음성 패턴에 최적화된 음성 인식 기능 개선, 쉬운 용어 사용, 상세한 설명 제공 등의 보완이 필요하다.
본 연구에서는 생성형 AI를 활용한 고령자의 디지털 역량 강화와 삶의 질 향상을 위해 세 가지 제언을 제시한다. 첫째, 고령자의 디지털 역량과 디지털 안전성을 강화하고, 삶의 질을 향상시키기 위해서는 지속적이고 체계적인 생성형 AI 교육 프로그램의 개발 및 운영이 필요하다. 둘째, 생성형 AI 기술에 대한 고령자들의 초기 거부감을 완화하기 위해서는 해당 기술의 유용성과 용이성을 강조하는 것이 중요하다. 이때 기술적인 측면보다는 고령자들의 실제 요구사항과 일상생활에 도움이 되는 콘텐츠를 중심으로 교육 프로그램을 구성하여, 고령자들이 실제로 유용하게 활용할 수 있는 사례들을 중심으로 생성형 AI 기술을 소개하고, 기술에 대한 진입 장벽을 낮춰야 한다. 셋째, 본 연구에서 파악된 장단점을 바탕으로 고령자 맞춤형 생성형 AI 서비스를 개발해야 한다. 이를 통해 더 많은 고령자가 생성형 AI 기술의 혜택을 누릴 수 있으며, 고령자들의 삶의 질을 더욱 향상시킬 수 있다.
본 연구의 한계점은 다음과 같다. 첫째, 연구 참여자의 수가 제한적이어서 연구 결과를 전체 고령자에게 일반화하기 어렵다. 향후 연구에서는 더 많은 고령자를 대상으로 한 추가 연구가 필요하다. 둘째, 본 연구에 참여한 고령자들은 노인복지시설을 이용하며, 디지털 교육에 대한 의지가 높은 고령자로 구성되어 있어, 일반 고령자의 반응과 차이가 있을 수 있다. 따라서 향후에는 더욱 다양한 배경의 고령자를 포함한 연구가 필요하다. 셋째, ChatGPT 활용 과제를 통해 짧은 교육과 실습 시간을 보완하고자 했으나, 디지털 교육의 효과와 참여자들의 경험을 깊이 있게 이해하는 데는 한계가 있다. 따라서, 후속 연구에서는 교육 프로그램의 효과를 장기적 관점에서 심층적으로 분석할 필요가 있다.
끝으로 본 연구자는 연구 전, 생성형 AI 기술이 고령자들의 삶의 질을 향상시킬 수 있다고 기대하면서도 고령자들이 새로운 기술 수용에 어려움을 겪을 것이라는 우려와 선입견을 가지고 있었다. 그러나 이번 연구를 통해 생성형 AI 기술이 고령자들에게 단순한 질문도 자신 있게 해결할 수 있는 도구이자, 자신감을 높이고 불안감을 완화해주는 수단이 될 수 있음을 확인했다. 앞으로도 고령자들의 디지털 격차 해소와 디지털 안전성 확보를 위해 기술적 · 사회적 노력이 지속되어야 하며, 이는 고령자들의 삶의 질 향상에 중요한 역할을 할 것이다.
References
1. Bae, S.H. and Kang, H.Y., Job Counselor's Experience and Perception of Generative AI, Journal of Practical Engineering Education, 16(4), 567-575, 2024.
Google Scholar
2. Betts, L.R., Hill, R. and Gardner, S.E., "There's Not Enough Knowledge Out There": Examining Older Adults' Perceptions of Digital Technology Use and Digital Inclusion Classes, Journal of Applied Gerontology, 38(8), 1147-1166, 2019.
Google Scholar
3. Byeon, J.H. and Kwon, Y.J., An Investigation of Generative AI in Educational Application: Focusing on the Usage of ChatGPT for Learning Biology, Brain, Digital, & Learning, 13(1), 1-17, 2023. doi:10.31216/BDL.20230001
Google Scholar
4. Chan, K. and Chen, A.H.S., A review of technology acceptance by older adults, Gerontechnology, 10(1), 1-12, 2011. doi:10.4017/ gt.2011.10.01.006.00
Google Scholar
5. Cho, E.S., Development and Application of Generative Artificial Intelligence Educational Program for Elementary School Students, Unpublished Master's Thesis, Graduate School of Seoul National University of Education, 2024.
6. Cho, Y.H., "AI Fraud Losses Reach $32 Trillion Annually"... Elderly Americans Dive into Learning AI Technology, Zdnet Korea, https://zdnet.co.kr/view/?no=20240814090149 (retrieved December 8, 2024).
7. Dey, S., Which Ethical Implications Of Generative AI Should Companies Focus On?, Fobes, https://www.forbes.com/councils/ forbestechcouncil/2023/10/17/which-ethical-implications-of-generative-ai-should-companies-focus-on/ (retrieved December 8, 2024).
Google Scholar
8. Ebner, N.C., Pehlivanoglu, D. and Shoenfelt, A., Financial Fraud and Deception in Aging, Advances in Geriatric Medicine and Research, 5(3), 1-16, 2023. doi:10.20900/agmr20230007
Google Scholar
9. Financial Supervisory Service., Analysis of 2023 Voice Phishing Damage Statistics, Financial Supervisory Service Home Page, https://www.fss.or.kr/fss/bbs/B0000188/view.do?nttId=134451&menuNo=200218&cl1Cd=&sdate=2024-03-07&edate=2024-03-08&searchCnd=1&searchWrd=&pageIndex=1 (retrieved December 8, 2024).
10. Gunther J., The Scope of Elder Financial Exploitation: What It Costs Victims, AARP Public Policy Institute, 2023. doi:10.26419/ ppi.00194.001
11. Hong, S.M. and Han, H.J., Analyzing Perceptions and Educational Needs of Elementary School Teachers for Using ChatGPT in Education, The Journal of Korean Association of Computer Education, 26(4), 51-63, 2023. doi:10.32431/kace.2023.26.4.006
Google Scholar
12. Huh, K.M., A Study on the Characteristics of Elderly Crime Victims, Korean Association of Public Safety and Criminal Justice Review, 17, 423-452, 2004.
13. Hwang, E.H., Shin, S.J. and Jung, D.Y., A Study of the Pattern of Elderly's Internet Usage, Self-efficacy, and Self-esteem, Journal of Korean Public Health Nursing, 25(1), 118-128, 2011.
Google Scholar
14. Jang, J.O., Elderly Crime and its Victimization, Korean Criminological Review, 20(1), 215-255, 2009.
15. Jang, M.C., 16 Ways to Boost Work and Life with Generative AI, Answerbook, 2024.
16. Jeon, M.N., The Effect of Voice Phishing Prevention Education on Crime Perception and Crime Vulnerability, Unpublished doctoral dissertation, Graduate School of Daegu Haany University, 2024.
17. Joo, Y.K., Intelligent Information Society and Information Inequality, Korea Internet Self-governance Organization (KISO) Journal, 33, 33-37, 2018.
18. Kang, D.E., Chae, J.W. and Han, Y.N., "Unable to Use the Internet..." Seniors Pay the 'Elderly Tax' Again Today, Chosun Ilbo, https://www.chosun.com/national/national_general/2021/06/16/W3SWGTO4BRAY7CVC45XDELS55A/ (retrieved December 8, 2024).
19. Kelly, J., Goldman Sachs Predicts 300 Million Jobs Will Be Lost Or Degraded By Artificial Intelligence, Fobes, https://www.forbes.com/ sites/jackkelly/2023/03/31/goldman-sachs-predicts-300-million-jobs-will-be-lost-or-degraded-by-artificial-intelligence/ (retrieved December 8, 2024).
20. Kim, B.W., The Analysis on the Structural Equation Modeling among Information literacy, Adjustment Mechanism and Life Satisfaction for Elderly, Journal of Welfare for the Aged, 33, 225-256, 2006.
21. Kim, H.K., Choi, M.S., Choi, S.M., Park, Y.S. and Kwon, J.E., Teaching method development of elderly informatization education, Korea Agency for Digital Opportunity and Promotion, 3, 1-277, 2005.
22. Kim, H.S. and Shim, J.S., Digital Literacy of Elderly People and Social Activities, Korean Journal of Policy Analysis and Evaluation, 30(2), 153-180, 2020. doi:10.23036/kapae.2020.30.2.006.
Google Scholar
23. Kim, S.A., Deepfake Cases Increased Tenfold Last Year...Accelerated Growth with Generative AI, Datanet, https://www.datanet.co.kr/ news/articleView.html?idxno=191249 (retrieved December 8, 2024).
24. Kim, S.W. and Lee, S.T., Development of Voice Phishing Damage Prevention Service Misusing Deep Voice, The Journal of Korean Institute of Communications and Information Sciences, 47(10), 1677-1685, 2022. doi:10.7840/kics.2022.47.10.1677
Google Scholar
25. Kim, Y.J., An Exploratory Study of the Use of Generative Artificial Intelligence in Art Instructional Design, Journal of Art Education, 75, 1-26, 2023. doi:10.35657/jae.2023.75.001
26. Kim, Y.N., A Quantitative Research on Teachers' Use and Perception of ChatGPT in Early Childhood Education, The Journal of the Korea Contents Association, 23(8), 252-263, 2023. doi:10.5392/JKCA.2023.23.08.252
Google Scholar
27. Korea Communication Commission and Korea Information Society Development Institute., 2023 Intelligent Information Society User Panel Survey, Korea Information Society Development Institute Home Page, https://eiec.kdi.re.kr/policy/domesticView.do?ac =0000188276&pg=&pp=&search_txt=&issus=&type=&depth1= (retrieved December 8, 2024).
28. Kwon, G.M. and Kim, H.S., Issues and Challenges in Utilizing Generative AI in the Content Industry, Korea Creative Content Agency, 150, 1-17, 2023.
29. Kwon, M.J., Choi, Y.S. and Kim, T.U., A Study on Promoting Senior Citizens' Use of e-Government Services as an Effective Means for Reducing Digital Divide, Journal of Information Technology Services, 9(2), 73-92, 2010.
Google Scholar
30. Lee, H.S. and You, J.W., Exploring College Students' Educational Experiences and Perceptions of Generative AI: The case of A University, The Journal of the Korea Contents Association, 24(1), 428-437, 2024. doi:10.5392/JKCA.2024.24.01.428
Google Scholar
31. Lee, K.H., The Digital Divide and Challenges in Intelligence Information Society, Health and Welfare Policy Forum, 274, 16-28, 2019.
32. Lee, M.S., Kim, H.S. and Hong, S.G., An Empirical Study of the Elderly's Information Literacy on Their Happiness, Journal of the Korea Industrial Information Systems Research, 20(2), 125-131, 2015. doi:10.9723/jksiis.2015.20.2.125
Google Scholar
33. Lee, S.H., A Study of Artificial Intelligence Literacy Education Methodology - Focusing on a Video Production Curriculum using Generative Artificial Intelligence Technology, Unpublished Master's Thesis, Graduate School of Korea University of Media Arts, 2024.
34. Lee, S.W. and Nam, J.S., The Study on the Verification Factors Affecting the Elderly's Voice Phishing Victim Experiences: Focusing on Gender Differences, Korean Association of Addiction Crime Review, 13(3), 17-38, 2023. doi:10.26606/kaac.2023.13.3.2
35. Lim, S.E., A Study on the Resolution of Digital Alienation for the Security and Safety of the Elderly, Journal of The Korean Society of Private Security, 22(4), 185-208, 2023. doi:10.56603/jksps.2023.22.4.185
Google Scholar
36. Lim, T.H., Jeong, Y.S. and Ryu, J.H., Analysis of Pre-service Teachers' Experience with Generative AI: Creating Animated Fairy Tale Videos, The Journal of Korean Association of Computer Education, 26(5), 139-153, 2023. doi:10.32431/kace.2023.26.5.012
Google Scholar
37. Ministry of Health and Welfare and Korea Institute for Health and Social Affairs., 2020 Survey on the Status of the Elderly, Ministry of Health and Welfare Home page, https://www.mohw.go.kr/board.es?mid=a10411010100&bid=0019&act=view&list_no=366496 (retrieved December 8, 2024).
Google Scholar
38. Ministry of Science and ICT and National Information Society Agency., 2023 Survey on the Internet Usage, National Information Society Agency Home Page, https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=99870&bcIdx=26715&parentSeq=26715 (retrieved December 8, 2024).
39. Moon, S.H., AI Technology Misused for Crimes... Deepfake and Deepvoice, Emozak News, https://www.emozak.co.kr/news/ articleView.html?idxno=12055 (retrieved December 8, 2024).
40. Noh, Y.J. and Park, D.S., A Phenomenological Study on the generative AI using experience and recognition of High school Students, Journal of Learner-Centered Curriculum and Instruction, 24(7), 557-577, 2024. doi:10.22251/jlcci.2024.24.7.557
Google Scholar
41. Oh, S.M. and Choi, S.S., The Effect of Digital Information Level on the Intention to Use New Technology among Older Adults: Focused on the Multiple Mediating Effect of Technical Self-Efficacy and Utilization Performance, Korea Journal of Gerontological Social Welfare, 76(4), 137-170, 2021. doi:10.21194/kjgsw.76.4.202112.137
Google Scholar
42. Opensurvey., 2024 Search Trend Report, Opensurvey Dataspace, https://blog.opensurvey.co.kr/trendreport/search-2024/ (retrieved January 7, 2025).
43. Park, S.M., Prepare for the New 'Digital Divide' Created by Generative AI, Sisaweek, https://www.sisaweek.com/news/ articleView.html?idxno=213331 (retrieved December 8, 2024).
44. Park, S.Y. and Chung, S.D., The Effects of Digital Information Access on Depressive Symptoms among Middle-Aged and Elderly Groups: Focusing on the Mediating Effects of Digital Information Competency and Social Networks, Health and Social Welfare Review, 39(3), 179-214, 2019. doi:10.15709/hswr.2019.39.3.179
Google Scholar
45. Radford, A., Narasimhan, K., Salimans, T. and Sutskever, I., Improving Language Understanding by Generative Pre-Training, OpenAI Home Page, https://openai.com/index/language-unsupervised/ (retrieved December 8, 2024).
46. Ryu, R., Proposal for a Digital Literacy Enhancement Service Design Scenario for Suburban Area Seniors with Limited Access to Education, Unpublished Master's Thesis, Graduate School of Hongik University, 2024.
47. Shin, K.Y., Cyber fraud targeting the elderly quadruples in four years, Donga Ilbo, https://www.donga.com/news/Opinion/article/ all/20240505/124799398/1 (retrieved December 8, 2024).
48. Won, D.W., AI Seamlessly Creates Fakes... You Could Be Fooled Even with Your Eyes Wide Open, Joongang Ilbo, https:// www.joongang.co.kr/article/25177455 (retrieved December 8, 2024).
49. Yang, J.H. and Yoon, S.H., Beyond ChatGPT: The Era of Generative AI - Case Studies of Media and Content Generative AI Services and Strategies for Securing Competitiveness, Korea Communications Agency - Media Issue & Trend, 55, 62-70, 2023.
50. Yim, J.H., Lee, H.J. and Lee, J.H., A Study on Digital Divide Influence Factors of the Elderly: Comparison between Baby Boomer and Elderly, The Journal of the Korea Contents Association, 20(9), 475-485, 2020. doi:10.5392/JKCA.2020.20.09.475
Google Scholar
51. Yoo, Y.S. and Son, H.J., Research on Relationships between Internet Use and the Elderly's Life Quality, The Journal of the Korea Contents Association, 12(4), 235-244, 2012. doi:10.5392/JKCA.2012.12.04.235
Google Scholar
52. Yun, H.J. and Kim, K.H., Analysis of perceptions and needs of generative AI for work-related use in elementary and secondary education, Journal of The Korea Society of Computer and Information, 29(7), 231-243, 2024. doi:10.9708/jksci.2024.29.07.231
Google Scholar
PIDS App ServiceClick here!