[spinoff] 연구 설문 개발 과정 및 논문 검토

연구 설문 개발 과정 🤔

문제 해결 방법 고민

• 단일 항목으로 평가하는 설문 문항은 기존 연구를 직접적으로 참고하기 어려움.
• 기존 연구에서 단일 항목을 활용한 사례를 찾거나, 유사 설문을 기반으로 새로운 설문을 설계해야 함.

→ 기존 설문지를 활용하거나 변형할 때의 원칙:

• 설문 항목의 추출 및 변형은 최소화.
• 기존 문항의 구조와 맥락을 최대한 유지하여 신뢰성과 타당성을 확보해야 함.

중간 피드백

1. 기존 설문지 활용 시
   • 기존 문항을 그대로 유지하는 것이 바람직하나, 연구 맥락에 맞게 최소한의 수정 가능.
2. ‘공감성 평가’를 ‘사회적 지지’로 변경 가능성 검토
   • 공감(empathy)은 “사회적 지지”보다 구체적인 개념. 따라서 공감이라는 표현을 유지하는 것이 적절.
   • PETS(Perceived Empathy of Technology Scale) 설문 문항 검토를 통해 적합한 문항을 선택.

1회차 활동 이후 조사된 기존 설문 문항 및 논문 리뷰 📚

1. PETS(Perceived Empathy of Technology Scale) 검토

참고 논문

Matthias Schmidmaier, Jonathan Rupp, Darina Cvetanova, and Sven Mayer. 2024. Perceived Empathy of Technology Scale (PETS): Measuring Empathy of Systems Toward the User. CHI ‘24. https://doi.org/10.1145/3613904.3642035

• PETS는 Emotional Responsiveness (PETS-ER), Understanding and Trust (PETS-UT)로 나누어 시스템의 공감 수준을 평가.
• 연구 참여자들은 시나리오(사용자-시스템 상호작용 상황)를 듣거나 읽고 PETS 설문에 응답.
  

관련 문항

• PETS-UT
  • “The system understood my goals.”
  • “The system understood my needs.”
• PETS-ER
  • “The system sympathized with me.”

해당 문항들이 RQ2와 RQ3의 평가 항목으로 적합하다고 판단함. 다만 이렇게 단독으로 추출하여 사용해도 괜찮은지는 잘 모르겠음. 사례를 더 찾아보아야 함.

2. 다른 참고 논문 및 설문 문항 리뷰

perceived empathy를 비슷한 접근으로 다룬 다른 연구가 있다고 하여, PETS 논문의 45, 56, 88 reference 자료를 참고함.

[1] Enhancing Perceived Emotional Intelligence (PEI)

Jiaxiong Hu, Yun Huang, Xiaozhu Hu, and Yingqing Xu. 2021. Enhancing the Perceived Emotional Intelligence of Conversational Agents through Acoustic Cues. CHI EA ‘21. https://doi.org/10.1145/3411763.3451660

• 목적: 음성 대화의 감정적 지능(PEI) 향상을 위한 기술 평가.
• 설문 문항 예 (5점 Likert)

• “The agent seemed to understand how I felt.”
• “The agent responded in an appropriate way.”
• “The agent made me feel understood.”
  
  

[2] Should Machines Express Sympathy and Empathy?

Bingjie Liu and S. Shyam Sundar. 2018. Should Machines Express Sympathy and Empathy? Experiments with a Health Advice Chatbot. Cyberpsychology, Behavior, and Social Networking. https://doi.org/10.1089/cyber.2018.0110

• 목적: 챗봇의 감정적 지원 효과 분석.
• 설문 문항 예

• Perceived Understanding:
  • “The chatbot understood my emotions.”
• Message Effectiveness:
  • “The feedback was useful and appropriate.”

[3] Evaluating Emotional Contagion

Ozge Nilay Yalçın and Steve DiPaola. 2019. Evaluating levels of emotional contagion with an embodied conversational agent. Cognitive Science Society.

• 목적: 감정 전염(emotional contagion) 및 공감 평가.
• 방법: 녹화된 상호작용 비디오를 보고 공감 수준을 평가.
• 설문 문항 예

• Toronto Empathy Questionnaire (TEQ): 16개 항목 구성.
• 하지만 해당 설문은 주로 음성, 표정 기반 상호작용 평가에 초점이 맞춰져 연구 맥락에 부적합.

최종 설문 선정 결과

RQ2.

‘수용도’를 다루는 적절한 기존 설문을 찾지 못하여, 자체 제작한 단일 설문을 제시하기로 결정.

RQ3.

공감성 측정을 위해 PETS 논문의 10개 설문을 전부 사용할 것.

결론 및 할 일 ✍️

• 설문 내용 적용한 pilot test 재진행
• 영어 설문을 한글로 번역하여 타당성을 검증하는 연구에서, 어떤 과정을 거치는지 자료 조사