https://calmorganizer.tistory.com/57
게임 유저 리서치: 무엇이 다른가?
By JAKOB NIELSEN on March 20, 2016
–
요약: 게임 테스팅은 즐거움의 관념에 대한 연구이다. 대부분의 UX연구들에 비해, 게임 테스팅은 더 많은 사용자들에 대한 것이며 바이오메트릭스 및 회사 자체 소프트웨어와도 관련이 있다. Game User Research Summit 에서 찾은 가장 놀라운 발견은 동기 리서치에서 보여지는 급격한 연령별 성별 차이다.
–
지난주, 나는 실리콘밸리에 있는 EA(Electronic Art)에서 열린 GUR (GamesUR/Game User Research Summit)에 참가했다. 이 행사는 GDC(Game Developer Conference) 와도 일부 관련이 있다. – 예상하듯이, EA사람들은 이니셜로 된 회사명을 굉장히 좋아한다.
EA의 환대와 함께, 컨퍼런스는 강렬한 눈의 대형 드래곤 아래서 진행 되었다. 그리고, 휴게실은 클래식 스타워즈 캐릭터 포스터로 장식되어 있었다. 주변 분위기로 볼 때 우리가 더 이상 캔자스에 있지 않다는 건 정말 분명했다. (이곳은 정말 드래곤이 있는 곳 같았다.)
그들이 주고받는 대화를 통해, 게임이 다른 디자인(설계, 기획) 프로젝트와는 다른 것을 알 수 있었다. 예를 들어, 대부분 말 줄이는걸 좋아해서, Rainbow Six Siege를 R6S로 부른다. 새롭게 알게 된 UX 매트릭스중 하나는 킬/데스 비율을 게임을 테스팅 하는 동안 기록하는 것이다. 이건 정말 우리가 UX 측정 세미나에서 가르치고 있는 방법들과는 다른 것 이다. (이 비율은 데스매치중에 죽은 아군의 수와 자신이 죽인 적군의 수의 비율 같은 것이다. 일반적으로 디자인 프로젝트에서 사용하고 있는 방법은 아니다.)
비슷한 많은 것들
드래곤이나 데스매치 같은 것에도 불구하고, 나는 사실 GUX(Game User Experience) 세계와 주류가 되는 UX 세계 사이에 많은 유사성을 보았다.
개회사에서, Brandon Hsiung (Riot Games의 인사이트 디렉터)은 그가 어떻게 70명의 사람들로 부서를 조직했는지에 대해 설명해 주었다. 주된 주제는 주요 기능부터 디자인 게임 완성까지 UX 연구원을 프로덕트 팀에 심는 것에 대한 이점이었다. 20년전 Sun Microsystems에서 우리도 비슷한 방식을 활용했었다. 연구원들을 중심의 특정 그룹에 보고하게 하면서도 프로덕트 팀과 함께 일하게 하는 방식이었다.
Riot Games는 직원이 2,000명 가까이 되기 때문에, 70명으로 구성된 인사이트 프로페셔널 부서는 작아 보일 수도 있다. 유저리서치에 할당되는 프로젝트 팀은 보통 전사 인원의 10%정도가 되는 것이 바람직하다고 보기 때문이다. 그렇지만, Riot의 경우에는 스튜디오와 퍼블리셔 두 가지로 조직이 이루어져 있기 때문에 대부분의 직원들은 퍼블리셔 쪽에서 일을 하고 있다. 그래서 70명은 사실 새로운 프로덕트를 구상해야 하는 10%에 적당하다고 볼 수도 있다.
Hsiung의 스피치에서 가장 혁신적이었던 것은 그의 부서 이름이 ‘인사이트팀’ 이라는 것이다. 그 이름은 표면적 선전용으로 보이지만 사실 엄청난 의미가 포함되어 있다. 바로, 연구의 목표가 프로덕트를 개선하고 전환율을 높여 회사의 수익성을 상승시키는 것이라는 것이다. UX팀은 전술적 단계 (더 나은 기획)과 전략적 단계(소비자의 요구를 발견하고 이를 충족시키는 것) 이 두 가지에 대한 실현 가능 한 의견을 전달하는 것만으로도 회사의 이윤을 높일 수 있다. 하지만 대부분 회사들의 UX에 대한 수준은 전술적 단계는 물론 전략적 단계에도 이르지 못하고 있다. 그래서 Riot은 ‘인사이트 팀’ 에서 그것을 하도록 만들었다.
나는 Riot 인사이트 팀이 회사의 유저 리서치뿐만 아니라 그들의 마켓 리서치와 분석까지 함께 아우른다는 것을 듣고 기뻤다. 분석과 UX는 매우 친밀 해야 한다. 하지만 이것들은 보통 서로 다른 부서로 나뉘어져 있다. 그래서 마켓 리서치는 자주 UX와 동떨어지곤 한다. 다양한 방법론을 이용한 견고한 리서치로부터 얻어지는 통합 유저 인사이트의 많은 이점들에도 불구하고 말이다.
나는, UEgroup의 Laura Hammond가 한 강연에서 데자뷰를 느낄 수 있었다. 그 강연은 동작 기반의 게임 테스팅에 관한 것 이었다. 그녀는 어린아이들 대상의 테스트에서 회전 의자를 피해야 함에 대해 언급하였다. 아이들은 의자가 돌아가는 것으로 너무 쉽게 주의가 산만해지기 때문이다. 이는 사실이다. 2001년 어린이들이 사용하는 웹사이트의 사용성 테스트를 했을 때도 비슷한 결과를 얻었다. 2001년 당시 6세였던 아이들은 지금 21세가 되었는데, 현재 우리가 하는 젊은 성인을 대상으로 한 유저 리서치에 참여하고 있다. 다음 세대 역시 비슷한 양상을 보인다는 것을 알게 된 것은 좋았다. 최소한 사용성 랩에서 회전의자는 없애 버려야 한다는 것을 알았으니까 말이다.
테스트 세션을 비디오로 녹화 하기 위해서 연구원들은 3개의 비디오 카메라를 사용할 것을 추천했다. 하나는 천정에, 하나는 측면에, 하나는 유저들의 얼굴을 볼 수 있게 말이다. 정확히 우리가 20년전에 관리자들이 서버에 하드드라이버를 인스톨할 때 하드웨어 휴먼 팩터 연구실에서 했던 방법이었다. 3D 유저 인터페이스 테스팅은 2D 웹사이트 연구에 비해 더 많은 장비를 필요로 한다.
물론, Hammond의 강연에서 새로운 것도 있었다. Intel RealSense Camera를 특정 게임에 설치하여 유저가 자신들의 손을 카메라 앞에서 움직여 게임을 컨트롤하게 하는 것이다. 예를 들어, 연구원들은 테스트 유저를 모집할 때 손의 사이즈를 모집의 기준 중 하나로 설정하였다. (우리는 그렇게 하지 않았었고, 그래서 정말 테스트가 어려웠었다. )
Hammond의 강연에서 얻은 또 하나의 인사이트는 3D 동작 테스팅을 통해 무엇이 그러한 동작을 유저가 하게끔 유도하는가에 대하여 도출해낼 수 있다는 점이다. 예를 들어, 실험대상자들이 하는 동작은 피 실험대상자들이 하는 행동에 영향을 받는 경우도 있다.
멀티 유저 테스팅
대부분의 유저 테스팅과 다르게, 게임 리서치는 주로 많은 유저를 동시에 테스팅 해야 한다. – 왜냐하면, 게임은 오랜 시간을 플레이 해야 하거나 또는 동시에 여러 사람과 함께 해야 하기 때문이다.
때때로 전통적인 UX 프로젝트에서도 여러 명의 유저를 동시에 테스트 하는 경우가 있다. – 예를 들어 어린 아이들에 대한 사용성 연구를 할 때이다. 하지만 대부분은 그들을 한번에 한 명씩 테스트 한다, 왜냐하면 모든 유저 행동에 대한 세세한 디테일에 신경을 쓰기 위해서이다. 다른 예로는, 유저들은 웹사이트에 주로 2-3분정도 머물러 있는데 특정페이지에는 30초정도를 머무른다. 그래서 우리는 그 세세한 것들을 모두 연구하기 위한 목표를 세운다.
대부분의 하드코어 게이머들은 어떤 것을 반복적으로 슈팅 하는데 연속으로 몇 시간 동안 계속 플레이를 한다. 결과적으로 여러 나라의 플레이 테스팅 랩은 12-20명의 게임 테스터들을 수용하기 위해 비슷하게 설계된다. (더 큰 회사들의 경우에는 더 큰 경우도 있다.) 테스터들은 같은 게임을 각각의 콘솔에서 플레이 할 수 있다.
영국 Player Research의 Sebastian Long은 그의 회사의 플레이 테스팅랩을 이렇게 묘사했다. 관찰실은 12명의 유저의 스크린을 한꺼번에 볼 수 있는 대형 프로젝션 디스플레이가 있고 게임의 특정 부분에 흥미를 느끼는 테스터가 있을 때, 관찰자들이 고해상도 관찰을 위해 12개의 스크린중 하나를 분리된 모니터에 확대하여 보여줄 수 있도록 조작하는 스위치가 있다. 이것은 게임 이외의 리서치에서는 드물지만, 많은 사람들의 다양한 행동과 개개인의 특정한 관심에 대한 세세한 리서치 모두를 번갈아 보기 관찰하기 위해서는 필요하다.
많은 현재 게임의 멀티플레이어 컴포넌트는 게임 리서치에서 멀티유저 세션을 갖는 두 번째 이유이다. 몇몇의 유저들이 같은 공간에서 함께 플레이 하던 또는 실시간으로 네트워크를 통해 플레이를 하던, 연구가들은 그들이 커뮤니케이션하고 협동하는 프로세스를 반드시 이해해야 한다. 반대로, 대부분의 UX에 있어서는, 소설 미디어나 모든 미디어 경험을 고려한다고 하더라도, 사람들은 동일한 과업을 해결하기 위해 동일한 인터페이스에 동시에 같이 작업하는 경우가 거의 없다.
게임 연구가들은 자주 트루 스케일 데이터에 접근한다. 앞서 언급했던 R6S 킬/데스 비율과 같은 경우, Ubisoft의 Oliver Guedon은 알파 테스트를 통한 440,000 라운드와 두 번의 베타 테스트를 통한 182,000,000 게임 라운드의 지표를 분석했다. 알파테스트 에서는 방어 팀이 61% 확률로 승리하여, 공격을 쉽게 하도록 변경하였다. 결과적으로 공격팀은 첫 번째 베타테스트에서 58%의 확률로 승리를 거두었다. 두 번째 베타테스트에서는 게임 밸런스를 더 안정적으로 설계하였다. 인터렉션 디자인과 일반적 관찰에 있어서 이것은 좋은 예시이다. 하나의 UX 문제를 해결하기 위해(공격하기 너무 힘든 것), 그리고 그것으로 인해 발생하는 새로운 문제(공격하기 너무 쉬운것)를 해결하기 위해, 가능한 많은 반복과 수정을 거치는 것은 좋은 방법이다.
전문 유저 (프로게이머)
게임 업계에서, 회사들은 두 분류의 유저들이 게임을 즐기는 것을 고려해야 한다: 일반유저 (재미를 위해 게임을 사서 플레이 하는 유저)와 eSports와 같이 게임을 통해 돈을 버는 전문유저(프로게이머). eSports는 엄청난 관중이 챔피언쉽 게임을 방청하는 큰 비즈니스 이다. (2014년에 Amazon.com은 10억 달러를 하나의 eSports 사이트로부터 벌어들였다.)
물론, 전통적인 유저 경험을 통한 오래된 레슨 중 하나는 우리는 초보유저(일반유저)와 숙련된 유저(프로게이머) 모두를 위해 설계를 해야 다는 것이다. 그들은 서로 다른 스킬 레벨과 다른 요구 사항을 가지고 있다. (우리의 UX 베이직 트레이닝 코스에서 이것에 대해 더 많은 정보를 얻을 있다. – 매우 기본적인 개념이다.) 하지만 전문 유저 (프로게이머)들은 자신들의 직업적인 부분에 초점을 맞춘 목표를 가지고 있고 이것이 유저인터페이스에 적용될 때 어떠한 결과를 가져올 것인가에 대해 더 중점을 둘 것이다.
재미를 설계하기
유저 만족도는 5가지 메인 사용성 테스트 항목 중 하나이다. 사람들은 대부분 웹사이트가 불만족스러우면 사이트를 떠날 것이다. 심지어 사내 소프트웨어 조차도, 직원들의 이직률을 감소시키기 위해 더 나은 디자인이 필요할 것 이다. 그 말은, 주류 UX 리서치 대부분이 학습용이성이나 효율성 같은 다른 사용성 항목에 더 많은 시간을 할애하고 있다는 뜻이다. 왜냐하면 유저들은 굉장히 목표 지향적이기 때문이다. 그들은 웹사이트에 가서 원하는 것을 얻으면 끝이다. (무언가를 사거나 뉴스를 읽는 등) 재미 그 자체를 위해 유저 인터페이스를 이용하지는 않는다.
아주 대조적으로, 게임은 재미 이외에는 다른 목표가 아무것도 없다. 주된 목표는 아마 보스를 죽이는 것일 것이다. (오, 당신의 상사를 얘기하는 것은 아니다. 끔찍한 그램린이나 외계인 침략자 같은 것들 말이다 – 이런 게임에 나오는 적들을 보스라고 한다.) 그러나 진짜 목표는 그것을 하는 동안 재미를 느끼는 것이다. 킬/데스 비율을 조사하는 것이 중요한 이유가 바로 이것이다. 만약 기획자들이 게임인터페이스를 보스를 너무 죽이기 용이한 구조로 만들어버리면 매우 효율적이겠지만 재미는 없을 것이다. (좋은 전통적 UX; 나쁜 GUX). 게이머들은 자신들의 레벨에 맞는 적당한 퀘스트를 원할 것이다. 보스가 죽기도 전에 먼저 빨리 죽어버리는 것 역시 재미가 없을 것이니 말이다.
정확히 언제 유저들이 즐거워하고 지루해 하는가에 대해 알기 위해서, 몇몇 GUR 연구가들은 전문 바이오메트릭스 센서를 사용하였다. 예를 들어, 그들은 생리학적 자극과 연관이 있는 피부 전도 레벨(땀 분비량)을 측정하였다. Unbisoft의 Pierre Chalfoun 은 바이오메트릭스에 대한 좋은 시사점을 주었는데, 그것은 이러한 생리학적 센서가 항상 직접적으로 유저의 감정을 말하는 것은 아니라는 것이다. (우리는 충성도가 높은 유저를 원하는 것이지 땀이 많이 나는 유저를 원하는 것이 아니다. 물론 그 사이에는 상관관계가 있을 수도 있지만 말이다.)
Chalfoun은 게임튜토리얼에 대한 흥미로운 사실을 알려주었는데, 그것은 간접적인 바이오메트릭스로 측정된 유저의 불만도가 게임 튜토리얼에 대한 이해를 하지 못했을 때 마다 매번 증가했다는 것이었다. 첫 번째 실패: 어느 정도 불만. 연속 세 번째 실패: 매우 불만. 이러한 결과를 얻을 수 있는 바이오매트릭스 랩이 비용적으로 그만한 가치가 있다고 보기 힘들 수 있겠지만, Chalfoun은 이러한 데이터에 대한 좋은 시각적 자료가 관리자나 개발자들을 설득시키는데 도움이 된다고 강조하였다. 그들이 좀더 면밀하게 문제를 검토할 수 있게 하며, 안 좋은 설계를 고치는데 투자하도록 이끌 수 있다고 말이다. (검증된 데이터 없이는, 유저들이 불만족스러워 하는 부분은 마이너한 문제로 그냥 넘어가기 쉽다.)
더 나은 기술
컨퍼런스 강연에서, 많은 GUX팀이 회사 자체 소프트웨어를 쓴다는 사실은 놀라웠다. 플레이 테스트 랩을 운영하거나 게임 원격측정(베타테스트) 하는데, 회사들은 소프트웨어 개발자들이 연구가들을 위한 특별한 기능을 만들도록 요구한다.
내 생각에 UX팀 보다 GUX 팀이 기술적으로 더 신경을 쓰는 데는 두 가지 이유가 있다.
게임 연구가들은 프로그래머 군대로 이루어진 매우 덕력이 충만한 회사들에 속해있다. 그리고 그 회사들의 문화는, ‘무언가 필요한 게 있어? 그럼 그냥 만들어’ 이다.
게임장르는 어려울 정도로 매우 다양하다. 그리고 그것들을 면밀하게 연구하기 위해서는 자체 소프트웨어가 필요하다. 반대로 모든 웹사이트는 브라우저에 맞게 개발되고 같은 방식들의 인터렉션이 요구된다. 이 의미는, 사실 써드파티 솔루션이 꽤 유용하다는 것이다. 클라우드 기반의 분석툴은 대부분의 웹사이트를 분석하는데 어려움이 없기 때문에 굳이 자체 소프트웨어를 만들 필요가 없는 것이다.
연령 성별 차이점
GamesUR에서의 최고의 강연(매우 데이터 적으로)은 Quantic Foundry 의 Nick Yee 강연이었다. Yee는 220,000게이머들의 데이터를 모았는데, 그 게이머들은 무엇이 그들이 컴퓨터 게임을 하도록 하는지에 대한 설문을 했다. 그 동기들은 6개의 그룹으로 나눌 수 있었는데, 액션(Action), 소셜(Social), 숙련(Mastery, 만렙 같은 것), 업적 또는 성취(achievement), 몰입(immersion, 머리 쓰는 게임 같은 것), 창조(creativity) 였다. 당연히, 게임마다 다른 동기가 있다. 데스 매치 게임은 액션이나 소셜플레이에 관심이 있는 게이머들에게 인기가 있는 반면에 시뮬레이션 게임은 머리를 쓰는 것이나 창조적인 것에 관심이 있는 게이머들에게 인기가 있을것이다.
소셜 동기에서의 가장 메인 요소는 경쟁이었다. 게이머들은 다른 플레이어들과 싸워 하이랭킹을 차지하고자 한다. (심지어 그들이 eSports를 하는 것도 아닌데 말이다.) 다음의 차트는 경쟁 매트릭스에서 연령별 남성 여성간의 평균 스코어를 보여준다.
[표1] 게이머 스코어 평균은 표준 편차로 표현되었다. 경쟁에 더 많은 동기 부여를 받은 사람들이 높은 스코어를 기록했다. 출처: Quantic Foundry
차트로부터 알 수 있는 두 가지 사실은,
l 남성은 여성보다 더 경쟁적이다. (또한 남성들은 여성보다 경쟁적인 게임을 하는 것을 더 좋아한다.) 아마 별로 놀랄만한 사실은 아닐 것이다.
l 경쟁심은 나이가 들수록 급격하게 감소한다. 사실, 젊은 게이머와 나이든 게이머들의 차이는 남성과 여성의 차이에 두 배 이상이다. 50세 이상부터는 남성과 여성 사이에 차이가 거의 없다. (나이든 여성은 심지어 나이든 남성보다 더 경쟁적이다. 하지만 데이터 모수가 적어 이를 확신하기는 어렵다)
우리는 때때로 일반적 주류의 UX 연구에서도 젊은 유저와 나이든 유저들간의 차이점을 찾고는 한다. 하지만 우리의 연구 결과는 게이머 동기 연구 결과에 비하면 차이가 매우 적다. (유저의 나이에 따라 웹사이트 이용 과업 성취도는 매년 0.8%씩 하락한다.) 그리고 대부분 남성과 여성 유저 사이에는 알려져야 할만큼의 큰 차이가 거의 없다. 만약 당신이 메뉴 디자인에 대한 연구를 한다고 했을 때, UX 가이드 라인을 지킨 메뉴 디자인과 안 좋은 디자인 메뉴 사이의 차이점을 비교하는 것은 의미가 있겠지만, 남성과 여성이 어떤 식으로 메뉴를 이용하느냐에 대한 비교는 아무 의미가 없을 것이다.
결론적으로, Games User Research Summit은 유명 전문가들의 인사이트를 들을 수 있는 정말 훌륭한 컨퍼런스 였다. 주류의 UX와 GUR사이에는 더 큰 차이가 있을 거라고 생각할 수도 있다. 하지만 두 가지 영역의 유사성에 대해 우리는 계속 연구해 나가고, 그러한 방법들은 전통적인 UX에 대입하는 것을 시도해보아야 한다. 설득력 있는 웹 디자인은 점점 더 중요해지고 있다. 일반적 유저 연구가들은 게임 유저 리서치 방법론에 대해서도 이해할 필요가 있다.