최소비용으로 AI 의료 소프트웨어 사용성테스트하기

2021.06.23

라인웍스는 심혈관 환자를 치료할 때 의료진의 의사결정을 돕는 의료인공지능(A.I.) 소프트웨어 의료기기 MDwalks EXI를 개발하고 있습니다.

MDwalks EXI 개발에서 제품 설계를 담당하고 있는 UX 그룹은 소프트웨어 의료기기를 출시하기 위해 필요한 다양한 사용성 테스트를 진행하고 있습니다.

2021년 3월에는 “의료기관의 진료현장과 유사한 상황에 놓인 사용자가 소프트웨어를 설계대로 잘 사용할 수 있는지, 잘못된 조작을 하는 지점이 어디인지”를 파악하기 위해 테스트를 진행했는데요. 이번 글은 이 테스트 경험을 공유하는 글입니다. 특히, 테스트를 최소비용으로 병원과 유사한 환경에서 진행할 수 있도록 하기 위해 어떤 노력을 했는지 중점적으로 다루었습니다. 한정된 자원으로 사용성테스트를 계획중이신 제품 담당자들에게 도움이 되는 글이면 좋겠습니다.

<목차>

  1. 무엇을 테스트할까?
  2. 어떻게 테스트할까?
  3. 사용자는 어떤 행동을 할까?
  4. 테스트가 끝났다. 어떤 것을 개선할까?
  5. 후기


01 무엇을 테스트할까?

목표 : “사용자가 SW를 잘못 조작하는 경우는 어디일까? 언제일까?” 해답을 찾자.

MDwalks EXI는 의료기기 소프트웨어로 그 특성상 사용자가 중요한 알림을 놓치거나, 잘못된 조작을 했을 때 의료진과 환자에 굉장히 치명적인 문제를 불러 일으킬 수 있습니다. 따라서 이번 테스트의 목표를 아래 세 가지로 정했습니다.

  • 사용자가 중요 정보(높은 위험도 등)를 잘 인지하는가?
  • 사용자가 기존 병원 진료 시스템과 연동된 MDwalks EXI로 적절히 유입되는가?
  • 예상하지 못한 사용오류 케이스가 있는가?

테스트 목표를 정하고 난 뒤 목표해결을 위해 필요한 과제들이 정해졌는데요. 두 가지 해결 과제를 정했습니다.

과제1 : 사용자의 어떤 모습을 관찰해야 목표를 평가할 수 있을까?

의료진 인터뷰 때 경험했던 의료진의 행동패턴과 현장 분위기를 바탕으로 테스트 과제를 설정했습니다.

  • 가정 상황 : 사용자(의사역할)가 외래/입원 환자의 차트를 리뷰하는 상황으로 가정한다.
  • 테스트 과제 1 : 외래/입원 각각 6명 환자에 대한 임상적 결정과 환자상태를 기록한다.
  • 테스트 과제 2 : 테스트 종료 후 중증도가 높다고 판단되는 환자를 지목한다.

과제 2: 우리에겐 시간과 자원이 부족하다. 좀 더 가볍게 목표를 달성하려면?

의료진 인터뷰를 여러차례 했으나, 의료진을 섭외-일정조율-인터뷰하는 과정보다 더 저렴한 비용으로 UX를 테스트할 수 있도록 비용에 따라 항목을 분류했습니다.

저비용 테스트 항목
(비전문가도 수행 가능)
고비용 테스트 항목
(전문가만 수행 가능)
무엇을 클릭해야
SW를 띄울 수 있는지 관찰한다
입원을 앞둔 환자를 위한
임상적 결정을 내리는데 EXI를 사용한다
위험도 그래프(게이지 차트 등)를
시각적으로 이해하는지 관찰한다.
위험도가 높을 때 병원 진료 시스템에서
특정 약물 복용 이력을 함께 본다.
위험도의 값(고, 저)의 차이를 인지한다.위험도의 고/저에 따라
다양한 치료를 제공한다.


02 어떻게 테스트할까?

테스트 사용자 선정 및 사전 공유자료 작성

테스트를 할 사용자는 병원 관련 업무∙미팅이 잦아 병원 시스템에 대한 이해도가 높은 내부 구성원 4명으로 선정했습니다. 최대한 실제 의료 현장과 유사한 경험을 할 수 있게끔 테스트 시나리오를 설계했습니다. 또, 테스트 이틀 전에는 진행방식 안내문서를 공유해 사용자가 ‘의료진이 되어 MDwalks EXI를 사용한다’는 마음으로 임해줄 것을 당부했습니다.

테스트 시나리오 설계

현실감있는 테스트를 위해 역할극 형태의 시나리오를 작성했습니다. 진행자는 간호사처럼 말하고 사용자는 의사 마인드로 테스트에 몰입할 수 있도록 설계하는 것이 중요했습니다.

역할극을 시작합니다~!

  • 진행자는 차트리뷰를 요청하는 간호사 역할을 수행하며 테스트 배경을 설명하고 과제를 전달한다.

“교수님 안녕하세요. 환자 목록 보시면 아시겠지만, 내일 외래 진료가 6명 있어요. 환자 데이터 보시면서 앞에 있는 엑셀 표에 한 명씩 차트 리뷰 해주시면 됩니다. 차트 리뷰 다 하시고 나서는 저한테 중증도 있는 환자 누구누구인지 알려주세요. 그럼 제가 진료 보시기 전에 미리 차트에 체크해둘게요.”

자 이제 테스트를 해볼까요?

  • 사용자는 EXI 프로토타입을 보며 엑셀 수기판(임상적 결정, 환자 상태)을 작성한다.
  • 관찰자 1은 사용자 표정을 관찰하며 과제별 수행 시간을 기록한다.
  • 관찰자 2는 화면에서의 움직임과 행동 패턴을 기록한다.
  • 진행자는 사용자에게 중증도가 높다고 생각하는 환자를 지목해달라고 요청한다.
  • 시간이 더 필요할 경우, 최대 5분을 더 제공한다.

“다 확인하셨나요? 중증도가 있는 환자가 누구인지 알려주시면 진료 전에 미리 체크해두겠습니다.”

그래서 사용해보니 어땠나요?

과제 수행이 끝나면 사용자의 엑셀 수기판과 관찰 기록지를 보고 인터뷰를 진행한다.

“고생하셨습니다. 지금부터는 기록한 내용들을 가지고 짧게 인터뷰 해보는 시간을 갖도록 할게요.”

프로토타입 제작

진료실 환경을 떠올리며 병원 진료 시스템과의 연동을 고려한 EXI 프로토타입(우측)을 제작했습니다.
병원 진료 시스템 화면(좌측)은 디자인 비용을 줄이기 위해 엑셀로 작업하여 실제 진료화면처럼 느껴지게끔 제작했습니다.

병원 진료 시스템과 연동

  • 환자 위험단계에 따라 우측 하단 시스템 팝업 노출
  • 팝업 내 위험도 및 위험단계, 안내 문구를 노출해 EXI 유입 유도

환자 상세페이지

  • 현재 심혈관질환 위험도를 중앙 배치하여 비중을 높임
  • 다음 환자를 바로 확인할 수 있도록 모달 형태로 노출

03 사용자는 어떤 행동을 할까?

우리의 예상

  1. 시스템 팝업 알림을 인지한 경우 EXI의 환자 계층에 따라 환자의 상태를 파악할 것이다.
  2. 시스템 팝업 알림을 인지하지 못한 경우 병원 진료 시스템의 정보를 통해서 환자의 상태를 파악할 것이다.

테스트 진행

전체 테스트는 이틀 일정으로 실시했습니다. 각 테스트는 외래/입원 시점으로 구분했고,
이 글의 ‘02 어떻게 테스트할까?’에서 정한 시나리오와 질문으로 테스트를 진행했습니다.

  • 시행 일자: 2021년 3월 24일 (외래), 2021년 3월 25일 (입원)
  • 구성원: 테스트 사용자 1명, 진행자 1명, 관찰자 2명
  • 테스트 시간: 각 1시간
  • 테스트 환경: 모니터 1대와 노트북 1대, 화면 및 음성 녹화
  • 테스트 목적: 연동 플로우 검증, UX 개선


04 테스트가 끝났다. 어떤 것을 개선할까?

결과 요약

테스트 결과와 인터뷰 내용를 기반으로 현 단계에서 적용 가능한 범위를 계산해 개선안을 제작했습니다. 그 중에 대표적인 예시를 공유합니다.

EXI 환자 상세페이지: 게이지 차트

게이지 차트는 인공지능으로 분석한 환자의 위험도를 수치로 표시하는 기능입니다.

개선 전개선 후
01) 현재 위험도 인지 여부
• 게이지 차트보다 숫자 자체가 더 중요하다는 의견이 많음
02) 위험 배지 개념 이해
• 대부분의 사용자가 계층 간 차이를 인식하지 못함
01) 위험도 수치 강조
• 위험도 수치를 상단에 배치해 정보 위계를 설정
02) 이전 위험도 영역 확장
• 세 번의 이전 방문 위험도 값과 위험 배지 노출
• 타임라인 차트까지 시선이 가지 않고 이전 위험도 정보를 확인할 수 있으나 검증 필요

EXI 환자 상세페이지: 타임라인 그래프

타임라인 그래프는 환자의 위험도와 주요 방문 정보를 시계열로 표시해 정보를 제공합니다.

개선 전개선 후
01) 타임라인 그래프 사용성
• 다수의 사용자가 병원 진료 시스템의 방문 유형에 따른 위험도를 주로 확인함
• 방문 주기가 짧은 경우 특정 시점의 정보 확인하는데 어려움이 있음
01) 타임라인 그래프 기간 조정
• 날짜 인풋을 통해 원하는 시점을 확인 가능
02) 방문 유형 정보 제공
• 툴팁 내에서 날짜 별 방문 유형을 확인 가능
03) 타임라인 그래프 확대/축소
• 다량의 방문 데이터가 뿌려질 경우를 고려하여 그래프 를 확대/축소 하는 기능 추가


05 후기

테스트 회고

  • “역할극 시나리오가 최소비용의 핵심이었다고 생각해요. 테스트에 의료진의 대화방식과 병원 현장 분위기를 최대한 자연스럽게 녹여내기 위해 드라마 작가처럼 대본을 쓰고 팀원들끼리 서로 연기해보며 맞춰봤던게 재미있었어요.
    아쉬웠던 건, 데이터 정확성을 간과하는 바람에 테스트 중 환자상태에 대한 해석오류가 발생하기도 했어요. 아무리 프로토타입이더라도 의료 SW인만큼 사전 시뮬레이션할 때 데이터가 정확하게 해석되는지도 잘 체크해야겠습니다.”
  • “최소 비용, 작은 단위로 테스트를 진행한 덕분에 부담없고 빠르게 제품 사용성을 개선할 수 있는 인사이트를 얻을 수 있었다. 테스트-개선의 작은 반복, 이것이 우리에게 어울리는 테스트 방법이라 생각한다.”
  • “테스트 중 사용자가 예상치 못한 행동을 할 때 당황하기도 했다. 돌아보니 그런 사용자의 작은 행동 하나하나가 개선하는데 많은 도움이 되었다. 다음에 테스트를 진행한다면 좀 더 열린 마인드로 임해야겠다.”

마치며

이번 포스팅에서는 최소비용으로 사용성테스트를 하는 과정을 담아보았습니다. 예상보다 더 많은 노력이 들어갔지만 그에 못지 않은 다양한 인사이트를 도출한 좋은 경험이었던 것 같습니다. 라인웍스 UX그룹은 제품 개선을 위해 다양한 사용성 테스트를 실험할 예정이니 앞으로도 관련 글을 공유해 보도록 하겠습니다. 감사합니다.

Hyeonji Song

Product Designer

Hyeonji Song