메트릭 활용

Veeva DQS는 연구에서 위험 기반 품질 관리를 지원하기 위해 메트릭을 제공합니다. 이 메트릭을 통해 주요 위험 메트릭(KRI)와 품질 허용 한계(QTL)를 추적하여 허용 가능한 위험 범위에서 벗어난 부분을 식별할 수 있습니다. 임상 연구에서 메트릭을 사용하여 환자 안전, 데이터 무결성 또는 연구 결과에 영향을 미칠 수 있는 위험을 모니터링하고 완화할 수 있습니다. 연구, 사이트, 국가 또는 피험자 수준에서 Key Risk Indicator(KRI)와 Quality Tolerance Limit(QTL)을 정의하고, 시각화하며, 모니터링할 수 있는 메트릭을 쉽게 생성하여 잠재적 문제의 식별과 해결을 가속화할 수 있습니다. 프로덕션 환경에서는 메트릭이 매일 새로 고쳐지므로, DQS Workbench 내에서 연구 데이터 위험에 대한 최신 정보를 제공하며, 별도의 외부 메트릭 추적을 구성하고 유지하는 데 시간을 들일 필요가 없습니다.

메트릭스 접근

메트릭 섹션에서 Veeva DQS의 메트릭에 접근할 수 있습니다. 탐색 창()에서 메트릭 영역으로 이동하거나, 연구를 선택한 후 연구 페이지의 작업 메뉴()에서 이동할 수 있습니다.

Metrics 목록 페이지는 DQS의 다른 목록 페이지처럼 정렬 및 필터가 가능합니다.

메트릭을 여는 방법

메트릭 페이지에서 메트릭의 제목을 클릭하여 메트릭을 열 수 있습니다. 메트릭을 메트릭 메뉴에서 열 수도 있습니다.

연구의 메트릭로 이동합니다.
목록에서 열려는 메트릭을 찾습니다.
제목 위로 마우스를 가져가면 메트릭 메뉴가 표시됩니다.
메트릭 메뉴에서 열기를 선택합니다.

메트릭 검색

제목, 범주, 목표, 설명, 원본 및 상태 열을 사용하여 특정 메트릭을 검색할 수 있습니다. 이 검색은 "포함 시 표시" 방식을 사용합니다.

검색하는 방법은 다음과 같습니다.

Workbench에서 스터디(Study)로 이동합니다.
위쪽 탐색 모음에서 검색()을 클릭합니다.
기본적으로 Workbench는 모든 오브젝트 유형에서 검색합니다. 유형 드롭다운에서 확인란을 선택하고 선택 취소하여 Workbench에서 검색 중인 오브젝트를 변경할 수 있습니다.
검색할 열(Column)을 선택합니다. 기본값은 제목(Title)입니다.
검색 텍스트(Search Text)를 입력합니다.
검색을 클릭하거나 Enter를 눌러 검색합니다.
결과 섹션에서 메트릭 제목을 클릭하여 엽니다.

Workbench는 검색(Search) 패널의 결과(Results) 섹션에 검색 결과를 표시합니다.

닫기(Close)()를 클릭하여 검색 패널을 닫습니다.

정렬 및 필터링(Sort & Filter)

다음 열을 기준으로 메트릭 페이지를 정렬하고 필터링할 수 있습니다:

직책
현재 상태
범주(Category)
목표(Objective)
생성 날짜(Created On)
생성자(Created By)
수정 날짜(Modified On)
수정자

열에 이미 정렬 또는 필터가 적용된 경우 Workbench에 정렬(Sort) 아이콘(오름차순의 경우 , 내림차순의 경우 )과 필터(Filter) 아이콘()이 표시됩니다. 열 헤더에서 이를 클릭하여 정렬 또는 필터를 편집할 수 있습니다. 아직 정렬 및 필터가 없는 열을 정렬하고 필터링할 수도 있습니다.

메트릭 목록 정렬

정의됨 및 정의되지 않음 하위 탭 모두에서 메트릭 목록을 정렬할 수 있습니다.

메트릭 목록을 정렬하는 방법은 다음과 같습니다.

정렬 기준으로 사용할 열의 열 헤더 위로 마우스를 가져갑니다.
정렬(Sort)()을 클릭하여 정렬(Sort) 메뉴를 엽니다.
정렬 기준에서 오름차순 또는 내림차순을 클릭합니다.
확인을 클릭합니다.

열에 이미 정렬 순서가 적용된 경우 Workbench에 정렬 아이콘(오름차순의 경우 , 내림차순의 경우 )이 표시됩니다. 열 헤더에서 이를 클릭하여 정렬 순서를 변경하거나 제거할 수 있습니다.

정렬 순서를 초기화(제거)하려면 정렬(Sort) 메뉴를 열고 초기화(Reset)를 클릭합니다.

메트릭 목록을 필터링하기

정의된 서브탭과 정의되지 않은 서브탭 모두에서 메트릭 목록을 필터링할 수 있습니다.

메트릭 목록을 필터링하려면:

정렬 기준으로 사용할 열의 열 헤더 위로 마우스를 가져갑니다.
정렬(Sort)()을 클릭하여 정렬(Sort) 메뉴를 엽니다.
조건에서 필터링할 조건을 선택합니다.
확인을 클릭합니다.

필터를 제거하려면, 정렬 메뉴를 열고 조건에서 지우기를 클릭합니다.

메트릭 생성 & 및 편집

메트릭을 생성하려면 다음 각 열 유형 중 최소 하나씩을 포함하는 맞춤형 목록이 있어야 합니다.

'GROUP BY' 구문에 하나 이상의 항목이 포함되어야 합니다.
최소 하나의 숫자 또는 정수형 열이 포함되어야 합니다

필수 열 유형 중 하나라도 누락되면, 목록을 메트릭으로 저장하려고 할 때 시스템에서 오류 메시지가 표시됩니다.

필수 열 유형이 포함된 커스텀 목록을 메트릭으로 저장하여 메트릭을 생성할 수 있습니다. 메트릭 생성은 두 단계로 이루어집니다:

커스텀 목록을 메트릭으로 저장합니다.
메트릭의 통계적 구성을 정의합니다.

메트릭 정의 프로세스를 저장하지 않고 종료하면, 해당 메트릭은 정의되지 않음 상태로 저장됩니다. 정의되지 않음 상태의 메트릭은 메트릭 페이지의 정의되지 않음 서브탭에서 조회 및 편집할 수 있습니다.

메트릭 생성

메트릭을 생성하는 방법은 다음과 같습니다.

메트릭에 포함할 필드와 그룹핑을 지정하여 맞춤형 목록을 생성하세요.
맞춤형 목록으로 이동하세요.
목록의 작업 메뉴에서 다른 이름으로 저장 위에 마우스를 올리고, 메트릭을 클릭합니다.
메트릭 저장하기 대화상자에서 제목(Title)과 카테고리를 입력합니다. 선택적으로 목표와 설명을 메트릭에 입력합니다. 제목에는 공백을 포함할 수 없습니다.
저장을 클릭합니다. 메트릭 만들기 페이지가 열립니다. 이 시점에서 메트릭 생성 워크플로우를 종료하면, 메트릭은 정의되지 않은 상태로 저장됩니다. 사용자가 입력한 메트릭 만들기 속성은 저장되지 않습니다.
메트릭 만들기 페이지에서 메트릭 유형을 선택합니다.
메트릭의 수준을 선택합니다.
공식을 선택하세요.
공식에서 X에 해당하는 열을 선택하세요.
(값을 공식으로 사용하지 않는 모든 메트릭에 대해) 공식에서 Y로 사용되는 열을 선택하세요.
임계 방향을 선택하세요. 상부 임계값, 하부 임계값 또는 상부 임계값과 하부 임계값(양방향)을 설정할 수 있습니다.
임계값을 선택하세요. 선택한 공식에 따라 사용 가능한 임계값 옵션이 달라집니다. 단일 방향 임계값에는 최소 1개, 양방향 임계값에는 최소 2개를 정의해야 합니다. 단일 방향 임계값은 최대 2개까지, 양방향 임계값은 최대 4개까지 정의할 수 있습니다.
(선택 사항) 삭제 아이콘()을 클릭하여 임계값을 제거합니다.
저장을 클릭합니다.

메트릭 편집

메트릭 페이지에서 메트릭의 속성을 변경할 수 있습니다.

기본 메트릭 데이터 편집: 메트릭에 사용되는 기본 데이터를 편집하려면 원래 목록을 수정하고 신규 메트릭을 만든 후 이전 메트릭을 삭제해야 합니다.

메트릭을 편집하려면:

연구 메뉴 또는 내비게이션 드로어를 사용해 연구의 메트릭 페이지로 이동합니다.
편집하려는 메트릭의 제목을 클릭하여 엽니다.
작업 메뉴()에서 메트릭 수정을 클릭합니다.
메트릭 만들기 대화상자에서 원하는 변경을 하세요.
저장을 클릭합니다.

메트릭 구성 옵션

메트릭 유형

다음 표는 사용 가능한 메트릭 유형을 설명합니다:

메트릭 유형	선택	메모
KRI	주요 위험 메트릭: 위험 기반 품질 관리 프레임워크 내에서 연구의 특정 수준에서 데이터를 평가하여 허용 가능한 위험 범위에서 벗어난 편차를 식별합니다.	이 분류는 참고용으로만 제공되며, 기본 메트릭 계산에는 영향을 미치지 않습니다.
QTL	품질 허용 한계(QTL): 위험 기반 품질 관리 프레임워크 내에서 전체 연구 수준에서 정의되며, 연구 전체에 걸쳐 전반적인 연구 데이터의 체계적인 문제를 식별하기 위해 사용됩니다.	이 분류는 참고용으로만 제공되며, 기본 메트릭 계산에는 영향을 미치지 않습니다.

수준

다음 표는 메트릭이 구성될 수 있는 사용 가능한 수준을 설명합니다.

레벨	선택
연구	연구 전반에 걸친 데이터를 추적합니다.
사이트(Site)	사이트별로 데이터를 추적합니다.
국가	연구 국가 수준에서 데이터를 추적합니다.
대상자	피험자 수준에서 데이터를 추적합니다.
Other	그룹화 기준이 연구, 사이트, 국가, 대상자 등 다른 그룹화 수준과 일치하지 않을 때 사용자가 직접 설정할 수 있는 사용자 정의 분류입니다.

수식

다음 표는 사용 가능한 메트릭 공식들을 설명합니다.

수식	선택	메모
값	X로 구성된 열의 발생 횟수를 단순히 집계합니다.	값은 관심 대상 이벤트가 특정 기준을 충족하는 발생 건수를 단순히 집계하는 메트릭에 가장 적합하게 사용됩니다. 계산 예: 메트릭 = X
백분율	Y 중 X의 계산된 백분율.	백분율은 임계값이 연구의 다른 부분과 비교되는 것이 아니라, 고정된 목표 또는 기준일 때 메트릭을 계산하는 데 가장 적합합니다. 계산 예: 메트릭 = (X/Y) * 100
이진 비율 (Z-점수)	피험자별로 최대 한 번 발생하는 이벤트의 경우, 표본 크기에 맞게 통계적 율이 조정됩니다.	이진 비율은 관심 있는 이벤트가 각 피험자에게 한 번씩 발생할 때 메트릭을 계산하는 데 가장 적합합니다. 계산 예: 메트릭 = X/Y vMu = sum(X) / sum(Y) z0 = (Metric - vMu) / √(vMu * (1-vMu)/ Y) phi = mean(z0^2) 점수 = (Metric - vMu) / √(phi * vMu * (1-vMu) / Y)
비 이진 비율(Z-점수)	피험자별로 여러 번 발생할 수 있는 이벤트의 경우, 표본 크기에 따라 조정된 가중 통계율입니다.	논바이너리 비율은 관심 있는 이벤트가 피험자별로 여러 번 발생할 수 있는 메트릭을 계산하는 데 가장 적합합니다. 계산 예: 메트릭 = X/Y vMu = sum(X) / sum(Y) z0 = (메트릭 - vMu) / √(vMu / Y) phi = mean(z0^2) 점수 = (메트릭 - vMu) / √(phi * vMu / Y)

임계 방향

동적 임계값은 선택된 공식에 따라 달라집니다.

다음 표는 사용 가능한 임계값 방향을 설명합니다.

지시	선택	메모
단일(상한)	메트릭이 정의된 상한을 초과하면 플래그가 표시됩니다.	상한 임계값의 연산자는 항상 ≥입니다. 그린은 위 행의 입력값(<)보다 작을 때 산출됩니다.
단일(하한)	메트릭이 정의된 하한값 이하로 떨어지면 플래그가 표시됩니다.	낮은 임계값의 연산자는 항상 ≤입니다. 그린은 그 아래 행의 입력값보다 > 더 클 때 산출됩니다.
양방향	메트릭이 정의된 상한을 초과하거나 하한 미만일 때 플래그가 표시됩니다.	상한 임계값의 연산자는 항상 ≥이고, 하한 임계값의 연산자는 항상 ≤입니다. 그린은 아래 행과 위 행의 입력 사이 값으로 산출됩니다.

메트릭 승인 및 배포

연구당 메트릭을 최대 50개 배포할 수 있습니다. 더 알아보기 메트릭 승인 및 배포에 대해

메트릭 보기 및 시각화 &

메트릭을 보고 시각화하여 설정된 임계값을 충족하는 플래그된 데이터를 쉽게 식별할 수 있습니다. 그룹 수가 200개 미만인 메트릭에는 스택형 막대 차트 시각화가 지원됩니다. 메트릭에 200개가 넘는 그룹이 있는 경우, 메트릭 열에 필터를 적용하여 그룹 수를 200개 미만으로 줄일 수 있습니다. 운영 환경에서는 메트릭이 매일 갱신되며, 테스트 환경에서는 15분마다 수동으로 갱신할 수 있습니다.

리스팅 헤더

리스팅 머리말처럼, 메트릭 페이지의 머리말에는 해당 메트릭의 카테고리, 목표, 연관된 양식이 표시됩니다. 카테고리와 목표는 메트릭 생성 시 정의되며, 연관된 양식은 원본 맞춤 목록을 생성할 때 정의됩니다. 머리말에 표시되는 날짜는 다음과 같습니다.

최종 갱신일 [날짜]: 메트릭이 마지막으로 갱신된 날짜입니다.
최종 수정일 [날짜]: 메트릭이 마지막으로 수정된 날짜입니다.

메트릭을 보는 방법:

연구 메뉴 또는 내비게이션 드로어를 사용해 연구의 메트릭 페이지로 이동합니다.
확인하려는 메트릭의 제목을 클릭하여 엽니다.
메트릭 목록이 열리면 각 기록과 해당 플래그 색상이 표시됩니다.
(선택 사항) 메트릭의 열별로 정렬 또는 필터를 적용할 수 있습니다. 메트릭 데이터는 다른 목록 데이터처럼 정렬 및 필터링이 가능합니다.
차트 보기 버튼을 클릭하여 데이터의 스택형 막대 차트 시각화를 볼 수 있습니다.
메트릭 시각화 페이지가 열립니다. X축은 그룹 기준입니다. 상하의 노란색 및 빨간색 임계값에 대한 임계선이 표시됩니다. 시각화에 표시되는 그룹은 테이블 뷰에 적용된 필터를 기반으로 합니다.
(선택 사항: 이진 비율과 비이진 비율 공식에 대해) Y축 드롭다운을 클릭하여 점수와 메트릭을 전환하세요.

제한

메트릭에는 다음과 같은 제한 사항이 적용됩니다.

각 메트릭은 고유한 이름을 가져야 합니다.
메트릭은 뷰, 세트, 리스팅(검토 또는 커스텀), 또는 확인으로 저장할 수 없습니다.
메트릭은 다른 항목과 조인하거나 CQL에서 참조할 수 없습니다.
뷰, 세트, 코어 리스팅, 검토 리스팅, 그리고 확인은 메트릭으로 저장할 수 없습니다. 사용자 지정(비공개 또는 공개) 목록에서만 메트릭을 생성하고 저장할 수 있습니다.
메트릭에는 프로토콜 위반, 관찰, 쿼리가 생성되거나 조회될 수 없습니다.
연구 당 메트릭을 최대 50개 생성할 수 있습니다.
입력 변수 중 하나라도 양식 또는 컬럼 수준에서 맹검 데이터가 포함되어 있거나, 메트릭 입력 데이터의 일부 행에 행 단위 맹검 처리가 적용된 경우, 조건부 맹검 해제 규칙과 관계없이 전체 메트릭이 맹검 처리됩니다. 맹검 데이터에 접근 권한이 없는 사용자는 메트릭스 페이지 목록에서 해당 메트릭을 볼 수는 있지만, 메트릭 데이터를 확인할 수 없으며, 대신 해당 메트릭이 맹검 처리되었다는 UI 메시지를 보게 됩니다.