治験グレードおよびスタディビルドQCエージェント

「試験グレード」は、試験がベストプラクティスに準拠しているかどうかに基づいて試験をレビューし、等級付けする機能です。展開後、試験のスタディデザインに対して一連のチェックを実行する試験グレードジョブが実行されます。これらのチェックでは、Veeva CDMS のベストプラクティスに照らして定義または定義のグループをレビューし、スタディデザイン、パフォーマンス、およびデータ抽出に影響を与える領域を明らかにします。試験グレードは [試験グレード] タブで確認できます。

試験グレードジョブの一環として、Veeva AIおよびスタディビルドQCエージェントを用いてAIスタディデザインQCレポートを生成できます。スタディビルドQCエージェントは、推奨される特定のデザイン手法を含む一連の品質チェックに照らして、スタディ設定を確認します。

前提条件

機能の有効化

スタディビルドQCエージェント機能は、組織がVeeva AI契約に署名している場合にのみ使用できます。詳細は Veeva のサービス担当者までお問い合わせください。

必須権限

標準の CDMS 試験設計者試験ロールを持つユーザは、デフォルトで下記のアクションを実行することができます。組織がユーザ定義のスタディロールを使用している場合、ロールに以下の権限が付与されている必要があります。

タイプ	権限ラベル	制御
標準タブ	Studio タブ	Studio タブへのアクセス権限
標準タブ	試験グレードタブ	試験グレードタブへのアクセス権限
機能権限	治験グレードの表示	治験グレード記録の閲覧

治験に制限付きデータが含まれている場合、それを閲覧するには制限ありデータアクセス権限が必要です。

試験の役割について詳しくご確認ください。

注：この一連の確認の目的は、現在または将来のスタディデザインの変更を純粋に評価し、（検証の警告と同様に）提案することです。スタディデザインの複雑さと多様性から、一部の選択がベストプラクティスから逸脱することがあり、それにより全体の評価が低くなることがあることは理解されています。そのため、この機能は特定の個人のパフォーマンスを測定または評価するために設計されたものではなく、そのように使用することはできません。

スタディグレードの使用

DEV から TST への展開が成功すると、スタディグレードが自動的に実行されます。また、Studio の アクション メニューからスタディグレードレポートを手動で実行することもできます。展開後、Vault はジョブを実行してスタディデザインを評価し、その結果をログに記録して Excel™ ファイル形式にフォーマットされます。ジョブが完了すると、全体的な定量的スコアと各チェックの詳細なスコアを含む試験グレードレコードが [試験グレード] タブに作成されます。

スタディが定量的スコアを受け取ると、その結果が Veeva CDMS サービスによってレビューされ、スタディデザインに必要な改良点が示されます。これらの提案は、定性的スコアとともに、試験グレードレコードの [試験グレードレビュー] サブタブに記録されます。

スタディがレビューされ評価が下された後、Veeva サービスのレビュー担当者と協力して次のステップを決定することができます。

スタディグレードレポートの手動実行

Studio の スタディ設定 (Study Settings) タブでスタディグレードレポートを手動で実行できます。

スタディグレードレポートを実行するには:

Studio > 試験設定 (Study Settings) に移動します。
アクションメニューをクリックし、スタディグレードレポートの作成 (Create Study Grade Report) を選択します。
任意：AI QCレポートを含める（Include AI QC Report）を選択します。これは、スタディに対するAIを活用した追加の品質チェックです。詳しくは以下を参照してください。
今すぐ実行をクリックします。

Vault はスタディグレードレポートを実行し、レポートが完了すると電子メールで通知します。

試験グレードおよび試験グレードレビューの表示方法

各試験グレードレコードには、[詳細]、[システムグレード]、[試験グレードレビュー]、[試験グレードスコア]、[その他情報]、[添付ファイル] の各サブタブがあります。

詳細: このセクションには、名前、スタディ、スタディバージョン、ビルド、および最終実行またはレコードがシステムによって最後に更新された時刻などのスタディ情報が表示されます。
システムグレード: このセクションには、試験グレードスコアの加重平均を計算して算出されるスタディの定量的スコアが表示されます。このスコアは、[このスタディはベストプラクティスを使用] フィールドに表示されます。
試験グレードレビュー: このセクションには、Veeva Services のレビュー担当者によって作成された定性的スコアおよび評価である試験グレードレビューが表示されます。
試験グレードスコア: このセクションには、スタディ環境に対して実行されたチェック項目の一覧と対応するスコアの詳細が表示されます。
その他の情報: このセクションには、作成日や最終更新日など、試験グレードレコードに関する基本情報が表示されます。
添付ファイル: このセクションには、Excel™ ファイル形式の試験報告書カードが添付されています。

あなたのスタディグレードを理解する

Vaultは、スタディグレードの1つとして、2つのスコア（0～4）を提供します。1つは、症例ごとに評価とスコアリングを行うチェックベースのスコア、もう1つは、個々のチェックスコアの加重計算に基づく総合的な計算スコアです。

これらのスコアの意図は、システムの観点からのチェックの概要を提供することです。これらのスコアは標準化されていますが、スタディデザインのばらつきや要件によっては、逸脱が必要になる場合があります。そのため、定性的なレビュープロセスを導入しています。

以下の表は、スタディグレードの採点システムの概要を示しています。

スコア	説明
0 - 該当なし	このコンテンツでは、そのデザインは評価に適用できませんでした。このスコアは、システムがデザインと指定された基準との関連性を判断できない場合、または測定対象の側面がこの特定のレコードに適用されない場合に発生することがあります。その結果、評価は行われませんでした。*
1 - まったく同意しない	そのデザインはシステムの期待から大幅に逸脱しており、パフォーマンスやユーザビリティの基準を大きく下回っています。これは、整合性に大きなギャップがあることを示しています。
2 - 同意しない	このデザインは、期待されるデザイン基準に沿ったものですが、パフォーマンスやユーザビリティに関する主な期待にはまだ応えられていません。いくつかの機能は動作するかもしれませんが、全体的な設計は不十分であり、システムのベースライン基準を満たすには改善が必要です。
3 - 同意する	デザインは期待される基準にうまく適合しています。パフォーマンスと操作性はシステムの期待に沿っており、デザインは要件を満たしています。若干の改善の余地はあるかもしれませんが、概ね機能的で効率的な記録です。
4 - まったく同意する	そのデザインは、システムのパフォーマンスとユーザビリティに対する期待に応え、基準に理想的な形で適合しています。

*Vaultは、以下の場合はレコードの評価をスキップします。

スケジュールには使用されていません
これらはルールに関連しており、以下の基準を満たしています。
- 1つ以上の識別子が使用中の定義と一致しません。
- それらは非アクティブまたはアーカイブされています。

チェックとその解決方法

次の表に、可能性のある試験グレードのチェック項目と、ログに記録されたエラーの解決方法を示します：

名前	ラベル	解決方法
codelist_consistency	コードリストの書式が一貫している	異なるコードリストのコードおよびデコードについて、コードリストおよびコードリスト項目の書式（大文字と句読点）が一致していることを確認します。
codelist_display	コードリストが、コードリスト内のアイテム数に応じて適切に表示されている	ベストプラクティスでは、4 項目未満のコードリストはラジオボタン、6 項目以上のコードリストは選択リストとして表示することを推奨しています。多くの場合、コードリストはラジオボタンの方が見やすくなりますが、選択肢が多すぎるとフォームの表示方法やサイトでの使用方法に影響します。
event_group_repeating	繰り返しイベントグループが可能な場所で使用されている	類似フォームを持つイベントを確認し、可能であれば、類似フォームを持つイベントを使用して繰り返しイベントグループを作成します。
event_group_usage	イベントグループが適切に使用されている	スタディにおけるイベントグループの使用状況を確認します。過剰に使用していないか (すべてのイベントにイベントグループがありますか？)、あるいは使用不足ではないか (イベントグループが 1 つしかないということはありませんか？) をチェックしてください。事象グループ?注：場合によっては、1 つのイベントグループがスタディに適していることがあります。
form_order	複数のイベント間で再利用されるフォームが、同じ相対順序になっている	フォームの順序に関連するチェックを受け取った場合、複数のイベント間でフォームを再利用しており、それらのフォームのいくつかが（互いに関連して）異なる順序になっています。これを解決するには、フォームを再利用したイベントを検証し、それぞれのフォームが使用されるどのイベントでも同じ相対的順序で使用されるように整理します。システムチェックでは正しい順序を判別できないため、ユーザが正しい順序を判断し、それに応じてフォームをモデル化してください。
form_total_items	フォームに正しい数のアイテムが表示されている	このチェックでは、1 つのフォームに表示するアイテム数が多すぎる可能性がある状況を探します。これが発生した場合、デフォルトの繰返しアイテムグループが多数の行を生成しているか、繰返しアイテムグループ内に多数のアイテムがあるか、または繰返しアイテムグループの繰返し最大値が極端に大きいなどの可能性があります。これを解決するには、データセットの要件に照らしてアイテムグループを確認します。すべてのデータがこのデータセットで収集する必要があるかどうか、既定値が予期される既定値のみであることを確認し、繰り返しの最大値を適切な値に更新します。私たちは、研究の要件のためにこれらの更新ができない場合があることを認識していますが、フォームが大きくなりすぎると EDC のパフォーマンスに影響を与える可能性があることに留意してください。
form_unnecessary_copy	フォームの不要なコピーが回避されている	可能な場合は、アイテム、アイテムグループ、およびフォームを再利用します。この問題が避けられない場合もあります。
rule_blank_checks	ルールの NULL 値および空白値チェック	必要に応じて、テキスト、日付、数値の識別子に IsBlank() を使用するルールを作成します。
rule_complexity	ルールの複雑さが適切	ルール全体の数を減らすために複雑なルールを作成する必要がある場合が多くありますが、これらのルールの順列によってパフォーマンスの問題が発生する場合もあります。このような場合、1 つのルールで可能な順列の数を減らすために、これらのルールの一部を分割する必要がある場合もあります。この問題を解決するには、完全修飾されていない識別子またはアクションと繰り返しオブジェクトを確認して、チェック項目数を減らすか、これらの一部を別のルールに分割できる可能性があるかどうかを確認します。
rule_dynamics_results	動的ルールアクションが、グローバルを適切に利用している	アクションのターゲットとイベントグループに一致するように動的アクション範囲を変更します。スコープがグローバルで、完全修飾アクション識別子があり、イベントグループが繰り返しの場合、いずれかの値を変更する必要があります。アクション識別子で @Event を使用するか、スコープをグローバル以外に変更します。
rule_qualified_identifiers	ルールが繰り返しオブジェクトに @ 識別子を使用している	繰り返し定義（イベントグループ、フォーム、アイテムグループ）に反するルールは、修飾せずにイベントまたはイベントグループの一致するスコープを持つか、修飾せずにグローバルスコープを持つ必要があります。
rule_scope	ルールのスコープがアクションに対して適切に設定されている	アクションのターゲットおよび式で使用される識別子は、すべて完全修飾されているか、すべて完全修飾されていない必要があります。@Form、@Event などの使用に一致するようにアクションまたは識別子を更新します。

スタディビルドQCエージェントの操作

スタディビルドQCエージェントで、AIスタディデザインQCレポートを治験グレードの一部として生成するよう選択できます。エージェントは、フォームのレイアウト、項目プロパティ、ラベル名の一貫性、将来日付の設定、必須チェック、繰り返しフォームおよび項目グループの設定、コードリストの設定、スペルミスについてビルドを評価します。エージェントはこれらの評価結果をCSVファイル（「StudyDesignQC_{StudyName}_{StudyInstance}.{HighestCasebookVersion}.{CurrentVersionNum}.{BuildNum}-{DateGenerated}.csv」）にまとめます。

利用条件：スタディビルドQCエージェント機能は、組織がVeeva AI契約に署名している場合にのみ使用できます。詳細は Veeva のサービス担当者までお問い合わせください。

AIスタディデザインQCレポートをダウンロードするには：

治験グレードタブに移動します。
リストから、先ほど生成した治験グレードを見つけます。
治験グレードの名前をクリックして開きます。
添付ファイルセクションまでスクロールします。
クリックして添付ファイルを展開します。
ファイル名またはダウンロードボタンをクリックして、CSVファイルをダウンロードします。
CSVファイルを任意のツールでレビューします。

エージェントがチェックする項目

スタディビルドQCエージェントは、以下の項目を確認します。

ラベルのスペルミス
ラベルと外部IDの値が一致していること
フォームおよび項目のラベルがフォーム間で一貫性があること（例：「その他、指定してください」「その他の場合、指定してください」「その他、指定してください」）
アイテム名が適切な長さ（通常8文字以下）であること
ヘッダー表示と視覚化グループプロパティがtrueに設定されていること（チェックボックスが選択されていること）
コードリストのコードリスト項目が6つを超えている場合、コントロールタイプが選択リストに設定されていること
コードリストのコードリスト項目が6つ未満の場合、コントロールタイプがラジオボタン - 横またはラジオボタン - 縦に設定されていること
フォーム内では、可能な限りすべてのコードリストに同じコントロールタイプが使用されていること
コンポジットや並列レイアウトの場合、設計判断は同一フォーム内で一貫していること
質問（フォームのラベル）は明確で、論理的な順序に従っており、エンドユーザを誘導しないこと
フォームをイベント間で再利用する場合、フォームが同じ相対的順序で表示されること
ヒントラベルやホバーラベルが使用されている場合、綴りが正しく、説明しているアイテムと整合していること
繰り返しフォームとアイテムグループがフォームに対して適切であること
繰り返しアイテムグループに対してグリッドビューが選択されていること
繰り返しフォーム内での繰り返しアイテムグループの使用が必要最小限に抑えられていること
数値型項目に適切な単位があり、固定単位がラベル形式で表示されていること
数値型項目に、論理範囲チェック、精度、長さ、およびデフォルト単位が設定されていること
日付タイプの項目は、予測日やIVRSから取得された日付を記録する項目を除き、将来の日付に対してクエリを発行するように設定されていること（将来の日付不可プロパティ）。
コードリストタイプのアイテムの長さが、最も長いコードリストアイテムのラベルの長さに合わせて設定されていること

参考情報として、QCエージェントは以下の処理も行います。

日付型項目のうち、日の不明を許可する、月の不明を許可する、または時刻の不明を許可するプロパティが選択されているもののリストを返します。
必須が選択されていない項目のリストを返します。ただし、派生型、読み取り専用型、ラボ型、参照型の項目、ブール型または浮動小数点型の項目、またはラベルタイプがnullでない（情報用や説明用フィールドなど）項目は除きます。
ヘッダー項目タイプを使用している項目のリストを返します。