导入 Veeva EDC 数据
在 Veeva Clinical Data 中,可以通过工作台导出(Workbench Export)作业轻松地将数据从 Veeva EDC 移动到 Veeva CDB。工作台导出作业将研究的执行数据从 EDC 导出到 CDB Workbench 应用程序。在 CDB Workbench 中,CDB 会为研究中的每个表单创建一个核心列表。每次运行此作业时,CDB 都会更新其中的数据以反映 EDC 中的数据。
如果你的 Vault 是在 24R2 版本之后创建的,则你的 Vault 中启用了增量导入(incremental import)功能。跳转到下文增量导入(Incremental Import)部分。如果你的 Vault 是在 24R2 版本之前创建的,则可能尚未启用此功能。
可用性:临床数据库(CDB)仅对 CDB 许可证持有者提供。请联系 Veeva 服务代表了解详细信息。
先决条件
在使用工作台导出作业将数据从 EDC 移动到 Workbench 之前,Veeva 服务必须执行一些额外的配置任务,以将 EDC 中的研究连接到 Workbench 中的研究。请联系 Veeva 服务代表了解详细信息。
默认情况下,具有标准 CDMS 首席数据管理员(CDMS Lead Data Manager)研究角色或 Vault 所有者(Vault Owner)安全配置文件的用户可以执行下述操作。如果 Vault 使用自定义研究角色,则你的角色必须具有以下权限:
类型 | 权限标签 | 控制 |
---|---|---|
“标准(Standard)”选项卡 | “EDC 工具”选项卡 | 能够访问 EDC 工具选项卡 |
功能权限 | 管理作业 | 能够创建、编辑和删除已计划的作业 |
功能权限 | 查看导入 | 能够访问“导入(Import)”页面 |
功能权限 | 下载导入包 | 能够下载导入包 |
如果您的“研究”包含受限数据,您必须具有“受限数据访问(Restricted Data Access)”权限才能查看该数据。
了解有关“研究角色”的更多信息。
在 EDC 中运行工作台导出作业
可以选择运行一次工作台导出作业,或安排其定期运行。
此作业会发送所有处于已提交和编辑中状态的表单数据包。
要创建工作台导出(Workbench Export)作业,请执行以下操作:
- 导航到工具> EDC 工具 >作业。
- 对于类型(Type),选择工作台导出(Workbench Export)。
- 要运行一次工作台导出作业,请单击运行(Run)。要安排定期导出作业,请继续执行步骤 5。
- 选择与立即运行(Run Now)运行)不同的频率(Frequency)。
- 输入作业的描述性名称。此名称将在作业计划(Job Schedule)选项卡的作业名称(Job Name)列中显示。
- 点击保存。
这些作业状态仅适用于 EDC 作业,即工作台导出。要检查导入 Workbench 的状态,请转到 Workbench > 导入 > 数据包。请参见下面的详细信息。
作业状态
Vault 会在作业历史记录中显示作业的状态,以及有关作业的其他详细信息。可以单击信息(Information)()图标以获取有关作业的其他详细信息。
状态 | 含义 |
---|---|
排队 | 另一个相同类型的作业当前正在运行。Vault 将在上一个作业完成后运行此作业。 |
进行中 | Vault 当前正在执行该作业。 |
失败 | 作业实例遇到一个或多个错误。 |
已完成 | 作业实例已完成,未出现错误。 |
作业日志 & 输出文件
Vault 会为每个作业提供 CSV 作业日志文件。此日志包括有关哪些对象受作业影响以及作业在每个对象上是否成功完成的详细信息。如果适用,Vault 还会提供一个指向作业输出文件的链接。例如,用于下载 ODM 导出 作业的 ODM XML 文件的链接。
要访问这些文件,请单击日志(Log)或文件(File)列中的图标()。
详细了解潜在的审计描述。
Vault 会自动将输出文件发送到 CDB Workbench。可以从“EDC 工具”>“作业(Jobs)”或从“工作台(Workbench)”>“导入(Import)”下载并查看输出。
在 Workbench 中导入数据
Workbench 会自动导入从 Veeva EDC 导出的数据,而无需执行任何其他操作。与将第三方数据导入 Workbench 的方式类似,从 Veeva EDC 导出的数据在表单级别进行规范化。
要完成导入,研究中的用户必须打开一个列表。这会将导入移动到完成(Complete)状态。如果没有人打开列表,则导入将保持进行中(In Progress)状态。
导入完成后,Workbench 会向你及任何其他订阅该源的用户发送电子邮件通知。如果重新处理包的结果与之前的加载有所变化,Workbench 也将向你和订阅该源的用户发送通知。
Workbench 会自动为研究中的每个唯一表单生成一个核心列表。这些列表的默认 CQL 查询为:
SELECT @HDR, * from source.filename
例如,如果某项研究包含一个生化表单和一个血液学表单,则 CDB 会创建两个核心列表:生化和血液学,使用以下查询:
生化 |
|
血液学 |
|
查看导入状态
可以从导入(Import)>数据包(Packages)中检查导入数据包的状态。此页面列出了从 Veeva EDC 和第三方工具导入的每个数据包的状态。还可以从此页面下载导入数据包和问题日志(错误和警告)。
完成状态:要使导入包进入移至完成导入状态,研究的 Workbench 用户必须打开一个列表。否则,导入将保持进行中状态。如果研究启用了自动交换功能,则不需要进行此操作。
没有“受限数据访问权限”的用户可以下载导入包日志,但无法下载数据文件。具有受限数据访问权限的用户可以下载包含盲态数据的数据包。
每次将数据包导入 Workbench 时,Workbench 都会自动重新处理所有其他源的最新数据包。例如,当夜间 Workbench 导出 EDC 作业运行并导入到工作台中时,Workbench 也会重新处理最新的实验室数据和成像数据包。对于来自同一源的早期数据包,Workbench 会将其标记为已由最新数据包替换。
可以使用导入状态筛选器轻松筛选列表,仅显示已完成或失败的导入。单击错误(Error)仅显示失败的导入,或单击完成(Complete)以显示已完成的导入。
Workbench 导入状态
当导入数据包能够导入且仅带警告时,Workbench 会以橙色突出显示状态,以指示存在警告。导入完成后,可以下载问题日志以查看警告。
状态 | 描述 |
---|---|
排队 | 数据包位于处理队列中。数据包已进入处理队列。在该数据包之前有一个包含更改的数据包排队,该数据包正在等待已暂停的数据包获得批准或被拒绝。 |
已暂停 | CDB 检测到清单中的更改,因此导入被暂停,直到批准或拒绝该数据包。 |
已批准 | 清单中的更改已获得批准。CDB 现在将导入数据包。 |
已拒绝 | 清单中的更改已被拒绝。 |
已跳过 | 数据包被跳过且未导入。在处理数据包之前,已导入该源的另一个数据包。此状态仅适用于第三方数据包。 |
进行中 | 此数据包的导入过程已经开始,Workbench 未发现任何错误或警告。 |
进行中(带警告) | 导入过程正在进行中,但 Workbench 已发现警告。 |
错误 | 导入失败,因为导入包中存在一个或多个错误。下载问题日志并查看错误。 |
完成 | Workbench 已成功导入数据包,没有错误或警告。 |
完成(带警告) | Workbench 已成功导入数据包,但存在一个或多个警告。下载问题日志并查看警告。 |
未导入 | Workbench 跳过了此数据包,因为在处理开始之前上传了同一来源的较新数据包。当数据包进入未导入状态时,Workbench 还会将处理日期替换为“已替换”。 |
正在进行重新处理 | Workbench 已开始重新处理此数据包,因为导入了来自其他源的新数据包。 |
重新处理完成 | Workbench 完成了对此数据包的重新处理,没有错误或警告。 |
重新处理完成(带警告) | Workbench 完成了对此数据包的重新处理,但存在一个或多个警告。下载问题日志并查看警告。 |
重新处理错误 | 重新处理失败,因为导入包中存在一个或多个错误。下载问题日志并查看错误。 |
下载导出包
要下载导入包,请执行以下操作:
下载日志
可以下载任何导入操作的导入日志(CSV)和失败导入操作的问题日志(CSV)。导入日志列出了有关导入作业和摄取到 Workbench 的数据的详细信息。
导入日志列出了以下信息:
- 转换开始时间
- 转换完成时间
- 转换持续时间
- 导入开始时间
- 导入完成时间
- 导入持续时间
要下载导入日志,请执行以下操作:
- 导航到导入> 数据包。
- 在列表中找到导入数据包。
- 从数据包()菜单中,选择查看数据包详细信息(View Package Details)。
- 在数据包详细信息(Package Details)面板中,单击问题(Issues)。
- 可选:在问题(Issues)选项卡中,单击下载(Download)()以下载问题日志的 CSV。
问题日志
问题日志列出了 Workbench 在导入数据包时遇到的所有错误和警告。在此处查看可能的错误和警告列表。
要查看问题日志,请执行以下操作:
- 导航到导入> 数据包。
- 在列表中找到导入数据包。
- 从数据包()菜单中,选择查看数据包详细信息(View Package Details)。
- 在数据包详细信息(Package Details)面板中,单击问题(Issues)。
- 可选:在问题日志(Issue Log)面板中,单击下载()以下载日志的 CSV。
要下载问题日志,而不先在应用程序中进行查看,请执行以下操作:
- 导航到导入> 数据包。
- 在列表中找到导入数据包。
- 从数据包()菜单中,选择下载问题日志(Download Issue Log)。
受限(设盲)表单
在 Veeva EDC 中,研究设计者可以将表单 标记为受限。这意味着表单 上的所有条目 也受限。
对于有权访问受限数据的用户(通常是首席数据管理员),受限数据的行为方式与不受限数据相同。对于盲态用户(没有受限数据访问权限的用户),以下行为规则适用于任何导入的受限数据:
- 如果条目(列)受限:
- CQL 投影不会返回受限条目的列。
- CQL 投影不会返回引用受限条目的任何衍生列。
- 如果盲态用户在 CQL 语句中引用了受限条目,CQL 仍然不会返回该列。
SHOW
和DESCRIBE
不会返回受限条目。
- 如果行受限:
- 结果集不会返回来自表单或条目组的任何行。
- 如果列表文件(csv)受限:
- 列表中默认包含
@HDR
列,但不包含任何条目列。
- 列表中默认包含
- 如果源(数据包)受限:
- CQL 不会在任何列表中返回来自受限源的任何条目或列结果。
- CDB 将源中的所有条目定义、条目组定义和表单定义标记为受限。
- 将所有数据行都标记为受限。
- 默认的 @HDR 列仍将显示在核心列表中。
增量导入(24R2 &和之后版本)
增量导入启用:CDB 增量导入由 Veeva 支持启用。Veeva 正在与客户合作,计划在 24R2(2024 年 8 月)和 24R3(2024 年 12 月)版本之间为客户启用此功能。关于启用信息,请联系 Veeva 服务代表。
通过增量导入,CDB 每十五(15)分钟从 Veeva EDC 导入一次研究数据以获取新数据。这是自动发生的,用户不需要任何操作。来自 Veeva EDC 的数据在表单级别进行归一化。
研究设计更改每天在 12:00 GMT 加载一次。如果检测到设计更改,则所有增量刷新都将暂停,直到 12:00 GMT 加载最新研究设计时。
这些增量导入数据包中包括以下数据:
- 研究属性
- 研究中心属性
- 受试者属性
- 所有病例手册数据
- 查询
- SDV 状态
- DMR 状态
CDB 会为研究中的每个表单创建一个核心列表。核心列表 包含以下各列,但请注意,管理员可能已将研究 配置为具有不同的核心列表列:
- Study.Name
- 研究中心名称
- Site.PI
- Event.Name
- Event.Date
- Event.Status
- Subject.Name
- Subject.Status
- 表单 上每个条目 的列
导入完成后,CDB 会向任何订阅源的用户发送通知,即电子邮件通知。