Плановая передача данных и дельта-выгрузка

Еженедельный файл статистику, DSMB или медицинскому монитору по расписанию, на портале или по SFTP, с SHA-256; или только то, что изменилось с прошлой передачи, с причинами.

Каждую неделю статистик, DSMB или медицинский монитор ждут данные исследования. Страница Передача данных делает эту передачу за вас: план говорит, что, кому, в каком формате, когда и как передавать; каждый запуск замораживает срез данных, собирает файл и хранит его с контрольной суммой SHA-256. План может каждый раз передавать всё исследование или только то, что изменилось с прошлой передачи (дельта), с причиной каждого изменения.

План передачи: кнопки «Запустить сейчас» и «Изменить», расписание, получатели на портале, срок хранения; запуски плана с именем файла, размером, срезом данных, SHA-256, добавленными, изменёнными и удалёнными строками, кнопками «Скачать» и .sha256 — Еженедельный план изменений для статистика в демо-исследовании: первый запуск — полная основа, следующие несут изменения.

Создать план

Откройте исследование, Передача данных, Новый план (могут дата-менеджер и администратор проекта; участник, ограниченный частью центров, не может: передача содержит все центры).

Название и Получатель: например, «Еженедельные данные статистику», «Статистик „Фарма Ко“».
Содержимое: обезличенно (по умолчанию: псевдонимы S0001…, даты каждого пациента сдвинуты на одно и то же число дней, возраст вместо года рождения, без свободного текста; те же правила, что у обезличенного среза данных) или как есть.
Полная или изменения: всё исследование каждый раз или только изменения с прошлой передачи.
Формат: Excel, CSV, SPSS, Stata, SAS XPT или R (форматы конструктора выгрузки). SDTM здесь пока нет: его делают из файлов исследования в YouEDC Studio.
Когда: только по кнопке «Запустить сейчас», ежедневно, еженедельно в выбранный день недели или ежемесячно в день с 1 по 28, в выбранный час (время установки). Укажите, сколько дней хранить файлы (по умолчанию 90).

Форма плана: название, получатель, содержимое, полная или изменения, формат; расписание, день недели, день месяца и час, срок хранения; участники, которые могут получать файл на портале, и SFTP-сервер, порт, пользователь, папка, вход, пароль или закрытый ключ — Форма плана: что и кому, когда и как.

Каждое изменение плана попадает в журнал аудита исследования со старым и новым значением; пароль SFTP туда не пишется никогда.

На портале или на SFTP-сервер

На портале: отметьте участников команды, которые получают файл. В списке только те, у кого есть право на это содержимое: статистик получает только обезличенные данные, данные как есть — только дата-менеджер и администратор проекта. Они получают короткое письмо «готова новая передача» со ссылкой; файл к письму не прикладывается, для скачивания нужен вход. Статистик видит на странице только планы, которые он получает.
На SFTP-сервер: укажите сервер, порт, пользователя, папку и пароль или закрытый ключ (OpenSSH или PEM, без парольной фразы). Секрет хранится зашифрованным и больше нигде не показывается. Файл пишется под временным именем и переименовывается, когда записан целиком; рядом кладётся «<файл>.sha256».
Данные как есть на SFTP требуют второго подтверждения: укажите договор, который разрешает хранить данные исследования без обезличивания на сервере получателя (номер и дату), и поставьте галочку. Это спрашивается при каждом сохранении плана; без подтверждения файл как есть на SFTP не уходит. Обезличенные данные подтверждения не требуют.
После сохранения нажмите Проверить подключение: страница покажет ключ сервера (SHA256:…). Сверьте его с ключом, который дал администратор получателя, по телефону или в подписанном письме, отметьте подтверждение и нажмите Закрепить этот ключ. Пока ключ не закреплён, ничего не отправляется; сервер, который позже предъявит другой ключ, получает отказ. Новый адрес сервера требует нового закрепления.
Для безопасности портал отправляет только на серверы в интернете: внутренние адреса (loopback, частные, link-local) закрыты, если администратор установки не задал DELIVERY_SFTP_PRIVATE=1 в .env.
Неудачная отправка повторяется несколько раз в следующие минуты; если не удались все попытки, запуск показывает причину, а автор плана получает письмо.

Запуски и файл изменений

Запустить сейчас ставит запуск в очередь; расписание ставит свой в заданный час. У плана одновременно идёт только один запуск. Каждый запуск замораживает новый срез данных «Передача «план» №n», поэтому файл можно в любой момент сделать заново и проверить. Срезы передач видны на странице срезов с отметкой «Передача данных, запуск n»; по умолчанию они скрыты, чтобы не теряться среди срезов промежуточных анализов, и показываются кнопкой над списком.

План изменений: первый запуск — полная основа, об этом сказано в «О файле». Каждый следующий файл содержит:

все листы форм только со строками, добавленными или изменёнными с прошлой передачи, целыми строками в той же раскладке, что и полный файл: замените свои строки по SUBJECT, VISIT, INSTANCE (и ROW на листе таблицы);
лист Изменения: строка на каждую изменённую переменную с CHANGE (added, changed, removed), старым (OLD) и новым (NEW) значением, CHANGED_AT и REASON — причиной, которую центр указал в журнале аудита;
лист Удалённые строки: строки, которые были в прошлой передаче и исчезли, с причиной, если она известна (например, пациент отозвал согласие на использование данных);
пациентов и словарь целиком и «О файле»: план, запуск, срез и его SHA-256, срез, с которым идёт сравнение, сколько строк добавлено, изменено и удалено.

Обезличенная дельта считается по обезличенным копиям обоих срезов (псевдоним и сдвиг дат пациента не меняются), и в ней нет REASON: причины — свободный текст. В SPSS, Stata, SAS и R изменения и удалённые строки идут отдельными таблицами.

Проверка файла, хранение и журнал

SHA-256 каждого файла есть на странице, в письме и в файле «.sha256»: получатель проверяет его командой sha256sum -c.
Переданный файл никогда не меняется. После срока хранения файл удаляется; запуск, его SHA-256 и срез данных остаются, срез можно снова скачать на странице срезов.
Каждый запуск, письмо, отправка, скачивание и удаление записываются в журнал аудита исследования и в историю выгрузок; скачивания учитываются в дневном лимите выгрузок.
Среды QA и обучения, демо-исследования, исследования в корзине и ещё не запущенные исследования никогда не отправляют по расписанию и по SFTP; «Запустить сейчас» на портале работает. В демо-исследовании запуски записала демо-история.

Персональные данные и закон

Обезличивание снижает риск узнать пациента, но по закону (152-ФЗ) такие данные остаются персональными: передавайте их только по договору с получателем, который это предусматривает. Отправка данных на сервер за пределами России — трансграничная передача со своими правилами: проверьте их в своей организации до настройки такого плана. Данные как есть передавайте, только если это разрешают протокол и договоры.