Центральный статистический мониторинг

Данные каждого центра против остальных: методы, порог при многих тестах, что значит каждая находка и её ограничения.

Центральный статистический мониторинг сравнивает данные каждого центра с данными остальных центров, чтобы монитор видел, где данные центра выглядят иначе, и мог спросить почему. ICH E6(R3) (3.11.4) просит центральный мониторинг смотреть на диапазон, согласованность и изменчивость данных внутри центров и между ними; методы здесь — классические методы литературы (Venet и соавт., 2012; Kirkwood и соавт., 2013; позиционный документ TransCelerate, 2013). Ничего не обучается и не угадывается: одни и те же данные всегда дают одни и те же находки, и каждая находка говорит, как она получена.

Откройте Центральный мониторинг в меню исследования или кнопкой с тем же названием на странице Риск центров. Тесты каждый раз заново считаются по живым данным (в большом исследовании результат хранится 10 минут).

Демо-исследование артериальной гипертензии: центр 01 округляет давление до 0 и 5, центр 02 вносит почти одинаковое давление.

Методы

Каждый центр сравнивается со всеми остальными центрами вместе. Смотрятся числовые поля всех форм, кроме вычисляемых (они повторяют поля, из которых считаются) и форм для расслеплённой команды.

Метод	Что сравнивается	Тест	Для находки ещё нужно
Значения далеко от других центров	медиана первого значения каждого пациента в центре и в остальных центрах	робастный z: разница, делённая на её стандартную ошибку из медианного абсолютного отклонения (MAD) всех пациентов	разница не меньше половины робастного стандартного отклонения; не меньше 3 центров с достаточными данными
Слишком гладко: малый разброс	дисперсия всех значений центра и остальных центров (значения с модифицированным z выше 3,5 не учитываются с обеих сторон)	F-тест, степени свободы = пациенты − 1 (меньше, чем значений: консервативно)	дисперсия центра не больше половины дисперсии остальных
Слишком гладко: одно значение у многих пациентов	значение, которое встречается у большего числа пациентов центра	биномиальный, против большей из долей: пациентов остальных центров с этим значением и с их собственным самым частым значением; умножается на число разных значений в центре	не меньше 3 пациентов и 30% пациентов центра
Предпочтение цифр	последняя цифра измеренных значений (давление, вес, пульс…), каждое разное значение пациента один раз	хи-квадрат против десяти равных долей, 9 степеней свободы, от 50 значений	самая частая цифра не меньше чем в 15% значений; если остальные центры предпочитают те же цифры, центр должен ещё и отличаться от них
Тренд во времени	первое значение каждого пациента по дню включения: наклон в центре и в остальных центрах	разница наклонов, делённая на её стандартную ошибку, t Стьюдента с n − 2 степенями свободы	изменение за время набора в центре не меньше половины стандартного отклонения, набор не короче 60 дней; не меньше 3 центров с достаточными данными
Частоты	нежелательные явления на пациента, выбывания, запросы на страницу, пропущенные значения	Пуассона (НЯ, запросы) или биномиальный (выбывания, пропуски) против частоты остальных центров	в 1,5 раза выше частоты остальных (для НЯ — вдвое ниже или меньше: меньше значит хуже)

Цифры проверяются только в полях, значения которых охватывают не меньше 30 шагов последней цифры в центре (от 5-го до 95-го процентиля): шкала 0–10 — это не измерение, а в таком узком диапазоне последние цифры не распределяются равномерно, поэтому такой центр попадает в «не оценено». Тренд считается для ключевых полей исследования (отмеченных в eCRF как критичные) или для всех числовых полей, если ни одно не отмечено. Частоты используют те же счётчики, что показатели оценки риска (выбывания, запросы на 10 страниц, сообщения о НЯ), и правило полноты отчёта о качестве данных: здесь их проверяют тестом против остальных центров, там сравнивают с порогами.

Много тестов и порог

Исследование с 60 числовыми полями и 5 центрами даёт больше тысячи тестов. При обычном 0,05 около пятидесяти из них выглядели бы «значимыми» просто случайно. Поэтому результат считается находкой, только если p меньше 0,05, делённого на число тестов (поправка Бонферрони): при 1000 тестов порог 0,00005. Страница показывает число тестов и порог, каждая находка — своё p. Порог учитывает все тесты исследования, какие бы центры ни видел читатель, поэтому два человека никогда не видят разных вердиктов.

Поправка консервативна: находка редко бывает случайной, но небольшую настоящую разницу можно не увидеть. Поэтому находке нужна ещё и достаточно большая разница (правый столбец выше): в большом исследовании крошечный сдвиг может быть «значимым» и ничего не значить.

Три шага от теста к находке.

Мало данных

Центр с малым числом пациентов нельзя оценить: два пациента с одинаковым давлением ничего не значат. Меньше 5 пациентов (настройка), меньше 50 значений для теста цифр, меньше 5 пациентов или 60 дней набора для тренда — и центр получает мало данных вместо вердикта. Список «Не оценено из-за нехватки данных» внизу страницы говорит, чего не хватило каждому центру. Оба числа задаются в Риск центров → Пороги (раздел «Центральный статистический мониторинг»), их изменения попадают в аудит.

Как читать находку

Каждая находка — карточка: центр, метод, поле и его форма, затем простыми словами — что сравнивалось, числа, n и p против порога. График показывает центр синим против остальных центров вместе серым; наведите на метку, чтобы увидеть точные числа.

• Диапазон (значения далеко от других, малый разброс): точка — медиана, полоса — квартили, линия — от 10-го до 90-го перцентиля.
• Цифры: доля каждой последней цифры в центре и в остальных центрах; пунктир — 10% при равномерных цифрах.
• Тренд: среднее первое значение пациентов, включённых в каждый месяц, с прямыми центра (сплошная) и остальных центров (пунктир).
• Полосы (одно значение, частоты): доля или частота центра рядом с остальными центрами.

Отметка находки

Монитор, дата-менеджер или администратор проекта открывает под находкой Отметить просмотр или превратить в действие и пишет, что посмотрел и к какому выводу пришёл. Отметить просмотренной закрывает её: комментарий, автор, время и числа того момента сохраняются, и находка уходит из списка «Ещё не просмотрено» (выберите «Все находки», чтобы её увидеть). Превратить в действие ещё и записывает разбор риска центра с решением (наблюдать, связаться с центром, визит мониторинга, передать спонсору): он появляется среди разборов центра на странице «Риск центров». Обе записи попадают в аудит («Отмечена находка центрального мониторинга») и никогда не меняются; позже можно добавить новую отметку, а карточка скажет, если числа с тех пор изменились.

В оценке риска центра

В оценке риска есть показатель Находки центрального мониторинга: ещё не проверенные находки центра. Его вес 0, поэтому по умолчанию он не учитывается. Если план мониторинга использует статистическую проверку, дайте ему вес в Риск центров → Пороги: внимание от 1 находки, сигнал от 3. Страница центра в оценке риска перечисляет его находки со ссылкой на графики.

Заслепление и кто что видит

• Группа рандомизации никогда не читается. Формы для расслеплённой команды не учитываются всегда, кто бы ни смотрел, поэтому проверка не может раскрыть группы.
• Пациенты, отозвавшие согласие на использование данных, не учитываются.
• Страница показывает только числа по центрам, без пациентов. Её может читать наблюдатель спонсора; исследователь её не видит.
• Монитор, ограниченный своими центрами, видит только их находки; графики показывают остальные центры только вместе и никогда по названию.
• Отмечать может тот, у кого есть право записывать разбор риска центра (администратор, дата-менеджер, монитор); после закрытия базы отмечать нельзя.

Ограничения

• Тесты предполагают примерно колоколообразные значения. Сильно скошенные значения (некоторые анализы) могут дать находку, которую график сразу объясняет.
• Значения одного пациента не независимы. Там, где это важно, тесты считают пациентов, а не значения (первое значение, степени свободы, разные значения для цифр), поэтому они на безопасной стороне.
• Центр, который отличается, — не обязательно центр, который обманывает. Другая популяция (специализированный центр), другой прибор (весы с шагом 0,5 кг предпочитают 0 и 5), другой сезон: посмотрите источник, прежде чем решать.
• При двух центрах двустороннее сравнение отметило бы оба одинаково: каждый — «остальные» для другого. Поэтому значения далеко от остальных и тренды требуют не меньше 3 центров с достаточными данными; иначе они попадают в «Не оценено из-за нехватки данных» с причиной. Односторонние тесты (малый разброс, одно значение, цифры, частоты в худшую сторону) оценивают и два центра.
• До запуска исследования учитываются и тестовые пациенты.