< вернуться назад

Как мы создали TabuSDE: генерация табличных данных и восстановление пропусков с гарантией приватности

Как мы создали TabuSDE: генерация табличных данных и восстановление пропусков с гарантией приватности
#Кибербезопасность #Наука #Безопасность #генерация
5 минут
Как мы создали TabuSDE: генерация табличных данных и восстановление пропусков с гарантией приватности

Наша научная статья принята и опубликована в материалах IEEE — одного из самых авторитетных мировых научных сообществ в области IT и искусственного интеллекта. Для нашей команды это важная веха: независимое рецензирование такого уровня подтверждает строгую математическую корректность и высокую практическую ценность нашего фреймворка TabuSDE.

Мы благодарим соавторов за глубокую проработку архитектуры. Работа над диффузионными моделями для табличных данных с обеспечением строгой дифференциальной приватности потребовала серьезных инженерных усилий, и мы рады поделиться результатами, которые уже готовы к применению в реальном бизнесе.

DOI: https://doi.org/10.1109/ICDMW69685.2025.00271

Проблема «стены приватности» в машинном обучении

Обучение нейросетей в медицине (MedTech) или финансовых технологиях (FinTech) часто упирается в жесткие регуляторные ограничения. Данные для обучения есть, но передать их разработчикам алгоритмов нельзя: врачебная тайна и политики безопасности банков запрещают любую передачу персональной информации (PII).

Раньше эту проблему пытались решать с помощью генерации синтетических данных через GAN (генеративно-состязательные сети) или VAE (вариационные автоэнкодеры). Но на практике они сталкиваются с двумя критическими ограничениями:

  1. Риск деанонимизации: модели склонны «запоминать» конкретные записи из обучающей выборки.
  2. Низкое качество на гетерогенных данных: они плохо справляются со сложными таблицами, где в одной строке смешаны числа (возраст, баланс), категории (профессия, диагноз) и множество пропущенных значений.

TabuSDE: диффузионные модели для структурированных данных

В новой работе мы представили TabuSDE — фреймворк, который успешно адаптирует технологии диффузионных моделей (аналогичных тем, что лежат в основе генерации изображений) для работы со структурированными табличными данными.

Вместо генерации картинки из шума, TabuSDE учится «распутывать» зашумленные строки таблицы, сохраняя сложные логические связи и корреляции между колонками.

Как мы создали TabuSDE: генерация табличных данных и восстановление пропусков с гарантией приватности - 1

Ключевые инженерные особенности архитектуры

  • Адаптивный график зашумления (Learnable Noise Schedules): Модель не зашумляет всю таблицу одинаково. Для непрерывных чисел (например, зарплата) и редких категорий задаются индивидуальные скорости зашумления.
  • Гибридный энкодер: Непрерывные числа обрабатываются через слои RealNVP, а категории кодируются через Transformer-эмбеддинги, что обеспечивает максимальную точность представления данных.
  • Двухголовый денойзер (Dual-headed UNet): Инновационное решение для задачи импутации (восстановления пропусков). Одна «голова» предсказывает значение в ячейке, а вторая оценивает вероятность того, что эта ячейка в реальных данных должна быть пустой.
  • Гарантия дифференциальной приватности (Rényi DP): В процесс обучения встроена строгая математическая защита. Из полученных синтетических данных невозможно обратно восстановить информацию о конкретном человеке.
  • Оптимизация генетическим алгоритмом (GA): Подбор гиперпараметров происходит не вслепую, а с помощью GA с динамической коррекцией пространства поиска.

Результаты тестов

Тестирование на отраслевых бенчмарках (Criteo, MIMIC-III, UCI Adult) показало значительное превосходство TabuSDE над классическими методами:

  • +8 процентных пунктов к точности сохранения корреляций между колонками.
  • На 12% меньше ошибок (MSE) при восстановлении пропущенных данных.
  • Менее 5% потери полезности (utility loss) данных даже при включении режима полной дифференциальной приватности.

Где это применимо в реальном бизнесе?

Генерация синтетических таблиц — это не академическая задача, а готовый инструмент для решения конкретных бизнес-проблем:

  1. Здравоохранение и медицина (Digital Health)
    Задача: Обучение диагностических ИИ без нарушения врачебной тайны.
    Решение: TabuSDE генерирует миллионы «виртуальных пациентов», сохраняя реальную статистику (например, корреляцию между уровнем сахара и риском инфаркта), но без риска утечки персональных данных.
  2. Банки и Финтех (Anti-Fraud & Scoring)
    Задача: Моделям не хватает данных о редких типах мошенничества (0.01% случаев), а клиентскими транзакциями нельзя делиться с внешней R&D-командой.
    Решение: Генерация недостающих сценариев фрода (imbalance correction) с учетом всех пропущенных полей для безопасного обучения скоринговых систем.
  3. Интеллектуальное заполнение пропусков (Data Imputation)
    Задача: Обычное удаление пустых строк («Drop NA») уничтожает до половины датасета, так как пользователи часто не заполняют профили целиком.
    Решение: Модель восстанавливает пропуски с учетом сложных нелинейных зависимостей, понимая системные причины их возникновения.
  4. Безопасный аутсорс и хакатоны
    Задача: Необходимо отдать задачу оптимизации процессов внешним подрядчикам, но нельзя показывать реальные коммерческие данные.
    Решение: TabuSDE создаёт безопасный статистический клон вашего хранилища данных (DWH), сохраняя все бизнес-зависимости при полном обезличивании.

Резюме для разработчиков и Data Scientist-ов

TabuSDE доказывает, что диффузионные модели на базе SDE (Stochastic Differential Equations) с адаптивным шумом по колонкам превосходят классические GAN и VAE на табличных данных. Фреймворк обеспечивает высочайшее качество синтеза и точность восстановления пропусков, не жертвуя при этом математически доказанной приватностью пользователей.

Хотите внедрить безопасную работу с данными в вашей компании?

Если ваша команда сталкивается с нехваткой данных для обучения моделей, жесткими требованиями регуляторов к приватности или необходимостью безопасной передачи данных подрядчикам, мы готовы помочь.

Наши специалисты проведут аудит ваших задач и адаптируют фреймворк TabuSDE под специфику вашего бизнеса.

 Связаться с нами для обсуждения внедрения.

По материалу.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *
Author
Посетитель сайта

Добавить комментарий

Комментариев пока нет

Другие статьи, которые могут быть полезными

В области хранения данных RAID долгое время был краеугольным камнем технологий, предлагая улучшенную надежность и производительность данных. Однако, по мере роста объема хранимых данных и размера жестких дисков, традиционные конфигурации...
301
8
Расширения iSCSI для RDMA (iSER) – это протокол компьютерной сети, который расширяет протокол Internet Small Computer System Interface (iSCSI) для использования удаленного прямого доступа к памяти (RDMA). Использование данного протокола...
5088
1
(на основе IRDS Mass Data Storage © IEEE 2023) Краткое содержание Из всех существующих технологий массового хранения данных, жесткие диски занимают наибольшую долю в индустрии по объему хранения. В настоящее...
2429
15