В блоге Google Research появился пост о SensorLM — новой семье sensor-language-моделей, обученных почти на 60 млн часов данных от Fitbit и Pixel Watch более чем 100 000 человек из 127 стран. Их задача — связать «сырые» сигналы датчиков с естественным языком и тем самым превратить набор чисел в понятное описание действий и состояний пользователя.

Зачем это нужно?

Сегодня смарт-часы легко сообщат, что пульс поднялся до 150 уд/мин. Но почему это произошло — быстрый подъём в гору или стресс перед публичным выступлением — остаётся за кадром. Без контекста тяжело давать персональные советы по здоровью или тренировкам. SensorLM закрывает этот разрыв, позволяя носимой электронике не просто «мерить», но и «понимать» наши действия. 

Архитектура SensorLM объединяет лучшие идеи CLIP-подобного контрастивного обучения (учит «сопоставлять» сенсорный отрезок и его описание) и генеративного предобучения (учит «писать» описание по данным). Такой гибрид даёт модели как дисриминативные, так и творческие способности.

Что уже умеет SensorLM

• Zero-shot: точно классифицирует 20 типов активностей без дообучения.
• Few-shot: осваивает новую задачу всего по нескольким примерам.
• Кросс-модальный поиск: «Найди все эпизоды, похожие на описание “легкая утренняя пробежка”» — и наоборот.
• Автописание: генерирует иерархические подписи («статистика → событие → контекст»), причём точнее, чем крупные LLM общего назначения.

Что это значит для пользователей и индустрии

• Персональный коуч: часы объясняют, почему сон был беспокойным, и советуют конкретные шаги.
• Поддержка врачей: врачи запрашивают датчики фразой «покажи эпизоды возможной аритмии», получая готовую выборку.
• Фитнес-игры: платформы геймифицируют реальные движения, распознаваемые «с нуля».
• Исследования: учёные получают богатый корпус текст ↔ сенсоры для изучения поведения.

А что дальше?

Авторы планируют расширять датасет на метаболическое здоровье и детальный анализ сна, что приблизит цифровых ассистентов нового поколения — умеющих разговаривать о нашем теле на человеческом языке. Конечно, продукты на базе SensorLM ещё пройдут клинические и регуляторные проверки, но направление ясно: мы движемся от «умных шагомеров» к по-настоящему персональным здравоохранительным системам.

Взгляд BAUM

Мы внимательно следим за развитием подобных технологий и считаем работу Google Research важной вехой: наконец-то сырые сигналы носимых датчиков получают «языковую оболочку», понятную человеку. Но сам по себе технологический прорыв — лишь половина дела. Чтобы он начал работать на врача и пациента уже завтра, нужна инфраструктура, которая соединит сенсорные потоки с клиническими системами без головной боли для пользователей. Именно такую связку мы строим в Razum AI + SWARM.

Почему идея SensorLM откликается BAUM

1. Контекст важнее цифр. Ударный объём данных ≠ знание. Врачам нужны ответы вроде «пациент испытывал стресс во время приёма β-блокаторов», а не графики частоты шага. Подобные системы делает этот перевод.
2. Zero-shot и few-shot обучение сокращают путь от модели к практике: можно быстро добавлять редкие типы активности, характерные именно для клинической когорты (реабилитация после инсульта, эпилептические приступы).
3. Универсальный интерфейс. Когда и датчики, и ЭМК «говорят» одним языком, на сцену выходят кросс-доменные запросы уровня «покажи все эпизоды тахикардии, совпавшие с приёмом препарата X».