Подготовка данных для ИИ и машинного обучения

Чтобы ИИ-модели стабильно показывали высокую точность и производительность, всё начинается с правильно собранного и подготовленного набора данных. Услуги Cronit по подготовке данных помогают стартовать с сильной позиции – с данными, которые:

чистые и без перекосов;
структурированные и размеченные;
релевантные конкретному реализованному проекту.

Тройная выгода от комплексной подготовки данных для ИИ/ML

Грамотно выстроенная подготовка данных даёт больше, чем просто точность модели и уверенность в данных. Она улучшает эффективность обучения по трём направлениям — скорость, ресурсы, стоимость:

меньше циклов обучения;
короче время вычислений;
ниже инфраструктурные затраты.

Почему Cronit

Ускоряем вывод решений на рынок.
Снижаем стоимость разработки.
Обеспечиваем информационную безопасность.
Поставляем высококачественное ПО.
Гибко масштабируем команду.

От «сырых» данных к ИИ-готовым: наш процесс и услуги

Подготовка данных – это место, где решается большинство типичных ИИ-проблем. Инженеры Cronit превращают разрозненные и хаотичные данные в «топливо», на котором модель МО действительно учится.

Исследование данных

Мы начинаем с разведочный анализ данных, чтобы понять закономерности в сырых данных и сразу поймать очевидные ошибки. Этот ранний “диагноз” задаёт ровный, предсказуемый путь без дорогостоящих переделок дальше по цепочке.

инвентаризация источников данных;
анализ структуры данных;
формирование требований к набору данных;
выбор наиболее эффективных способов сбора;
меры по предотвращению смещения данных.

Сбор данных

Мы формируем основу, на которой модель сможет учиться: объединяем данные из внутренних и внешних источников или, если собственных данных мало, аккуратно собираем валидные публичные данные (в том числе через автоматизированный сбор данных с сайтов).

проверки качества данных;
фильтрация “шума”;
обеспечение трассируемости данных для их полного отслеживания происхождения и преобразований.

Разметка данных

Мы сочетаем автоматизацию и точечное участие человека там, где это критично — чтобы сбалансировать скорость и точность аннотации. Чтобы выход модели был максимально полезен бизнесу, мы согласуем таксономию разметки и правила аннотации с вашим доменом.

разработка доменного руководства по разметке;
создание стартового набора с человеческой разметкой;
обучение авто-разметчика для остального массива данных;
проверка человека в контуре принятий решения для точности по всему набору данных.

Очистка данных

Даже собранные и размеченные данные могут скрывать дефекты, которые «роняют» точность и стабильность модели. Мы устраняем их заранее.

стандартизация форматов;
удаление дублей, выбросов и пустых полей;
исправление или удаление некорректных записей;
заполнение пропусков или удаление неполных наблюдений.

Привязка набора данных к проекту

Наш принцип: “Каждая запись должна помогать модели учиться”. После разметки, очистки и устранения смещения данных, мы подгоняем обучающий набор под конкретную задачу или процесс, который будет поддерживать модель МО.

исключение лишних и повторяющихся записей;
уточнение выборок под реальное поведение пользователей;
балансировка ключевых сценариев;
анонимизация чувствительных данных.

Расширение данных

Качество или количество? На практике важны оба фактора. Если после очистки набор данных стал слишком «тонким», мы расширяем его реалистичными вариациями проверенных примеров.

изображения – зум, отражение, поворот, кроп, лёгкие сдвиги света/цвета;
текст – перефразирование, замена синонимов, лёгкий “шум” (опечатки/грамматика), перестановки, контекстные подсказки;
аудио – изменение темпа и высоты, растяжение по времени, подмешивание фонового шума.

Особенности подготовки данных для генеративного ИИ

Для генеративных ИИ-систем нужны дополнительные шаги, чтобы модели лучше понимали контекст и быстрее извлекали информацию. Cronit идёт дальше базовой подготовки:

разбиение больших массивов на фрагменты;
суммаризация и метатеги для выделения ключевого;
векторные представления текста, изображений и журналов событий для точного поиска;
временные метки и индексация для ускорения извлечения информации.

Меньше “сгорания” токенов, больше точности

Как не дать модели подтягивать нерелевантный контекст и тратить токены впустую? В Cronit мы предотвращаем лишние затраты заранее: правильно “калибруем” размер чанков, предфильтровываем чистые данные, добавляем метатеги с учетом роли пользователя и т.д. Эти меры полезны для любых ИИ-решений, но особенно заметны по эффективности затрат, когда используются многоагентные системы:

уменьшаем размер запроса к модели, повышая точность ответа
переводим поведение ИИ в более детерминированный режим
выдаём информацию строго по роли пользователя – без “воды”.

Мы знаем, когда “грязные” данные полезны (и нужны намеренно)

Не все несовершенные данные – это дефект. Для разговорных ИИ-чат-ботов реальные опечатки, сокращения, сленг, грамматические ошибки и “ломаный” синтаксис помогают модели лучше понимать людей – повышая точность распознавания намерений и ответов. Иначе пользователь будет слишком часто слышать “Я вас не понял”. Если в вашем наборе данных мало некорректных или непоследовательных примеров, наши специалисты по данным добавят их намеренно, чтобы ассистент уверенно справлялся и с “неидеальными” запросами.

Когда время критично: ускорители подготовки данных по ситуации

Для пилотного проекта, где не требуется узкий закрытый набор данных, мы используем безопасные «короткие пути» из практики – быстрее, но без потери качества:

выборка вместо загрузки всего корпуса;
использование релевантных публичных наборов данных;
применение готовой модель МО, где это уместно.

Чат-боты любой сложности – под ваши задачи

Многоагентные системы

Проектируем группы ИИ-агентов, которые работают совместно для выполнения сложных бизнес-процессов:

управление запасами и производством;
планирование персонала;
работа со структурированными и неструктурированными данными.

Генерация с дополнением извлечёнными данными

Повышаем точность чат-ботов, объединяя большую языковую модель с корпоративными базами знаний:

ответы в реальном времени;
актуальные данные (новости, каталоги, отзывы);
сниженная задержка за счет параллельного поиска.

Оптимизация обработки естественного языка и распознавания намерений

точное определение намерения и сущностей;
удержание контекста диалога;
анализ тональности и эмоций.

Автоматизированное машинное обучение для обучения чат-ботов

Используем Azure AutoML, Google Cloud AutoML, Amazon Lex и инструменты с открытым исходным кодом для автоматизации обучения и постоянного улучшения моделей.