Что такое обучение в несколько выстрелов?

Обучение за несколько шагов относится к множеству алгоритмов и методов, используемых для разработки модели ИИ с использованием очень небольшого объема обучающих данных. Малократное обучение направлено на то, чтобы позволить модели ИИ распознавать и классифицировать новые данные после сравнительно небольшого количества обучающих примеров. Обучение с небольшим количеством кадров отличается от традиционных методов обучения моделей машинного обучения, где обычно используется большой объем обучающих данных. Обучение за несколько кадров – это используется в основном в компьютерном зрении.

Чтобы развить лучшую интуицию для быстрого обучения, давайте рассмотрим эту концепцию более подробно. Мы изучим мотивы и концепции, лежащие в основе обучения за несколько шагов, рассмотрим некоторые различные типы обучения за несколько шагов и рассмотрим некоторые модели, используемые в обучении за несколько шагов на высоком уровне. Наконец, мы рассмотрим некоторые приложения для обучения за несколько шагов.

Что такое обучение в несколько выстрелов?

«Быстрое обучение» описывает практику обучения модели машинного обучения. с минимальным количеством данных. Как правило, модели машинного обучения обучаются на больших объемах данных, чем больше, тем лучше. Однако поэтапное обучение является важной концепцией машинного обучения по нескольким причинам.

Одна из причин использования обучения с несколькими выстрелами заключается в том, что оно может значительно сократить объем данных, необходимых для обучения модели машинного обучения, что сокращает время, необходимое для маркировки больших наборов данных. Аналогичным образом, обучение за несколько шагов снижает потребность в добавлении определенных функций для различных задач при использовании общего набора данных для создания разных образцов. Небольшое обучение в идеале может сделать модели более надежными и способными распознавать объекты на основе меньшего количества данных, создавая более общие модели, в отличие от узкоспециализированных моделей, которые являются нормой.

Обучение за несколько кадров чаще всего используется в области компьютерного зрения, поскольку природа проблем компьютерного зрения требует либо больших объемов данных, либо гибкой модели.

Подкатегории

Фраза «обучение за несколько шагов» на самом деле является одним из типов обучения с использованием очень небольшого количества обучающих примеров. Поскольку вы используете только «несколько» обучающих примеров, существуют подкатегории обучения с использованием нескольких выстрелов, которые также включают обучение с минимальным объемом данных. «Одноразовое» обучение — это еще один тип обучения модели, который включает в себя обучение модели распознавать объект после просмотра всего лишь одного изображения этого объекта. Общая тактика, используемая при обучении за один прием и при обучении за несколько приемов, одинакова. Имейте в виду, что термин «обучение за несколько шагов» может использоваться в качестве общего термина для описания любой ситуации, когда модель обучается с очень небольшим количеством данных.

Подходы к малозаметному обучению

Большинство подходов к обучению за несколько шагов можно отнести к одной из трех категорий: подходы на уровне данных, подходы на уровне параметров и подходы на основе показателей.

Подходы на уровне данных

Подходы к обучению на уровне данных очень просты по своей концепции. Чтобы обучить модель, когда у вас недостаточно данных для обучения, вы можете просто получить больше данных для обучения. Существуют различные методы, которые специалист по данным может использовать для увеличения объема обучающих данных, которые у них есть.

Подобные обучающие данные могут служить резервной копией точных целевых данных, на которых вы обучаете классификатор. Например, если вы обучаете классификатор распознавать определенные виды собак, но не хватает многих изображений конкретных видов, которые вы пытаетесь классифицировать, вы можете включить много изображений собак, которые помогут классификатору определить общие черты, из которых состоит собака. .

Увеличение данных может создать больше обучающих данных для классификатора. Обычно это включает в себя применение преобразований к существующим обучающим данным, например, поворот существующих изображений, чтобы классификатор исследовал изображения под разными углами. GAN также можно использовать для создания новых обучающих примеров на основе того, что они узнают из нескольких подлинных примеров обучающих данных, которые у вас есть.

Подходы на уровне параметров

Метаобучение

Один из подходов к обучению на уровне параметров включает в себя использование техники, называемой «мета-обучение». Мета-обучение включает в себя обучение модели тому, как учиться какие функции важны в задаче машинного обучения. Этого можно добиться, создав метод для регулирования того, как исследуется пространство параметров модели.

Мета-обучение использует две разные модели: модель учителя и модель ученика. Модель «учитель» и модель «ученик». Модель учителя учится инкапсулировать пространство параметров, а алгоритм ученика учится распознавать и классифицировать фактические элементы в наборе данных. Иными словами, модель учителя учится оптимизировать модель, а модель ученика учится классифицировать. Выходные данные модели учителя используются для обучения модели ученика, показывая модели ученика, как согласовать большое пространство параметров, которое возникает из-за слишком малого количества обучающих данных. Отсюда и «мета» в метаобучении.

Одна из основных проблем с моделями обучения с несколькими шагами заключается в том, что они могут легко соответствовать обучающим данным, поскольку они часто имеют многомерные пространства. Ограничение пространства параметров модели решает эту проблему, и хотя этого можно достичь, применяя методы регуляризации и выбирая правильные функции потерь, использование обучающего алгоритма может значительно улучшить производительность модели с несколькими выстрелами.

Модель классификатора с несколькими выстрелами (модель ученика) будет пытаться обобщать на основе небольшого количества обучающих данных, которые она предоставляет, и ее точность может улучшиться с помощью модели учителя, чтобы направить ее через многомерное пространство параметров. Эта общая архитектура называется мета-обучением на основе «градиента».

Полный процесс обучения мета-ученика на основе градиента выглядит следующим образом:

1. Создайте базовую модель учащегося (учителя)
2. Обучите базовую модель учащегося на вспомогательном наборе
3. Попросите базового ученика вернуть прогнозы для набора запросов.
4. Обучите мета-ученика (студента) потерям, полученным из-за ошибки классификации.

Варианты метаобучения

Независимое от модели метаобучение — это метод, используемый для расширения базового метода метаобучения на основе градиента, который мы рассмотрели выше.

Как мы уже говорили выше, мета-обучающийся на основе градиента использует предыдущий опыт, полученный моделью учителя, для точной настройки себя и делать более точные прогнозы для небольшого количества обучающих данных. Однако запуск со случайно инициализируемыми параметрами означает, что модель все еще потенциально может соответствовать данным. Чтобы избежать этого, мета-обучаемый «независим от модели» создается путем ограничения влияния модели учителя/базовой модели. Вместо обучения модели ученика непосредственно на потерях для прогнозов, сделанных моделью учителя, модель ученика обучается на потерях для своих собственных прогнозов.

Для каждого эпизода обучения независимого от модели мета-обучения:

1. Создается копия текущей мета-модели обучающегося.
2. Копия обучается с помощью базовой модели/модели учителя.
3. Копия возвращает прогнозы для обучающих данных.
4. Вычисленная потеря используется для обновления мета-ученика.

Метрика обучения

Подходы метрического обучения к разработке модели обучения с несколькими выстрелами обычно включают использование основных показателей расстояния для сравнения выборок в наборе данных. Алгоритмы обучения метрик, такие как косинусное расстояние, используются для классификации выборок запросов на основе их сходства с поддерживающими выборками. Для классификатора изображений это будет означать просто классификацию изображений на основе сходства внешних характеристик. После того, как опорный набор изображений выбран и преобразован в вектор встраивания, то же самое делается с набором запросов, а затем сравниваются значения для двух векторов, при этом классификатор выбирает класс, который имеет наиболее близкие значения к векторизованному набору запросов. .

Более продвинутое решение на основе метрик — это «прототип сети». Прототипы сетей объединяют точки данных вместе, комбинируя модели кластеризации с классификацией на основе метрик, описанной выше. Как и при кластеризации K-средних, центроиды для кластеров вычисляются для классов в наборах поддержки и запросов. Затем применяется метрика евклидова расстояния, чтобы определить разницу между наборами запросов и центроидами набора поддержки, назначая набор запросов тому классу набора поддержки, который ближе.

Большинство других подходов к обучению в несколько приемов являются просто вариациями основных методов, описанных выше.

Приложения для быстрого обучения

Короткое обучение находит применение во многих различных областях науки о данных, таких как компьютерное зрение, обработка естественного языка, робототехника, здравоохранение и обработка сигналов.

Приложения для обучения за несколько шагов в области компьютерного зрения включают эффективное распознавание символов, классификацию изображений, распознавание объектов, отслеживание объектов, прогнозирование движения и локализацию действий. Приложения обработки естественного языка для обучения за несколько шагов включают перевод, завершение предложений, классификацию намерений пользователя, анализ настроений и классификацию текста с несколькими метками. Небольшое обучение можно использовать в области робототехники, чтобы помочь роботам узнать о задачах всего за несколько демонстраций, позволяя роботам научиться выполнять действия, двигаться и ориентироваться в окружающем мире. Открытие лекарств с небольшим количеством уколов — это новая область здравоохранения ИИ. Наконец, у обучения с несколькими выстрелами есть приложения для обработки акустических сигналов, то есть процесса анализа звуковых данных, позволяющего системам искусственного интеллекта клонировать голоса на основе всего нескольких пользовательских образцов или преобразования голоса одного пользователя в другого.