Ai for data science

Глава 2: Методологии ИИ за пределами глубокого обучения

Как мы уже видели, глубокое обучение является ключевым аспектом наиболее устойчивых систем ИИ, но это не единственный способ использования ИИ. В этой главе рассматриваются некоторые альтернативы глубокому обучению. Даже если эти методы не так популярны, как методы глубокого обучения, они могут быть очень полезны в определенных сценариях. Мы рассмотрим две основные методологии – оптимизацию и нечеткую логику – а также некоторые менее известные методы, такие как искусственное творчество. Мы обсудим новые тенденции в методологиях ИИ. Наконец, мы изучим некоторые полезные соображения по использованию этих методов и получению максимальной пользы от них для ваших проектов в области науки о данных.

Многие альтернативные методы ИИ по отношению к глубокому обучению не используют какие-либо ANN, но опираются на другие системы, демонстрирующие определенный уровень интеллекта. Поскольку некоторые из таких систем не используют нечеткий граф для своих предсказаний (как это делают ANN), они более прозрачны, чем DL, что делает их полезными при интерпретации результатов. Большинство из этих альтернативных методов ИИ существуют уже несколько десятилетий, поэтому за ними стоит большая поддержка, что делает их в целом надежными ресурсами. Другие, как правило, более новые, но тем не менее достаточно надежны и устойчивы.

Поскольку область ИИ быстро развивается, эти альтернативы глубокому обучению могут стать еще более актуальными в ближайшие несколько лет. В конце концов, многие задачи науки о данных связаны с оптимизацией функции.

Среди различных альтернативных методологий ИИ, наиболее подходящие для работы с данными могут быть классифицированы под зонтиком оптимизации. Однако системы нечеткой логики могут быть полезны, даже если они применяются в основном к наборам данных низкой размерности, как мы увидим позже. Оптимизация, с другой стороны, включает все виды наборов данных и часто используется в других системах науки о данных.

Оптимизация

Оптимизация — это процесс нахождения максимума или минимума заданной функции (также известной как фитнес-функция), путем вычисления наилучших значений для ее переменных (также известных как «решение»). Несмотря на простоту этого определения, это непростой процесс; он часто включает ограничения, а также сложные взаимосвязи между различными переменными. Хотя некоторые функции можно оптимизировать с помощью некоторых математических процессов, большинство функций, с которыми мы сталкиваемся в науке о данных, не так просты и требуют более продвинутой техники.

Системы оптимизации (или оптимизаторы, как их часто называют) направлены на систематическую оптимизацию, зачастую используя подход, основанный на эвристиках. Такой подход позволяет системе ИИ использовать концепцию макроуровня как часть своих низкоуровневых вычислений, ускоряя весь процесс и делая его более легковесным. В конце концов, большинство этих систем разработаны с учетом масштабируемости, поэтому эвристический подход является наиболее практичным.

Важность оптимизации

Оптимизация особенно важна во многих задачах науки о данных — особенно тех, которые связаны с большим количеством переменных, требующих тонкой настройки, или в случаях, когда традиционные инструменты кажутся неработающими. Для решения более сложных задач, выходящих за рамки классических методологий, оптимизация необходима. Более того, оптимизация полезна для различных задач инженерии данных, таких как выбор признаков, в случаях, когда требуется высокая степень интерпретируемости. Мы рассмотрим основные приложения оптимизаторов в науке о данных позже в этой главе.

Обзор систем оптимизации

Существуют различные виды систем оптимизации. Самые базовые существуют дольше всего. Они называются «детерминированными оптимизаторами» и, как правило, дают наилучшее возможное решение для рассматриваемой задачи. То есть, абсолютный максимум или минимум фитнес-функции. Поскольку они довольно трудоемки и не могут обрабатывать крупномасштабные задачи,

эти детерминированные оптимизаторы обычно используются для приложений, где количество переменных относительно невелико. Классический пример такого оптимизатора — это оптимизатор, используемый для регрессии методом наименьших квадратов — простой метод определения оптимальной линии, подходящей для набора точек данных, в пространстве с относительно небольшой размерностью.

Помимо детерминированных оптимизаторов, существуют стохастические оптимизаторы, которые более точно соответствуют определению ИИ. В конце концов, большинство из них основаны на природных явлениях, таких как движение членов роя или плавление металла. Основное преимущество этих методов заключается в их высокой эффективности. Хотя они обычно не дают абсолютного максимума или минимума функции, которую они пытаются оптимизировать, их решения достаточно хороши для всех практических целей (даже если они немного различаются каждый раз, когда вы запускаете оптимизатор). Стохастические оптимизаторы также очень хорошо масштабируются, поэтому они идеально подходят для сложных задач, включающих множество переменных. В этой книге мы сосредоточимся на некоторых из этих стохастических методов оптимизации.

Языки программирования для оптимизации

Оптимизация поддерживается большинством языков программирования с точки зрения библиотек, таких как пакеты Optim и JuMP в Julia. Однако каждый алгоритм достаточно прост, чтобы вы могли написать код самостоятельно, если вы не найдете доступную «готовую» функцию. В этой книге мы рассмотрим основные алгоритмы для продвинутой оптимизации и то, как они реализованы в Julia. Мы выбрали этот язык программирования, потому что он сочетает в себе простоту использования и высокую скорость выполнения. Помните, что весь код доступен в среде Docker, которая прилагается к этой книге.

Нечеткие системы вывода

Нечеткая логика (FL) — это методология, разработанная для имитации способности человека к неточному или приблизительному рассуждению. Эта способность судить в условиях неопределенности ранее считалась строго человеческой, но нечеткая логика сделала ее возможной и для машин.

Несмотря на название, в выходных данных нечеткой логики нет ничего неясного. Это потому, что нечеткая логика является расширением классической логики, когда частичные

истины включены для расширения двузначной логики (истина или ложь) до многозначной логики (степени истины между истиной и ложью).

По словам его создателя, профессора Заде, конечная цель нечеткой логики — сформировать теоретическую основу для рассуждений о неточных положениях (также известных как «приблизительные рассуждения»). За последние пару десятилетий нечеткая логика набрала обороты и стала рассматриваться как одна из наиболее перспективных методологий ИИ.

Система FL содержит ряд сопоставлений, соответствующих различным признакам имеющихся данных. Эта система содержит термины, которые имеют для нас смысл, такие как высокий-низкий, горячий-холодный и большой-средний-малый, термины, которые могут показаться нечеткими, поскольку между ними нет четких границ. Кроме того, эти атрибуты, как правило, относительны и требуют определенного контекста, чтобы стать явными, через заданное сопоставление между каждым термином и некоторым числом, которое система может использовать в своих процессах. Это сопоставление математически описывается через набор функций принадлежности, графически принимающих форму треугольников, трапеций или даже кривых. Таким образом, что-то несколько абстрактное, как «большой», может принимать очень конкретные измерения в форме «насколько большой по шкале от 0 до 1» он есть. Процесс кодирования данных в эти состояния называется фаззификацией.

После того как все данные закодированы таким образом, различные сопоставления объединяются с помощью логических операторов, таких как правила вывода (например, «Если А и В, то С», где А и В соответствуют состояниям двух разных признаков, а С — целевой переменной). Результатом является новая функция принадлежности, описывающая эту сложную взаимосвязь, обычно изображаемая как многоугольник. Затем она преобразуется в точное значение с помощью одного из различных методов в процессе, называемом дефаззификацией. Поскольку весь этот процесс графически доступен пользователю, а используемые термины заимствованы из человеческого языка, результат всегда четкий и интерпретируемый (при условии некоторого понимания того, как работает FL).

Интересно, что FL также использовался в сочетании с ANN для формирования так называемых нейро-нечетких систем. Вместо того чтобы человек вручную создавал функции принадлежности, система FL может использовать метод оптимизации в алгоритме обучения нейронной сети для их вычисления на лету. Весь этот процесс и структура данных, которую он подразумевает, принимают форму автоматизированной нечеткой системы, сочетающей лучшее из обоих миров.

Почему системы, основанные на нечеткой логике, по-прежнему актуальны

Хотя FL изначально разрабатывалась с учетом определенных типов инженерных систем, таких как системы управления, ее простота использования и низкая стоимость реализации сделали ее актуальной как методология ИИ во множестве других областей, включая науку о данных.

Более того, нечеткие системы очень доступны, особенно когда они автоматизированы с помощью оптимизации для их функций принадлежности (таких как нейро-нечеткие системы, упомянутые ранее). Такая система использует набор правил FL (которые создаются на основе данных) для вывода целевой переменной. Эти системы называются нечеткими системами вывода (FIS).

Основное преимущество этого подхода FIS заключается в его прозрачности — это большой плюс, если вы хотите обосновать свои результаты перед заинтересованными сторонами проекта. Прозрачность FIS делает всю проблему более понятной, позволяя вам выяснить, какие признаки более релевантны.

Кроме того, FIS может использоваться в сочетании с пользовательскими правилами, основанными на знаниях эксперта. Это особенно полезно, если вы хотите обновить набор эвристических правил с использованием ИИ. Некоторые более крупные компании, планирующие использовать науку о данных для расширения своих существующих систем, вероятно, будут заинтересованы в таком решении.

Недостаток нечетких систем вывода

Несмотря на все достоинства FIS, эти системы ИИ не всегда соответствуют ожиданиям современных проектов науки о данных. В частности, когда размерность имеющихся данных довольно велика, количество генерируемых правил экспоненциально возрастает, что делает эти системы слишком большими для любых практических целей. Конечно, вы можете смягчить эту проблему с помощью автокодировщика или статистического процесса, такого как PCA или ICA, который создает меньший набор признаков. Однако, когда вы это делаете, все преимущество интерпретируемости FIS исчезает. Почему? При сокращенном наборе признаков связь с исходными признаками (и семантическое значение, которое они несут) искажается. Таким образом, очень трудно реконструировать смысл; новые признаки потребуют другой интерпретации, чтобы быть осмысленными. Это не всегда осуществимо.

Тем не менее, для наборов данных меньшей размерности, FIS является стоящей альтернативой, даже если она не является особо популярной. Мы подробнее рассмотрим нечеткую логику и FIS в главе 11, где обсудим альтернативные методологии ИИ.

Искусственное творчество

Искусственное творчество (ИT) — это относительно новая методология ИИ, в рамках которой создается новая информация на основе соответствующих данных, на которых она обучалась. Ее приложения охватывают различные области, включая большинство видов искусства, а также промышленный дизайн и даже науку о данных.

Этот тип методологии ИИ использует специализированную сеть глубокого обучения, которая обучена создавать новые данные, сохраняющие некоторые характеристики данных, на которых она обучалась. Когда вы подаете такую специализированную систему ИИ данные изображения, и она обучалась на работах конкретного художника, она создаст новые «произведения искусства», используя изображения, которые ей поданы, но с использованием живописных паттернов художника, которому она имитирует. Результаты, возможно, не выиграют художественных призов, но они, безусловно, интересны и оригинальны!

Особенно увлекательно, когда система ИИ создает поэзию на основе стихов определенных поэтов. Результаты могут быть неотличимы от стихов, написанных человеком. Возьмем, например, следующий отрывок из стиха, написанного поэтом-ИИ Deep Gimble I:6

В науке о данных искусственное творчество может помочь в создании новых данных, что весьма полезно в определенных случаях. Эти новые данные могут быть не особенно полезны для расширения обучающего набора для этой ANN, но они могут быть особенно полезны другими способами. Например, если исходные данные являются конфиденциальными, например, медицинские данные, и содержат слишком много личной идентификационной информации (PII), вы

можете генерировать новые данные с использованием ИИ, которые, хотя и очень похожи на исходные данные, не могут быть связаны с реальным человеком.

Кроме того, данные, созданные с помощью системы ИИ, могут быть полезны для различных моделей данных — возможно, как новый тестовый набор или даже часть обучающего набора. Таким образом, это может предоставить потенциал для лучшего обобщения этих моделей, поскольку для их обучения или тестирования доступно больше данных. Это может быть особенно полезно в областях, где помеченные данные трудно или дорого генерировать иным способом.

Дополнительные методологии ИИ

Помимо всех методологий ИИ, которые мы обсудили до сих пор, существует несколько других, заслуживающих внимания. Эти системы также играют роль в науке о данных, в то время как их сходство с системами глубокого обучения делает их легче понять. Кроме того, поскольку область ИИ постоянно расширяется, полезно быть в курсе всех новых методологий, которые появляются.

Машина экстремального обучения (ELM) является примером альтернативной методологии ИИ, которая пока не получила должного внимания. Хотя они архитектурно похожи на сети глубокого обучения, ELM сильно отличаются по способу обучения. На самом деле, их обучение настолько нетрадиционно, что некоторые считают весь подход погранично ненаучным (профессор, который разработал ELM, получил много критики от других академиков).

Вместо оптимизации всех весов по всей сети, ELM фокусируются только на связях двух последних слоев — а именно, последнего набора мета-признаков и их выходов. Остальные веса сохраняют свои начальные случайные значения с самого начала. Поскольку фокус направлен исключительно на оптимизированные веса последних слоев, эта оптимизация чрезвычайно быстрая и очень точная.

Как результат, ELM являются самой быстрой методологией, основанной на сетях, и их производительность также весьма прилична. Более того, они очень маловероятно переобучаются, что является еще одним преимуществом. Несмотря на свой неинтуитивный подход, система ELM по сути делает то же самое, что и обычная система глубокого обучения; однако вместо оптимизации всех создаваемых ею мета-признаков, она фокусируется на оптимизации того, как они работают вместе, формируя модель прогнозной аналитики. Мы подробнее поговорим о ELM в Главе

11.

Еще одна новая альтернативная методология ИИ — капсульные сети (CapsNets). Хотя CapsNet следует рассматривать как часть семейства методов глубокого обучения, ее архитектура и метод обучения оптимизации весьма новы. CapsNets пытаются уловить относительные взаимосвязи между объектами в соответствующем контексте. Модель CNN, демонстрирующая высокую производительность в задачах распознавания изображений, не обязательно способна идентифицировать один и тот же объект с разных ракурсов. Однако CapsNets довольно хорошо улавливают такие контекстные взаимосвязи. Их производительность в некоторых задачах уже превзошла ведущие модели примерно на 45%, что весьма поразительно. Учитывая их многообещающее будущее, мы посвятим раздел в главе 11 обсуждению CapsNets.

Самоорганизующиеся карты (SOM) — это особый тип системы ИИ. Хотя они также являются своего рода ANN, их функция уникальна. SOM позволяют отображать пространство признаков в двумерную сетку, чтобы его можно было лучше визуализировать впоследствии. Поскольку они не используют целевую переменную, SOM является методологией обучения без учителя; как таковой, он идеально подходит для исследования данных.

SOM успешно применяются в различных областях, таких как метеорология, океанография, разведка нефти и газа, а также приоритизация проектов. Одно ключевое отличие SOM от других ANN заключается в том, что их обучение основано на конкуренции, а не на коррекции ошибок. Кроме того, их архитектура сильно отличается, поскольку их различные узлы связаны только с входным слоем без боковых связей. Этот уникальный дизайн был впервые предложен профессором Кохоненом, поэтому SOM также называют «картами Кохонена».

Генеративно-состязательная сеть (GAN) — это очень интересный тип методологии ИИ, ориентированный на оптимизацию сети глубокого обучения довольно креативным способом. GAN состоит из двух различных ANN. Одна предназначена для обучения, а другая — для «взлома» первой — поиска случаев, когда предсказания первой ANN неверны. Эти системы сравнимы с хакерами «белой шляпы» в кибербезопасности.

По сути, вторая ANN создает все более сложные задачи для первой ANN, тем самым постоянно улучшая ее обобщение (даже при ограниченном объеме данных). GAN используются как для симуляций, так и для задач науки о данных. Их основная область

применения — астрономия, где для обучения доступно ограниченное количество изображений и видео космоса. Идея GAN существует уже более десяти лет, но только недавно получила широкую популярность; это в значительной степени связано с объемом вычислительных ресурсов, требуемых такой системой (как и любой другой системой ИИ, связанной с глубоким обучением). Более подробное описание GAN доступно в Приложении D, а в Главе 9 мы также вернемся к этой теме.

Искусственный эмоциональный интеллект (AEI) — это еще один вид ИИ, который является новым как на методологическом, так и на прикладном уровне. Цель AEI — способствовать пониманию эмоционального контекста данных (который обычно представляет собой текст) и оценивать его так же, как человек. Приложения AEI в настоящее время ограничены пониманием; в будущем, однако, более интерактивные системы могут обеспечить более плавный интерфейс между людьми и машинами. Существует пересечение между AEI и ANN, но некоторые аспекты AEI используют другие виды систем машинного обучения на бэкенде.

Взгляд в будущее

Хотя область ИИ расширяется в различных направлениях, что затрудняет спекуляции о том, как она будет развиваться, у большинства используемых сегодня систем ИИ есть один общий недостаток: отсутствие интерпретируемости. Как таковая, весьма вероятно, что какая-то будущая система ИИ решит этот вопрос, предоставляя более всесторонний результат, или по крайней мере некоторую информацию о том, как был получен результат (что-то вроде обоснования для каждого предсказания), при этом сохраняя масштабируемость современных систем ИИ.

Более продвинутая система ИИ будущего, вероятно, будет иметь сетевую структуру, как и современные системы глубокого обучения — хотя она может быть совершенно иной с точки зрения архитектуры. Такая система сможет обучаться на меньшем количестве данных (возможно, с помощью GAN), а также генерировать новые данные (как вариационные автокодировщики).

Может ли система ИИ научиться строить новые системы ИИ? Это возможно, однако ограничение чрезмерных ресурсов, необходимых для такой задачи, сделало ее осуществимой только для облачных систем. Google может продемонстрировать свой прогресс в этой области в том, что они называют Automated Machine Learning (AutoML). Так что, если вы решите повторить эту задачу с вашей собственной системой, кто может сказать,

что созданный ИИ будет лучше того, что вы построили сами? Кроме того, сможете ли вы точно определить его недостатки, которые могут быть довольно тонкими и неочевидными? В конце концов, система ИИ требует много усилий, чтобы гарантировать, что ее результаты не просто точны, но и полезны, отвечают потребностям конечного пользователя. Вы можете представить, насколько рискованно было бы иметь систему ИИ, построенную так, о которой вы ничего не знаете!

Однако всё это всего лишь идея о потенциальном эволюционном пути, поскольку ИИ всегда может развиваться непредсказуемыми способами. К счастью, при всей популярности систем ИИ сегодня, если появится что-то новое и лучшее, вы, вероятно, узнаете об этом раньше, чем позже.

Возможно, в подобных ситуациях лучше остановиться и подумать о «почему», а не только о «как», поскольку, как предупреждают многие эксперты в области науки и промышленности, ИИ является высокорисковым предприятием и требует осторожного обращения и всегда с использованием механизмов безопасности. Например, хотя это увлекательно и в некоторых случаях важно думать о том, как мы можем разрабатывать ИИ, которые совершенствуют себя, также крайне важно понять, какие это может иметь последствия, и заранее спланировать вопросы безопасности ИИ. Кроме того, приоритет определенных характеристик системы ИИ (например, интерпретируемости, простоты использования, ограниченности проблем в случае сбоя и т. д.) по сравнению с необработанной производительностью может принести более далеко идущие преимущества. В конце концов, не улучшение ли нашей жизни в долгосрочной перспективе является причиной существования ИИ?

О методах

Несложно найти задачи, которые можно решить с помощью оптимизации. Например, вы можете искать оптимальную конфигурацию маркетингового процесса для минимизации общих затрат или для максимизации охвата аудитории. Хотя наука о данных может помочь в решении такой задачи, в конечном итоге вам потребуется использовать оптимизатор для нахождения истинного решения подобной проблемы.

Более того, оптимизация может помочь и в инженерии данных. Например, некоторые методы выбора признаков используют оптимизацию для сохранения только тех признаков, которые хорошо работают вместе. Существуют также случаи слияния признаков, использующие оптимизацию (хотя этот метод используется немногими, так как он жертвует некоторой интерпретируемостью модели, использующей эти мета-признаки).

Кроме того, при построении пользовательской системы прогнозной аналитики, объединяющей другие классификаторы или регрессоры, часто необходимо максимизировать общую точность (или другую метрику производительности). Для этого необходимо определить наилучшие параметры для каждого модуля (т.е. те, которые оптимизируют определенную метрику производительности для соответствующей модели), и учесть веса выходных данных каждого модуля в общем правиле принятия решений для конечного результата системы, состоящей из всех этих модулей. Эта работа действительно требует оптимизатора, поскольку часто количество задействованных переменных значительно.

В целом, если вы решаете задачу прогнозной аналитики и у вас есть набор данных, размерность которого уменьшена посредством выбора признаков, он может быть эффективно обработан с помощью FIS. Кроме того, если интерпретируемость является ключевым требованием для вашей модели данных, использование FIS является хорошей стратегией. Наконец, если у вас уже есть набор эвристических правил из существующей системы прогнозной аналитики, вы можете использовать FIS для объединения этих правил с некоторыми новыми, созданными FIS. Таким образом, вам не придется начинать с нуля при разработке своего решения.

Новые системы ИИ, как правило, менее предсказуемы и, как следствие, несколько ненадежны. Они могут хорошо работать с определенным набором данных, но такая производительность может не сохраняться с другими наборами данных.

Вот почему крайне важно опробовать различные системы ИИ, прежде чем выбрать одну в качестве основной модели данных. Во многих случаях оптимизация определенной системы ИИ может дать лучшую производительность, несмотря на время и ресурсы, необходимые для оптимизации. Нахождение баланса между изучением различных альтернатив и углубленным изучением существующих приходит с опытом.

Более того, хорошая идея заранее установить требования к проекту и пользователя. Знание того, что нужно, может значительно облегчить выбор вашей системы ИИ (или, если вы более склонны к авантюрам, разработку новой) и сделать ее более прямолинейной. Например, если вы на ранней стадии заявляете, что интерпретируемость важнее производительности, это повлияет на выбор модели. Убедитесь, что вы понимаете, что именно вы ищете в системе ИИ с самого начала, поскольку это значительно поможет вам сделать оптимальный выбор.

Хотя системы ИИ могут многое предложить во всех сферах науки о данных,

проблемы, они не панацея. Если данные, которыми вы располагаете, невысокой достоверности, то есть невысокого качества или надежности, ни одна система ИИ не сможет это исправить. Все системы ИИ функционируют на основе данных, на которых мы их обучаем; если обучающие данные очень зашумлены, предвзяты или иным образом проблематичны, их обобщения не будут лучше.

Это подчеркивает важность инженерии данных и использования данных из различных источников, тем самым увеличивая ваши шансы на создание надежной и полезной модели данных. Вот почему всегда полезно держать человека в курсе событий в проектах по науке о данных — даже (или, возможно, особенно) когда они включают ИИ.

Резюме

• Оптимизация — это процесс, связанный с ИИ, направленный на нахождение максимума или минимума заданной функции путем настройки значений ее переменных. Это неотъемлемая часть многих других систем (включая ANN) и состоит из детерминированных и стохастических систем.
• Системы оптимизации (или «оптимизаторы», как их часто называют) могут быть реализованы на всех языках программирования, поскольку их основные алгоритмы достаточно просты.
• Нечеткая логика (FL) — это методология ИИ, которая пытается моделировать неточные данные, а также неопределенность. Системы, использующие FL, называются нечеткими системами вывода (FIS). Эти системы включают разработку и использование нечетких правил, которые автоматически связывают признаки с целевой переменной. FIS отлично подходит для наборов данных небольшой размерности, поскольку он плохо масштабируется с увеличением количества признаков.
• Искусственное творчество (AC) — это своего рода методология ИИ, которая создает новую информацию на основе паттернов, полученных из данных, которые ей подаются. Она имеет множество применений в искусстве и промышленном дизайне. Эта методология также может быть полезна в науке о данных, посредством создания новых точек данных для конфиденциальных наборов данных (например, там, где важна конфиденциальность данных).
• Искусственный эмоциональный интеллект (AEI) — еще один альтернативный ИИ,

• эмулирующий человеческие эмоции. В настоящее время его приложения ограничены пониманием.
• Хотя спекулятивно, если действительно новая методология ИИ возникнет в ближайшем будущем, она, вероятно, будет сочетать характеристики существующих систем ИИ, с акцентом на интерпретируемость.
• Хотя теоретически возможно, система ИИ, которая может проектировать и создавать другие системы ИИ, не является тривиальной задачей. Большая часть этого связана с чрезмерными рисками использования такой системы, поскольку мы будем иметь мало контроля над результатом.
• Важно понимать тонкие различия между всеми этими методологиями, а также их различные ограничения. Самое главное, для науки о данных нет замены высокодостоверным данным.

http://bit.ly/2Js4CKd.