Интерпретируемая модель машинного обучения. Часть 1


Интерпретационные методы (подходы)

Еще больше чем организационные эти методы заслуживают наименования подходов, поскольку являются в первую очередь объяснительными принципами, предопределяющими направление интерпретации результатов исследования. В научной практике получили развитие генетический, структурный, функциональный, комплексный и системный подходы. Использование того или иного метода не означает отсечения других. Наоборот, обычным делом в психологии является сочетание подходов. И это относится не только к исследовательской практике, но и к психодиагностике, психологическому консультированию и психокоррекции.

Генетический метод

Генетический метод – это способ исследования и объяснения явлений (в том числе психических), основанный на анализе их развития как в онтогенетическом, так и филогенетическом планах. При этом требуется установление:

  1. начальных условий возникновения явления,
  2. главных этапов
  3. основных тенденций его развития.

Цель метода – выявление связи изучаемых явлений во времени, прослеживание перехода от низших форм к высшим.

Так что везде, где требуется выявление временной динамики психических явлений, генетический метод является неотъемлемым исследовательским инструментом психолога. Даже когда исследование нацелено на изучение структурных и функциональных характеристик явления, не исключено эффективное применение этого метода. Так, разработчики известной теории перцептивных действий при микроструктурном анализе восприятия о. Естественно, генетический метод особенно характерен для различных отраслей психологии развития: сравнительной, возрастной, исторической психологии. Понятно, что и любое лонгитюдное исследование предполагает применение рассматриваемого метода.

Генетический подход, вообще-то, может рассматриваться как методическая реализация одного из основных принципов психологии, а именно принципа развития. При таком видении другие варианты реализации принципа развития допустимо рассматривать как модификации генетического подхода. Например, исторический и эволюционный подходы.

Структурный метод

Структурный подход – направление, ориентированное на выявление и описание структуры объектов (явлений). Для него характерно: углубленное внимание к описанию актуального состояния объектов; выяснение внутренне присущих им вневременных свойств; интерес не к изолированным фактам, а к отношениям между ними. В итоге строится система взаимосвязей между элементами объекта на различных уровнях его организации.

Обычно при структурном подходе не акцентируются соотношение в объекте частей и целого и динамика выявленных структур. При этом разложение целого на части (декомпозиция) может производиться по различным вариантам. Важным достоинством структурного метода является относительная легкость наглядного представления результатов в виде различных моделей. Эти модели могут даваться в форме описаний, перечня элементов, графической схемы, классификации и пр.

Неисчерпаемым примером подобного моделирования служит представление структуры и типов личности: трехэлементная модель по 3. Фрейду; типы личности по Юнгу; «круг Айзенка»; многофакторная модель Р. Ассаджиоли. Не отстала от зарубежной психологии в этом вопросе и наша отечественная наука: эндо- и экзопсихика по А. Ф. Лазурскому и развитие его взглядов у В. Д. Балина; структура личности из четырех сложных комплексов по Б. Г. Ананьеву; индивидно-индивидуальная схема В. С. Мерлина; перечни компонентов личности у А. Г. Ковалева и П. И. Иванова; динамическая функциональная структура личности по К. К. Платонову; схема личности по А. И. Щербакову и т. д.

Структурный подход – атрибут любого исследования, посвященного изучению конституциональной организации психики и строения ее материального субстрата – нервной системы. Здесь можно упомянуть о типологии ВНД И. П. Павлова и ее развитии Б. М. Тепловым, В. Д. Небылицыным и другими. Широкое признание получили модели В. М. Русалова, отражающие морфологическую, нейро- и психодинамическую конституции человека. Структурные модели человеческой психики в пространственном и функциональном аспектах представлены в работах. Классическими образцами рассматриваемого подхода служат ассоциативная психология Ф. Гартли и ее следствия (в частности, психофизика «чистых ощущений» XIX века), а также структурная психология В. Вундта и Э. Титченера. Специфической конкретизацией подхода выступает метод микроструктурного анализа, включающий в себя элементы и генетического, и функционального, и системного подходов.

Функциональный метод

Функциональный подход, естественно, ориентирован на выявление и изучение функций объектов (явлений). Неоднозначность трактовки в науке понятия «функция» затрудняет определение данного подхода, а также идентификацию с ним тех или иных направлений психологических исследований. Будем придерживаться мнения, что функция есть проявление свойств объектов в определенной системе отношений, а свойства есть проявление качества объекта при его взаимодействии с другими объектами. Таким образом, функция – это реализация соотношения объекта и среды, а еще уже – «соответствие между средой и системой».

Следовательно, функциональный подход интересуется главным образом связями изучаемого объекта со средой. Он исходит из принципа саморегулирования и поддержания равновесия объектов действительности (в том числе психики и ее носителей).

Примерами реализации функционального подхода в истории науки являются такие известные направления, как «функциональная психология» и «бихевиоризм». Классическим образцом воплощения функциональной идеи в психологии является знаменитая динамическая теория поля К. Левина. В современной психологии функциональный подход обогащен компонентами структурного и генетического анализа. Так, уже прочно установилось представление о многоуровневости и многофазности всех психических функций человека, действующих одновременно на всех уровнях как единое целое. Приведенные выше примеры структур личности, нервной системы, психики с полным основанием можно взять и в качестве иллюстрации к функциональному подходу, так как элементы этих структур большинство авторов соответствующих моделей рассматривают также и как функциональные единицы, олицетворяющие определенные связи человека с действительностью.

Комплексный метод

Комплексный подход – это направление, рассматривающее объект исследования как совокупность компонентов, подлежащих изучению с помощью соответствующей совокупности методов. Компоненты могут быть как относительно однородными частями целого, так и его разнородными сторонами, характеризующими изучаемый объект в разных аспектах. Часто комплексный подход предполагает изучение сложного объекта методами комплекса наук, т. е. организацию междисциплинарного исследования. Очевидно, что комплексный подход предполагает применение в той или иной мере и всех предыдущих интерпретационных методов.

Яркий пример реализации комплексного подхода в науке – концепция человекознания, согласно которой человек как наисложнейший объект изучения подлежит согласованному исследованию большого комплекса наук. В психологии эта идея комплексности изучения человека была четко сформулирована Б. Г. Ананьевым. Человек рассматривается одновременно как представитель биологического вида Homo sapiens (индивид), как носитель сознания и активный элемент познавательной и преобразующей действительность деятельности (субъект), как субъект социальных отношений (личность) и как уникальное единство социально значимых биологических, социальных и психологических особенностей (индивидуальность). Такой взгляд на человека позволяет исследовать его психологическое содержание в двух планах: субординационном (иерархическом) и координационном. В первом случае психические явления рассматриваются как соподчиненные системы: более сложные и общие подчиняют и включают в себя более простые и элементарные. Во втором – психические явления рассматриваются как относительно автономные образования, но тесно связанные и взаимодействующие друг с другом. Подобное всеобъемлющее и сбалансированное изучение человека и его психики по сути смыкается уже с системным подходом.

Системный метод

Системный подход – это методологическое направление в изучении реальности, рассматривающее любой ее фрагмент как систему.

Наиболее ощутимым толчком к осознанию системного подхода как неотъемлемого методологического и методического компонента научного познания и к его строгому научному оформлению послужили работы австро-американского ученого Л. Берталанфи (1901-1972), в которых он разработал общую теорию систем. Система есть некоторая целостность, взаимодействующая с окружающей средой и состоящая из множества элементов, находящихся между собой в некоторых отношениях и связях. Организация этих связей между элементами называется структурой. Иногда структуру толкуют расширительно, доводя ее понимание до объема системы. Такая трактовка характерна для нашей житейской практики: «коммерческие структуры», «государственные структуры», «политические структуры» и т. д. Изредка такой взгляд на структуру встречается и в науке, хотя и с определенными оговорками. Элемент – мельчайшая часть системы, сохраняющая ее свойства в пределах данной системы. Дальнейшее расчленение этой части ведет к потере соответствующих свойств. Так, атом – элемент с определенными физическими свойствами, молекула – с химическими свойствами, клетка – элемент со свойствами жизни, человек (личность) – элемент социальных отношений. Свойства элементов определяются их положением в структуре и, в свою очередь, определяют свойства системы. Но свойства системы не сводятся к сумме свойств элементов. Система как целое синтезирует (объединяет и обобщает) свойства частей и элементов, в результате чего она обладает свойствами более высокого уровня организации, которые во взаимодействии с другими системами могут представать как ее функции. Любая система может рассматриваться, с одной стороны, как объединение более простых (мелких) подсистем со своими свойствами и функциями, а с другой – как подсистема более сложных (крупных) систем. Например, любой живой организм является системой органов, тканей, клеток. Он же является элементом соответствующей популяции, которая, в свою очередь, является подсистемой животного или растительного мира и т. д.

Системные исследования осуществляются с помощью системных анализа и синтеза. В процессе анализа система выделяется из среды, определяются ее состав (набор элементов), структура, функции, интегральные свойства и характеристики, системообразующие факторы, взаимосвязи со средой. В процессе синтеза создается модель реальной системы, повышается уровень обобщения и абстракции описания системы, определяется полнота ее состава и структур, закономерности ее развития и поведения.

Описание объектов как систем, т. е. системные описания, выполняют те же функции, что и любые другие научные описания: объяснительную и прогнозирующую. Но еще важнее, что системные описания выполняют функцию интеграции знаний об объектах.

Системный подход в психологии позволяет вскрыть общность психических явлений с другими явлениями действительности. Это дает возможность обогащения психологии идеями, фактами, методами других наук и, наоборот, проникновения психологических данных в другие области знания. Он позволяет интегрировать и систематизировать психологические знания, устранять избыточность в накопленной информации, сокращать объем и повышать наглядность описаний, уменьшать субъективизм в интерпретации психических явлений. Помогает увидеть пробелы в знаниях о конкретных объектах, обнаружить их неполноту, определить задачи дальнейших исследований, а иногда и предсказать свойства объектов, информация о которых отсутствует, путем экстраполяции и интерполяции имеющихся сведений.

В учебной деятельности системные методы описания дают возможность представить учебную информацию в более наглядной и адекватной для восприятия и запоминания форме, дать более целостное представление об освещаемых объектах и явлениях и, наконец, перейти от индуктивного изложения психологии к дедуктивно-индуктивному.

Предыдущие подходы являются фактически органичными компонентами системного подхода. Иногда даже их рассматривают как его разновидности. Некоторые авторы сопоставляют эти подходы с соответствующими уровнями качеств человека, составляющих предмет психологического исследования.

В настоящее время большинство научных исследований проводится в русле системного подхода. Наиболее полное освещение применительно к психологии системный подход нашел в следующих работах.

Интерпретируемая модель машинного обучения. Часть 1

Всем привет. До старта курса «Machine Learning» остается чуть больше недели. В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. Начнем.

Пора избавиться от черных ящиков и укрепить веру в машинное обучение!
В своей книге “Interpretable Machine Learning” Кристоф Мольнар прекрасно выделяет суть интерпретируемости Машинного Обучения с помощью следующего примера: Представьте, что вы эксперт Data Science, и в свободное время пытаетесь спрогнозировать куда ваши друзья отправятся в отпуск летом, основываясь на их данных из facebook и twitter. Итак, если прогноз окажется верным, то ваши друзья будут считать вас волшебником, который может видеть будущее. Если прогнозы будут неверны, то это не принесет вреда ничему, кроме вашей репутации аналитика. Теперь представим, что это был не просто забавный проект, а к нему были привлечены инвестиции. Скажем, вы хотели инвестировать в недвижимость, где ваши друзья, вероятно, будут отдыхать. Что произойдёт, если предсказания модели будут неудачными? Вы потеряете деньги. Пока модель не оказывает существенного влияния, ее интерпретируемость не имеет большого значения, но когда есть финансовые или социальные последствия, связанные с предсказаниями модели, ее интерпретируемость приобретает совершенно другое значение.

Объяснимое машинное обучение

Интерпретировать, значит, объяснить или показать в понятных терминах. В контексте ML-системы, интерпретируемость – это способность объяснить ее действие или показать его в понятном человеку виде.
Модели машинного обучения многие люди окрестили «черными ящиками». Это означает, что несмотря на то, что мы можем получить от них точный прогноз, мы не можем понятно объяснить или понять логику их составления. Но каким образом можно извлечь инсайты из модели? Какие вещи следует иметь в виду и какие инструменты нам понадобятся для этого? Это важные вопросы, которые приходят на ум, когда речь идет об интерпретируемости модели.

Важность интерпретируемости

Вопрос, которым задаются некоторые люди, звучит как, почему бы просто не радоваться тому, что мы получаем конкретный результат работы модели, почему так важно знать, как было принято то или иное решение?
Ответ кроется в том, что модель может оказывать определенное влияние на последующие события в реальном мире. Для моделей, которые предназначены для рекомендации фильмов интерпретируемость будет гораздо менее важна, чем для тех моделей, которые используются для прогнозирования результата воздействия медицинского препарата.

«Проблема заключается в том, что всего одна метрика, такая как точность классификации, является недостаточным описанием большинства реальных задач.» (Доши-Велес и Ким 2017)

Вот большая картинка про объяснимое машинное обучение. В каком-то смысле мы захватываем мир (а точнее информацию из него), собирая необработанные данные и используя их для дальнейших прогнозов. По сути, интерпретируемость – это всего лишь еще один слой модели, который помогает людям понять весь процесс.

Текст на картинке снизу вверх: Мир -> Получение информации -> Данные -> Обучение -> Black Box модель -> Извлечение -> Методы интерпретации -> Люди
Некоторые из преимуществ, которые приносит интерпретируемость:

  • Надежность;
  • Удобство отладки;
  • Информирование об инженерии признаков;
  • Управление сбором данных для признаков;
  • Информирование о принятии решений;
  • Выстраивание доверия.

Методы Интерпретации моделей

Теория имеет смысл только до тех пор, пока мы можем применять ее на практике. В случае, если вы действительно хотите разобраться с этой темой, можете попробовать пройти курс Machine Learning Explainability от Kaggle. В нем вы найдете правильное соотношение теории и кода, чтобы понять концепции и уметь применять на практике к реальным кейсам концепции интерпретируемости (объяснимости) моделей.
Нажмите на скриншот ниже, чтобы перейти непосредственно на страницу курса. Если вы хотите сначала получить краткий обзор темы, продолжайте чтение.

Инсайты, которые можно извлечь из моделей

Для понимания модели нам потребуются следующие инсайты:

  • Наиболее важные признаки в модели;
  • Для любого конкретного прогноза модели влияние каждого отдельного признака на конкретный прогноз.
  • Влияние каждого признака на большое количество возможных прогнозов.

Давайте обсудим несколько методов, которые помогают извлекать вышеперечисленные инсайты из модели:

Permutation Importance

Какие признаки модель считает важными? Какие признаки оказывают наибольшее влияние? Эта концепция называется важностью признаков (feature importance), а Permutation Importance – это метод, широко используемый для вычисления важности признаков. Он помогает нам увидеть, в какой момент модель выдает неожиданные результаты, он же помогает нам показать другим, что наша модель работает именно так, как нужно.
Permutation Importance работает для многих оценок scikit-learn. Идея проста: Произвольным образом переставить или перетасовать один столбец в наборе датасета валидации, оставив все остальные столбцы нетронутыми. Признак считается «важным», если точность модели падает и его изменение вызывает увеличение ошибок. С другой стороны, признак считается «неважным», если перетасовка его значений не влияет на точность модели.

Как это работает?

Рассмотрим модель, которая предсказывает, получит ли футбольная команда награду “Man of the Game” или нет, на основе определенных параметров. Эту награду получает игрок, который демонстрирует лучшие навыки игры. Permutation Importance вычисляется после обучения модели. Итак, давайте обучим и подготовим модель RandomForestClassifier, обозначенную как my_model, на обучающих данных.
Permutation Importance вычисляется с использованием библиотеки ELI5. ELI5 – это библиотека в Python, которая позволяет визуализировать и отлаживать различные модели машинного обучения с помощью унифицированного API. Она имеет встроенную поддержку для нескольких ML-фреймворков и обеспечивает способы интерпретации black-box модели.

Вычисление и визуализация важности с помощью библиотеки ELI5: (Здесь val_X,val_y обозначают соответственно наборы валидации)

Интерпретация

  • Признаки сверху – наиболее важные, снизу – наименее. Для этого примера, самым важным признаком были забитые голы.
  • Число после ± отражает, как производительность изменялась от одной перестановки к другой.
  • Некоторые веса отрицательны. Это связано с тем, что в этих случаях прогнозы по перетасованным данным оказались более точными, чем реальные данные.

Практика

А теперь, чтобы посмотреть на полный пример и проверить правильно ли вы все поняли, перейдите на страницу Kaggle по ссылке.
Вот и подошла к концу первая часть перевода. Пишите ваши комментарии и дл встречи на курсе!

Читать вторую часть.

Рейтинг
( 1 оценка, среднее 4 из 5 )
Понравилась статья? Поделиться с друзьями:
Для любых предложений по сайту: [email protected]