Понятие валидности эксперимента. Внешняя и внутрянняя. Их связь

Валидность служит основным целям любой науки – познание и власть.

Сегодня часто утверждают, что концепция валидности уникальна. Но критерий оценки или процедура оценки действительна или недействительна, и не более того. Разнообразны и многочисленны методы проверки, одни из которых теоретические или конструктивные, а другие — прагматические или просто эмпирические.

Техники валидации очень распространены, и их количество быстро растет. Но, существует только два фундаментальных типа валидности, которые в остальном взаимозависимы: теоретическая и практическая. Они соответствуют двум фундаментальным целям науки: познанию и власти. С одной стороны, чтобы познать реальность, объяснить и понять ее, то есть чтобы учесть один аспект реальности (объяснить его) в связи с другими аспектами (понять их).

С другой стороны, чтобы иметь возможность вмешиваться в реальность, чтобы до некоторой степени доминировать над ней, лучше приспособиться к ней или модифицировать ее так, чтобы она лучше соответствовала нашим целям. Это две разные цели, но не независимые.

В психометрии валидность понимается как степень, в которой инструмент или процедура измеряет то, что они предназначены для измерения. Другими словами, метод измерения будет действителен до тех пор, пока он эффективно отражает психологическую переменную, на которую он направлен. Переменная эта оценивается по ее взаимосвязи с определенным критерием, например, результатами в других переменных или связанных задачах. В этом смысле можно рассматривать различные типы достоверности: прогнозирующая валидность, конвергентная валидность, конструктивная валидность и т.д.

Валидность — это суждение или оценка того, насколько хорошо тест измеряет (оценивает) то, что он предназначен для измерения в данном контексте. В частности, это вынесение основанного на фактах суждения о целесообразности различий, сделанных на основе результатов тестов.

Валидность гарантирует, что измеряется то, что предлагается, а не что-то иное. Тест считается валидным, если он соответствует нашим целям.

Валидация — это процесс, который позволяет все больше и больше уточнять, ограничивать и улучшать измерительный «инструмент». Таким образом, тест по теории измерений будет действительным, если он действительно дает возможность измерить, например, знания, которые студенты имеют по этому предмету, а не (возможно, непреднамеренно) что-либо иное.

Наконец, срок действия валидности относится к степени, в которой тест измеряет то, что он намеревается измерить. В этом смысле тест будет пригоден для измерения пространственного мышления, например, если он измеряет этот тип рассуждения, а не что-то еще.

Валидность в психологии

Валидация — это процесс сбора и оценки достоверности доказательств. И создатель теста, и пользователь теста могут сыграть роль в валидации теста для конкретной цели.

Один из способов, которым специалисты по измерениям традиционно концептуализируют валидность, состоит в трех категориях:

• Валидность содержания. Валидность контента определяет, является ли тест репрезентативным для всех аспектов конструкции. Полностью ли тест отражает то, что он нацелен на измерение.
• Валидность (текущая или прогностическая), связанная с критерием оценивает, насколько близко результаты теста соответствуют результатам другого теста одного и того же предмета.
• Валидность конструкции — это гарантия того, что метод измерения соответствует конструкции, которую вы хотите измерить.

Валидность можно разделить на два основных типа:

1. Внутренняя валидностьозначает степень уверенности в том, что тестируемая причинно-следственная связь заслуживает доверия и не зависит от других факторов или переменных.

Один из ключей к пониманию внутренней валидности — это признание того, что, когда она связана с экспериментальным исследованием, она относится как к тому, насколько хорошо было проведено исследование (план исследования, используемые рабочие определения, как измерялись переменные, что измерялось/не измерялось и т. д.), так и насколько уверенно можно сделать вывод, что изменение зависимой переменной было произведено исключительно независимой переменной, а не посторонними.

В своей классической книге по экспериментальным исследованиям Кэмпбелл и Стэнли (1966) идентифицируют и обсуждают 8 типов посторонних переменных, которые, если их не контролировать, могут поставить под угрозу внутреннюю валидность эксперимента.

• История

Это уникальный опыт, полученный испытуемыми между различными измерениями, выполненными в эксперименте. Этот опыт действует как дополнительные и незапланированные независимые переменные. Исследования, в которых с течением времени проводятся повторяющиеся измерения субъектов, с большей вероятностью будут подвержены влиянию исторических переменных, чем те, которые собирают данные в более короткие периоды времени или не используют повторные измерения.

• Созревание

Это естественные (а не навязанные экспериментатором) изменения, которые происходят в результате нормального течения времени. Например, чем больше времени проходит в исследовании, тем больше вероятность того, что испытуемые устают и скучают, более или менее мотивированы в зависимости от голода или жажды и т. д.

• Тестирование

Во многих экспериментах проводится предварительное тестирование субъектов, чтобы установить, что все субъекты начинают исследование примерно на одном и том же уровне и т. д. Это может повлиять на результативность субъектов в более поздних.

• Инструменты

Изменение методов измерения (или их применения) во время исследования влияет на то, что измеряется.

• Статистическая регрессия

Это когда субъекты исследования выбираются в качестве участников из-за того, что они набрали чрезвычайно высокие или чрезвычайно низкие баллы по некоторому показателю эффективности. Повторное тестирование субъектов почти всегда приводит к другому распределению баллов. и среднее значение для этого нового распределения будет ближе к среднему значению.

• Отбор

Субъекты в группах сравнения (например, контрольная и экспериментальная) должны быть функционально эквивалентны в начале исследования. Если группы сравнения отличаются друг от друга в начале исследования, результаты исследования являются необъективными.

• Экспериментальная смертность

Испытуемые выбывают из исследований. Если одна группа сравнения испытывает более высокий уровень исключения/смертности субъектов, чем другие группы, то наблюдаемые различия между группами становятся сомнительными.

• Взаимодействие при выборе

В некоторых исследованиях метод выбора взаимодействует с одной или несколькими другими угрозами (описанными выше), искажая результаты исследования.

1. Внешняя валидность относится к степени, в которой результаты исследования могут быть применены (обобщены) к другим ситуациям, группам или событиям.

Достоверность исследования во многом определяется планом эксперимента. Чтобы убедиться в достоверности используемых вами инструментов или тестов, вы также должны учитывать достоверность измерений.

Степень, в которой результаты исследования (независимо от того, является ли исследование описательным или экспериментальным) могут быть обобщены/применены к другим людям или условиям, отражает его внешнюю валидность. Как правило, групповые исследования, использующие рандомизацию, изначально будут обладать более высокой внешней валидностью, чем исследования (например, тематические исследования и экспериментальные исследования с одним субъектом), в которых не используется случайный выбор/назначение. Кэмпбелл и Стэнли определили 4 фактора, которые отрицательно влияют на внешнюю валидность исследования:

• Взаимодействие

Взаимодействие между тем, как были выбраны субъекты и лечение может произойти. Если субъекты не выбираются случайным образом из популяции, то их конкретные демографические/организменные характеристики могут влиять на их работу, и результаты исследования могут быть неприменимы к популяции или к другой группе, которая более точно представляет характеристики популяции.

• Предварительное тестирование

Это может вызвать более/менее сильную реакцию, например, на лечение, чем если бы они не прошли предварительное тестирование. Иными словами, чтобы обобщить результаты исследования, исследователь должен будет указать, что также должен проводиться определенный тип предварительного тестирования, поскольку предварительное тестирование может служить дополнительной непреднамеренной независимой переменной.

• Эффективность субъектов

Эффективность субъектов в некоторых исследованиях больше является продуктом или реакцией на экспериментальные условия (например, ситуацию, в которой проводится исследование), чем на независимую переменную.

Исследования, в которых используется несколько методов вмешательств, могут иметь ограниченную обобщаемость, поскольку ранние методы исследования могут иметь кумулятивный эффект на показатели субъектов.

Существует разница между внутренней и внешней валидностью.

Внутренняя валидность является степень уверенности, что причинно-следственная связь тестируется не зависит от других факторов или переменных.

Внешняя валидность — это степень, в которой ваши результаты могут быть обобщены на другие контексты.

• Повышение внутренней и внешней валидности

В групповых исследованиях основными методами, используемыми для достижения внутренней и внешней валидности, являются рандомизация, использование плана исследования и статистического анализа, соответствующих типам собранных данных, а также вопросам, которые исследователь(и) пытается решить, найти ответ. Экспериментальные исследования с одним субъектом почти всегда имеют высокую внутреннюю валидность, поскольку субъекты служат в качестве их собственных контролей, но они чрезвычайно низки в отношении внешней валидности. Однопредметные исследования приобретают внешнюю валидность в процессе репликации и расширения, т. е. повторения исследования в различных условиях, с другим предметом и т.д.

Факторы, угрожающие внутренней валидности[3]

• Изменение во времени
  (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.; ср. естественное развитие)
• Эффект последовательности
• Эффект Розенталя (Пигмалиона)
• Эффект Хоторна
• Эффект плацебо
• Эффект аудитории
• Эффект первого впечатления
• Эффект Барнума
• Сопутствующее смешение
• Факторы выборки Неправильная селекция
  (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах)
• Статистическая регрессия
• Экспериментальный отсев
  (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу)
• Естественное развитие
  (общее свойство живых существ к изменению; ср. онтогенез)

И др.

Что такое валидность психологического эксперимента?

Несмотря на свою важность, концепция экспериментальной валидности с момента своего появления получила мало развития. По этой причине цель состоит в том, чтобы обеспечить критический анализ с помощью метода философского анализа по трем осям:

• различие между альтернативными гипотезами и экспериментальными артефактами;
• списки угроз экспериментальной валидности;
• предполагаемое противоречие между внутренней и внешней валидностью.

Если разработка концепции экспериментальной валидности была недостаточной, то всему виной ограниченное рассмотрение как причинных допущений, так и неопределенности в экспериментальном контексте.

Надежность психологического эксперимента измеряет согласованность, проверяемость или повторяемость исследования. Если исследование может быть повторено и по-прежнему дает те же результаты (либо в другой группе участников, либо в течение другого периода времени), то оно считается надежным.

Со своей стороны, валидность в психологии (и не только), измеряет относительную точность или точность выводов, сделанных в результате исследования. Это относительная точность и правильность психологических исследований. Чтобы определить достоверность меры количественно, ее необходимо сравнить с критерием.

Выделяются различные типы валидности психологического эксперимента:

Валидность теста

Валидность теста — это показатель количества смысла, который можно приписать набору результатов теста. В психологических и образовательных тестах, где важность и точность тестов имеют первостепенное значение, очень важна валидность теста.

Валидность теста включает в себя ряд видов действия, в том числе критерия достоверности, обоснованности содержания и валидности. Если исследовательский проект имеет высокие баллы в этих областях, общая валидность теста высока.

• Критерий валидности

Валидность критерия устанавливает, соответствует ли тест определенному набору навыков:

• Параллельная достоверность измеряет тест против эталонного теста, а высокая корреляция указывает на то, что тест имеет сильную достоверность критерия.
• Прогностическая достоверность является мерой того, насколько хорошо тест предсказывает навыки, такие как измерение того, дает ли, например, хороший средний балл в средней школе хорошие результаты в колледже или университете.
• Валидность содержания

Валидность содержания определяет , как хорошо тест по сравнению с реальным миром. Например, тест на школьные способности должен отражать то, что на самом деле преподается в классе.

• Валидность конструкции

Валидность конструкции является мерой того, насколько хорошо тест выполняет свои требования. Тест, предназначенный для измерения депрессии, должен измерять только этот конкретный конструкт, а не тесно связанные идеалы, такие как тревога или стресс.

Валидность методики

Валидность вместе с надежностью, составляют фундаментальные свойства психометрических методов и, в более общем плане, процедур наблюдения и записи психологических переменных. В этом смысле это также применимо к экспериментальным процедурам, в которых проводится различие между внутренней и внешней валидностью.

Валидация метода относится к процессу экспериментирования и оценки для определения рабочих характеристик метода. Метод считается валидированным, когда «испытатель» подтвердил посредством объективных свидетельств и оценки этих экспериментов, что метод соответствует его предполагаемому использованию (соответствует цели).

Два из этих параметров — точность и аккуратность.

Результатом валидации является решение относительно средств управления, которые необходимо ввести, чтобы гарантировать, что метод остается действительным.

Существуют различные методологии, позволяющие определить валидность содержания теста или инструмента. Некоторые авторы заявляют, что в них входят результаты тестирования, мнение специалистов, когнитивные интервью и оценка экспертов. Других выполняют статистический анализ с различными «формулами. Качественные данные получаются благодаря таким методам как:

• Экспертная комиссия

Это методология, которая позволяет определить валидность инструмента с помощью группы экспертов для каждой из областей науки, которые должны быть рассмотрены в инструменте оценки, которые должны проанализировать, как минимум, согласованность пунктов с цели курсов, сложность заданий и оцениваемые когнитивные способности. Эта методология наиболее часто используется для проверки содержимого.

• Когнитивное интервью

Это метод, требующий от участников мысли вслух при выполнении требуемой деятельности. Полученный рассказ записывается для последующей расшифровки и анализа.

Для лучшего результата в отношении валидности содержания предлагается использовать более одной методологии, чтобы дополнять их, тем самым повышая строгость процесса.

Содержание

• 1 Специфика психологического эксперимента
• 2 Общие сведения 2.1 Основная задача экспериментального исследования
• 2.2 Валидность в психологическом эксперименте

3 Виды экспериментов

• 3.1 В зависимости от способа проведения

3.2 В зависимости от этапа исследования 3.3 В зависимости от уровня осознанности 4 Организация эксперимента

• 4.1 Безупречный эксперимент

4.2 Взаимодействие между экспериментатором и испытуемым 4.2.1 Инструкция испытуемому 4.2.2 Проблема выборки 5 Этапы психологического эксперимента 6 Преимущества эксперимента как метода исследования 7 Критика экспериментального метода 8 Источники 9 Рекомендуемая литература 10 Известные психологические эксперименты 11 Методы контроля 12 См. также

Виды экспериментов[править]

В зависимости от способа проведения

Выделяют главным образом три вида экспериментов:

• Лабораторный эксперимент
• Полевой, или естественный эксперимент
• Формирующий, или психолого-педагогический эксперимент

В зависимости от уровня осознанности

В зависимости от уровня осознанности эксперименты также можно разделить на

• те, в которых испытуемому даются полные сведения о целях и задачах исследования,
• те, в которых в целях эксперимента некоторая информация о нём от испытуемого утаивается или искажается (например, когда необходимо, чтобы испытуемый не знал об истинной гипотезе исследования, ему могут сообщить ложную),
• и те, в которых испытуемому неизвестно о целях эксперимента или даже о самом факте эксперимента (например, эксперименты с привлечением детей).