Надёжность и валидность психодиагностических методик

Надёжность и валидность психодиагностических методик Реферат

Надежность и валидность

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В результате появилась возможность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических методик относятся надежность и валидность. Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были разработаны как формально-логический, так и математико-статисти-ческий аппарат (прежде всего, корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рассмотрения надежности методик.

Надежность

В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Как пишет А. Анастази [ 10, т. 1 ], вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу — 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том, и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Таким образом, можно сказать, что надежность методики — это такой критерий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений. Была сделана попытка составить классификацию таких факторов. Среди них наиболее часто называются следующие:

  • 1) нестабильность диагностируемого свойства;
  • 2) несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания, как методику предъявлять испытуемым, и т. д.);
  • 3) меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т. д.);
  • 4) различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т. д.);
  • 5) колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утомление и т. д.);
  • 6) элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми, порядок предъявления заданий и т. д. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.

На характеристику надежности методик большое влияние оказывает исследуемая выборка. Она может как снижать, так и завышать этот показатель, например, надежность может быть искусственно завышена, если в выборке небольшой разброс результатов, т. е. если результаты по своим значениям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изменения ранговых мест испытуемых будут незначительными, и, следовательно, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от друга результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делается описание выборки, на которой определялась надежность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т. е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т. п. Для каждой такой выборки приводятся свои коэффициенты надежности. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяется к выборке, отличающейся от той, на которой проверялась ее надежность, то эта процедура должна быть проведена заново.

Так как надежность отражает степень согласованности двух независимо полученных рядов показателей, то математико-статистический прием, с помощью которого устанавливается надежность методики — это корреляции (по Пирсону или Спирмену). Надежность тем выше, чем ближе полученный коэффициент корреляции подходит к единице, и наоборот.

В данной книге при описании видов надежности основной упор делается на работы К. М. Гуревича [30-33], который, проведя тщательный анализ зарубежной литературы по этой проблеме, предложил толковать надежность как комплексную характеристику, включающую:

¦ надежность самого измерительного инструмента;

¦ стабильность изучаемого признака;

¦ константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначить следующим образом:

¦ показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности;

¦ показатель, характеризующий стабильность измеряемого свойства — коэффициентом стабильности;

¦ показатель оценки влияния личности экспериментатора — коэффициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку методики на надежность: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого, при необходимости, заняться критерием константности.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.

Определение надежности измерительного инструмента. От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измерения. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод «расщепления». Обычно задания делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они смогли успеть решить (или попытаться решить) все задания. Если методика однородна, то большой разницы в успешности решения по таким половинкам не будет, и, следовательно, коэффициент корреляции будет достаточно высоким.

Можно делить задания и другим путем. Например, можно сопоставить первую половину теста со второй, первую и третью четверть со второй и четвертой и т. п. Однако «расщепление» на четные и нечетные задания представляется наиболее целесообразным, поскольку именно этот способ наиболее независим от влияния таких факторов, как врабатываемость, тренировка, утомление и пр.

Методика признается надежной, когда полученный коэффициент не ниже 0,75-0,85. Лучшие по надежности тесты дают коэффициенты порядка 0,90 и более.

Определение стабильности изучаемого признака. Определить надежность самой методики — это не значит решить все вопросы, связанные с ее применением. Нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со временем меняется, нет ничего опасного для надежности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что испытуемый по непонятным причинам оказывается то в начале, то в середине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленности измеряемого признака у такого испытуемого нельзя. Таким образом, колебания признака не должны иметь непредсказуемый характер. Если не ясны причины, по которым происходит резкое колебание, то такой признак не может быть использован в диагностических целях.

Для проверки стабильности диагностируемого признака, свойства используется прием, известный под названием тест-ретест. Он заключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или несохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико. Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тестирование проводилось в утренние часы, то и повторное должно быть проведено утром; если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т. д.

Рефераты:  Теплопроводность твердых тел - реферат - скачать бесплатно

При определении стабильности признака большое значение имеет промежуток времени между первым и вторым обследованием. Чем короче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возрастает число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности: если срок между первым и вторым опытом небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы по памяти и, таким образом, отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлений методики уже нельзя рассматривать как независимые.

Трудно четко ответить на вопрос, какой срок можно считать оптимальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она проводится, особенностей выборки испытуемых, должен определить этот срок. При этом такой выбор должен быть научно обоснован. В те-стологической литературе наиболее часто называются временные интервалы в несколько месяцев (но не более полугода). При обследовании детей младшего возраста, когда возрастные изменения и развитие происходят очень быстро, эти интервалы могут быть порядка нескольких недель [10, т. 1].

Коэффициент стабильности методики должен быть достаточно высоким (не ниже 0,80).

Определение константности (относительной независимости результатов от личности экспериментатора). Поскольку методика, разработанная для диагностических целей, не предназначена для того, чтобы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности экспериментатора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указывающими, как проводить эксперимент, однако регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, выражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требованиями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т. п.).

Хотя в тестологической практике критерием константности пользуются нечасто, однако это не может служить основанием для его недооценки. Если у авторов методики возникают подозрения по поводу возможного влияния личности экспериментатора на исход диагностической процедуры, то целесообразно проверить методику по этому критерию. При этом важно иметь в виду следующий момент. Если под воздействием нового экспериментатора все испытуемые в одинаковой степени стали работать немного лучше или немного хуже, то сам по себе этот факт (хотя и заслуживает внимания) на надежность методики не окажет влияния. Надежность изменится лишь тогда, когда воздействие экспериментатора на испытуемых различно: одни стали работать лучше, другие хуже, а третьи так же, как и при первом экспериментаторе. Другими словами, если испытуемые при новом экспериментаторе изменили свои порядковые места в выборке.

Коэффициент константности определяется путем корреляции результатов двух опытов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Итак, были рассмотрены три показателя надежности психодиагностических методик. Может возникнуть вопрос, нужно ли при создании методик осуществлять проверку каждого из них? На этот вопрос следует дать утвердительный ответ.

Так, авторы «Стандартных требований к педагогическим и психологическим тестам» в главе «Надежность» отмечают, что коэффициент надежности — это родовое понятие, включающее в себя несколько видов, и каждый вид имеет свой особый смысл. Разделяет эту точку зрения и К. М. Гуревич [32]. По его мнению, когда говорят о разных способах определения надежности, то имеют дело не с лучшей или худшей мерой, а с мерами разной по существу надежности. В самом деле, чего стоит методика, если не ясно, надежна ли она сама по себе как измерительный инструмент, или не установлена стабильность измеряемого свойства? Чего стоит диагностическая методика, если неизвестно, могут ли изменяться результаты в зависимости от того, кто ведет эксперимент? Каждый в отдельности показатель никак не заменит других способов проверки и, следовательно, не может рассматриваться в качестве необходимой и достаточной характеристики надежности. Только методика, располагающая полной характеристикой надежности, наиболее пригодна для диагностико-практического применения.

Валидность

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» [10, т. 1 с. 126].

Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

¦ при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

¦ при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет:

  • 1) методика называлась валидной, так как то, что она измеряет, просто очевидно;
  • 2) доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет понять испытуемого;
  • 3) методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, очень хорошая.

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Рефераты:  Реферат: Теория и методика физического воспитания -

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации о изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения. Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если опять обратиться к истории развития тестологии [1; 10; 31; 62; 88 и др.], то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. По существу они являлись слепыми пробами.

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. XX в. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на голую эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-практическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности — рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Мак-Кормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа [по 31):

  • 1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);
  • 2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
  • 3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления И т. д.);
  • 4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

¦ он должен быть релевантным;

¦ свободным от помех;

¦ надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности. Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя — коэффициента валидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20-0,30, средним — 0,30-0,50 и высоким — свыше 0,60.

Но, как подчеркивают А. Анастази [10, т. 1], К. М. Гуревич [31] и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К. М. Гуревича [31]: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью — это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель — клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Рефераты:  🕮 Самонаблюдение, Наблюдение, Глава II. Методы психологии. Основы общей психологии. Рубинштейн С. Л. Страница 8. Читать онлайн, Скачать - Bookap.info

Вопросы и задания

  • 1. Дайте определение понятию «стандартизация методик».
  • 2. Что такое репрезентативная выборка? Как она строится?
  • 3. Назовите приведенные в главе критерии оценки результатов диагностических испытаний.
  • 4. Что такое надежность методики? Назовите виды надежности.
  • 5. Что такое валидность методики? Назовите ее основные виды.

Рекомендуемая литература

  • 1. Анастази А. Психологическое тестирование: В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. Кн. 1. — М., 1982.
  • 2. Бурлачук Л. Ф. Психодиагностика. — СПб., 2003.
  • 3. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологической диагностике. — Киев, 1989.
  • 4. Гайда В. К., Захаров В. П. Психологическое тестирование. — Л., 1982.
  • 5. Гуревич К. М. О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии. Т. 6. — М., 1969.
  • 6. Гуревич К. М. Надежность психологических тестов // Психологическая диагностика. Ее проблемы и методы. — М., 1975.
  • 7. Гуревич К. М. Статистика — аппарат доказательства психологической диагностики // Проблемы психологической диагностики. — Таллин, 1977.
  • 8. Гуревич К. М. Что такое психологическая диагностика. — М., 1985.
  • 9. Гуревич К. М. Проблемы дифференциальной психологии. — М.; Воронеж, 1998.
  • 10. Носс И. Н. Введение в технологию психодиагностики. — М., 2003.
  • 11. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина. — М., 1987.
  • 12. Основы психодиагностики / Под ред. А. Г. Шмелева. — Ростов н/Д, 1996.

Надежность и валидность теста — психология

Первоначальный набор суждений, использованных для построения теста (первичная форма), состоял из 47 самооценок индивидом сво­его психического состояния, с известной долей условности рассмат­ривавшихся как симптомы.

Выделение последних осуществлено на основе анализа психиатрической литературы и концепции предбо-лезненных психических расстройств таким образом, чтобы этот на­бор в достаточной мере отражал «движения» индивида от абсолют­ной нормы к болезненному расстройству.

Выбор симптомов в качестве индикаторов нервно-психической адаптации индивида основан на подходе, выдвинутом еще В.

Гризингером, который утверждал, что диагностическое значение имеют не столько сами симптомы, сколько их истолкование наблюдателем.

Применительно к формализованной психодиагностической процедуре получается: значение симптома в составе теста может не совпа­дать с его клиническим значением и фактически полностью определяется показателями надежности и валидности.

Для приближения формулировок симптомов к языковому опыту респондентов первичная форма теста была апробирована в пилотажном исследовании, охватившем 31 работника объединения (квотная выборка по полу, возрасту и образованию).

Чтобы оценить весь круг необходимых характеристик надежности и валидности теста, была использована исследовательская выборка объемом в 60 человек — пациентов дневного стационара и ночного профилактория клиники Института.

Дискриминативность тестовых суждений. В данной процедуре она соотносится с наличием или отсутствием существующего в действительности нервно-психического заболевания.

Поэтому коэффициенты дискриминации рассчитывались по результатам нсследовательской выборки, где болезнь была клинически верифицирована, а «правильными» считались ответы о наличии симптомов, отличные от нуля, «неправильными» — равные нулю.

Коэффициенты дискриминации, отражающие меру соответствия между ответом на один вопрос и ответами на все вопросы теста, по всем шкалам окончательной формы высоки и приближаются к 1. Таким образом, шкалы окончательной формы теста обладают высокой способностью разделять лиц с высокой и низкой «сырой» оценкой, а тест имеет значительную «внутреннюю» валидность.

Надежность теста. Она определялась путем расчета соответсвующих статистических показателей по результатам деления первичной формы теста на две части с критическим значением коэффи­циента дискриминации, равным 0,85. Коэффициенты надежности определялись по формуле Фланагана; практически для всех симпто­мов окончательной формы теста они высоки.

Валидность по содержанию. Устанавливалась при помощи лич­ностных тестов — MMPI (основные шкалы), теста Кеттелла (форма С)[3] и теста Айзенка (форма А).

Полученные коэффициенты валид­ности выявили значительную опосредованность линейных корреля­ций признаков друг другом.

Поэтому для определения валидности по содержанию был применен факторный анализ (метод главных ком­понент, с ротацией), т. е. этот вид валидности представлен фактор­ной валидностью.

Валидность по критерию. Критерием валидности теста выступа­ла врачебная оценка психического состояния пациентов, вошедших в исследовательскую выборку. Психиатрическая квалификация состояния больных, находящихся на лечении, верифицировалась в условиях клиники Института, поэтому такая оценка выступает как экспертная.

  • Методика оценки была формализованной, использовалась специ­ально разработанная «Карта врачебной оценки». Параметрами оцен­ки были следующие 12 психопатологических радикалов:
  • • шизоидия;
  • • мания;
  • • депрессия;
  • • эпилептоидность;
  • • паранойя (включая параноидию и парафрению);
  • • эксплозивность;
  • • «органичность»;
  • • астения;
  • • истерия;
  • • неврастения;
  • • ананкастия;
  • • деменция (включая малоумие).
  • Оценка давалась по шкале:
  • 1. — полностью отсутствует;
  • 2. — слабо выражено, присутствует в виде кратковременных эпизодов, незначительных нарушений, изменений; определенно не тре­бует психиатрической помощи;
  • 2— выражено заметно, является относительно постоянным фоном основного состояния либо присутствует в форме очерченных кли­нических состояний; само по себе может не вызывать потребно­сти в психиатрической помощи;
  • 3— выражено на уровне развернутой клинической симптоматики, наряду с другими проявлениями характеризует болезненное пси­хопатологическое состояние; определенно требует психиатриче­ской помощи — амбулаторной или в дневном стационаре;
  • 4— выражено ярко, характеризует патологию значительной тяжести, в наибольшей мере определяет клиническое состояние; требует помощи, как правило, в условиях закрытого пспхиатрического стационара.

Большинство радикалов, как показало предварительное обсуждение, понимались врачами одинаково. Трактовавшиеся неоднозначно были подробно описаны в «Инструкции по заполнению карты». По­лученный «профиль» врачебной оценки коррелировал (коэффици­енты линейной корреляции Пирсона) с результатами заполнени первичной формы теста.

Конструктная валидность.Она рассматривалась как соответствие вы деленных симптомов в их связи с показателями по валидизирующи методикам теоретическим психиатрическим взглядам. Симптомы, имею щие высокую внутреннюю и внешнюю валидность по формальны признакам, но противоречащие признанным общепсихиатрическим нозографическим концепциям, отбраковывались.

Ситуационная валидность.Оценивалась путем наблюдения за реакциями респондентов в процессе заполнения первичной форм] теста на стандартизационой выборке. Некоторые суждения (симш мы), адекватно воспринимавшиеся в терапевтической ситуации ст/с ционара или амбулаторного приема, вызывали негативные реакции популяции и были исключены.

Диагностическая валидность.Определялась непосредственно на м териале клинического обследования 78 имеющих психиатричес симптомы представителей популяции. Она равна 0,69.

Таким образом, приведенные данные о надежности и валидное™ теста позволяют сказать, что его применение в качестве диагностиче­ского инструмента вполне обоснованно.

Применение

Интерпретация результатов. Данные объясняются на основе подхода, выдвинутого Ю. А. Александровским, согласно которому ослабление адаптационной психической деятельности клинически выражается в психопатологических образованиях, наблюдаемых при пограничных формах нервно-психических расстройств.

Содержащие­ся в этой группировке категории идеальной и типологической нормы, включающей конституциональную норму и акцентуации, объедине­ны в одну — «здоровье», а категория болезни объединена с вероят­но болезненным состоянием, поскольку названные крайние гра­дации континуума могут быть корректно диагностированы только клиническим методом.

  1. Приводим величины r-оценок границ категорий полученной мно­гомерной шкалы:
  2. здоровье — -1,80 и менее;
  3. оптимальная адаптация — от -1,79 до -1,04;
  4. непатологическая психическая дезадаптация — от -1,03 до 0,77;
  5. патологическая психическая дезадаптация — от 0,78 до 1,80;
  6. вероятно болезненное состояние — 1,81 и выше.
  7. Таким образом, результаты интерпретации тестовой оценки ин­дивида определяют его место на континууме нервно-психической адаптации.

Ограничения и противопоказания для применения.К противо­показаниям для применения теста относятся состояния выраженного слабоумия обследуемого и нервно-психические расстройства преимущественно психотического регистра.

Ограничения в применении теста накладываются тем, что он обна­руживает состояния нервно-психической дезадаптации, инициально развивающиеся по общеневротическому пути, однако фиксирует начальные формы дезадаптации, возникающей по алкогольному и психо-соматическому путям, где только на более поздних стадиях происхо­дит «обрастание» психиатрической симптоматикой. Для этих целей нервно-психической дезадаптации тест нуждается в оснащении до­полнительными шкалами.

В заключение необходимо подчеркнуть, что тест является достаточ­но высоко обоснованным инструментом диагностики именно уровня нервно-психической адаптации, т. е.

отражает формулируемую в по­нятиях психопатологии количественную сторону процесса адаптации.

Тест не может рассматриваться и применяться в качестве инструмен­та клинической диагностики, поскольку интерпретация результатов его выполнения не предусматривает какой-либо нозологической или синдромологической трактовки состояний дезадаптации.

Контрольные вопросы

1. Чем объясняется необходимость многоэтажных скрининговых процедур при оценке нервно-психического здоровья популяции?

2. Определите сходство и различие понятий нервно-психической и социально-психологической адаптации.

3. Каковы ограничения в применении шкал нервно-психологиче­ской адаптации в популяции?

Рекомендуемая литература

Аванесов В. С. Тесты в социологическом исследовании. М: Наука,1982.

Александровский Ю. А. Состояния психической дезадаптации и их компенсация: Пограничные нервно-психические расстройства. М. Наука, 1976.

Анастази А., Урбипа С. Психологическое тестирование. 7-е изд. СП.Питер, 2003.

Гайда В. К., Захаров В. П. Психологическое тестирование: Учебное пособие. Л.: Изд-во ЛГУ, 1982.

Гризишер В. Душевные болезни. СПб., 1867.

Клшер С. А., Косолапое М. С, Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М.: Наука, 1978.

Семичов С. Б. Группировка состояний психического здоровья // Предболезнь и факторы повышенного риска в психоневрологии. Л.,1986. С. 8-17.

Семичов С. Б. Предболезненные психические расстройства. Л.: Meдицина, 1987.

Часть III

Личность

Оцените статью
Реферат Зона
Добавить комментарий