Эффект тест: 8-я Всероссийская метапредметная Олимпиада по ФГОС «Новые знания» для учащихся 2-4-х классов

АБ-тест от датских ученых на эффект от ношения масок от коронавируса (SARS-CoV-2)

АБ-тест от датских ученых на эффект от ношения масок от коронавируса (SARS-CoV-2) — Алексей Чернобровов

Хочется рассказать о том, что бывает, когда не все понимают, как проводить АБ-тест и интерпретировать его результаты.

Датские (не Британские) ученые провели эксперимент целью которого было оценить, снижает ли рекомендация использования хирургической маски вне дома риск заражения носителями коронавирусом (SARS-CoV-2) [1].

В общей сложности 3030 участников носили маски, а 2994 не носили. 4862 человек от общего количества дошли до конца в этом исследовании.

Итоги теста:

• 42 из 2333 (1,8%) заболели среди тех, кто носил маску
• 53 из 2529 (2,1%) заболели среди тех, кто не носил маску

Какой вывод сделали ученые? На уровне статистической значимости p=0.05 разницы нет. Что в целом, совершенно, верно.

Это исследование сразу начали репостить все кому не лень, формулирую это примерно так: «Можно не носить маску. Разницы никакой нет». Об это подробно рассказала Медуза [2].

Теперь давайте разберемся с двумя вопросами, связанными с этим АБ-тестом:

1. Сколько нужно было бы участников эксперимента, при условии, что сохранятся коэффициенты 1,8% и 2,1%, чтобы исследование было статистически значимым?

Примерно, в 5 раз больше! Т.е. по 11900 в каждую группу дошедших до конца теста. Или с учетом того, что не все доходили до конца теста примерно по 15000 в каждую группу.

2. А какую вообще можно было замерить разницу на таком размере выборки, чтобы она была стат. значимой (на уровне p=0.05)?

В Дании на начало эксперимента ношение масок было редкостью и не входило в число рекомендуемых мер общественного здравоохранения [1]. Поэтому логично предположить, что можно было получить хорошую оценку второй группы (2,1%). Следовательно, в первой группе минимальное значение должно было быть 1,45% (вместо 1,8%), чтобы можно было сказать, что есть стат. значимая разница. Но если бы это было верно, то это бы означало, что в среднем вероятность заразиться коронавирусом при ношении маски снижается почти на 30%. Такое предположение выглядит довольно фантастичным, на мой взгляд.

Какие выводы можно сделать? К сожалению, до сих пор не все могут хорошо спланировать АБ-тест. А проведение АБ-теста на маленьких выборках почти гарантированно приводит к результату «На уровне статистической значимости p=0.05 разницы нет.» Что в свою очередь часто означает, что была выборка недостаточного объема, поэтому нельзя принять решение. А не то, что между ними действительно нет разницы.

Для того, чтобы провести АБ-тест нужно, как минимум иметь предположение на возможный эффект и исходя из него вычислять выборку, на которой проводить эксперимент. В противном случае скорее всего проведение АБ-теста не даст никакой новой информации.

Источники

1. https://www.acpjournals.org/doi/10.7326/M20-6817
2. https://meduza. io/feature/2020/11/25/bolshoe-issledovanie-v-danii-pokazalo-chto-maski-ne-ochen-to-zaschischayut-ot-koronavirusa-i-kak-eto-ponimat

+7 925 4637688

Чем является и чем не является эффект Даннинга-Крюгера / Хабр

В последнее время многие ссылаются на эффект Даннинга-Крюгера с целью представить своих оппонентов в качестве некомпетентных и глупых людей. Однако проблема состоит в том, что большинство упоминающих этот эффект на самом деле не понимает, что он собой представляет. Поэтому я решил написать краткий обзор, опирающийся на научные данные, и прояснить этот вопрос.

Научная работа Даннинга и Крюгера 1999 года

Начнём с самого начала. В 1999 году Джастин Крюгер и Дэвид Даннинг провели некий психологический эксперимент. Учёные предложили студентам несколько тестов на логическое мышление, грамматику и чувство юмора, а затем попросили их об оценке собственных способностей и того, насколько хорошо студенты справились с тестами [1].

Так выглядят графики с результатами из научной статьи Даннинга и Крюгера:

Линии с квадратами означают самооценку способностей (англ. perceived ability), с треугольниками — самооценку выполнения теста (англ. perceived test score), а с кругами — реальный уровень способностей, который показали тесты (англ. actual test score).

Крюгер и Даннинг интерпретировали эти результаты следующим образом: некомпетентные люди имеют склонность переоценивать свои способности, тогда как высококвалифицированные люди склонны занижать свою самооценку. Учёные также выдвинули гипотезу, что так происходит потому, что некомпетентные люди не осознают низкого уровня своих способностей, и по этой причине они не в состоянии правильно оценить уровень способностей ни у себя, ни у других.

Как эффект Даннинга-Крюгера понимают многие неспециалисты

У большинства людей, которые что-то прочитали об эффекте Даннинга-Крюгера в интернете, он ассоциируется не с настоящими графиками из научной статьи, а с чем-то наподобие этого рисунка:

Что с ним не так? В общем-то, всё. Во-первых, он не имеет никакого отношения к оригинальным данными и попросту вымышлен. Во-вторых, этот рисунок предполагает, что некомпетентные люди считают себя более компетентными, чем эксперты. Однако ничто в исследовании Крюгера и Даннинга на это не указывает, и сами учёные никогда ничего подобного не утверждали.

Взгляните ещё раз на графики из статьи Крюгера и Даннинга. На них чётко видно, что да, некомпетентные люди считают себя значительно более компетентными, чем на самом деле, но, тем не менее, не считают себя настолько компетентными, как настоящие эксперты. Другими словами, эффект Даннинга-Крюгера указывает на разбежность между самооценкой и реальным уровнем способностей, а не на то, что кто-то настолько высокомерен, что, не зная практически ничего, считает себя экспертом. Разумеется, такие люди существуют, но их мало, и в исследовании Крюгера и Даннинга речь шла не о них.

Чем на самом деле является эффект Даннинга-Крюгера?

Есть однако более серьёзная проблема. Более поздние исследования показали, что полученные Крюгером и Даннингом данные являются результатом статистического явления, называемого возвратом к среднему и когнитивного искажения, называемого иллюзорным превосходством [2][3].

Возврат к среднему (англ. regression toward the mean) — это статистическое явление, которое заключается в том, что крайние результаты имеют тенденцию возвращаться к среднему значению. Простой пример: дети очень высоких родителей обычно тоже высокого роста, но всё же ниже родителей; аналогично, дети очень низких родителей обычно тоже низкого роста, но всё же выше родителей — другими словами, они оказываются ближе к среднему в популяции значению. В контексте эффекта Даннинга-Крюгера это означает, что студент с крайним результатом теста (то есть очень глупый или очень умный) вряд ли окажется крайним и в вопросе самооценки.

Иллюзорное превосходство (англ. illusory superiority) — это хорошо документированное когнитивное искажение, заключающееся в том, что мы склонны переоценивать свои способности и черты в сравнении с другими людьми. Известный пример из исследования Оли Стивенсона, касающегося американских водителей: 93% из них считают, что относятся к 50% популяции, которая водит автомобиль лучше другой половины, а 46% уверено, что они находятся среди 20% лучших водителей [4]. Другой пример: 87% студентов Stanford MBA сочло, что с точки зрения успеваемости они принадлежат к лучшей половине студентов [5]. В этом смысле не отличаются от студентов и преподаватели: в опросе, проведённом среди преподавательского состава Университета Небраски 90% опрошенных оценило себя выше среднего уровня, а 68% было уверено, что они принадлежат к 25% лучших преподавателей [6].

Выводы

Многое указывает на то, что эффект Даннинга-Крюгера как отдельное психологическое явление просто не существует — он является сочетанием возврата к среднему и иллюзорного превосходства [2][3]. Это означает, что предложенное Крюгером и Даннингом объяснение не столько ошибочно, сколько попросту избыточно. Во-первых, некомпетентные люди не считают себя более компетентными, чем эксперты (впрочем, сами Даннинг и Крюгер этого и не утверждали). Во-вторых, некомпетентные люди не являются самыми самоуверенными — на самом деле все люди, в том числе эксперты, такие.

Литература

1. Justin Kruger, David Dunning, Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments

2. Joachim Krueger, Ross A. Mueller, Unskilled, Unaware, or Both? The Better-Than-Average Heuristic and Statistical Regression Predict Errors in Estimates of Own Performance

3. Gilles E. Gignaca, Marcin Zajenkowski, The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data

4. Ola Svenson, Are We All Less Risky and More Skillful than our Fellow Drivers?

5. Ezra W. Zuckerman, John T. Jost, What Makes You Think You’re so Popular? Self-Evaluation Maintenance and the Subjective Side of the «Friendship Paradox»

6. K. Patricia Cross, Not can, but will college teaching be improved?

Что такое эффект тестирования и как вы можете применить его в своем подходе к обучению?

Эффект тестирования является жизненно важной стратегией для облегчения сохранения информации вашими учениками. Это также известно как практика поиска, и исследует способы, с помощью которых вы, как педагог, можете гарантировать, что ваши ученики смогут запоминать идеи и информацию в долгосрочной перспективе.

Как учитель, вы несете ответственность за то, чтобы разработанные вами курсы способствовали более эффективному обучению  от ваших учеников. Вам нужно задать вопрос: как вы учитесь – разговор, который немногие педагоги заводят со своими учениками.

Эффект тестирования был подробно изучен в ходе учебного эксперимента, который был опубликован Karpicke and Blunt в 2011 году.

В ходе эксперимента для чтения был представлен короткий отрывок текста, и были разработаны три стратегии для методов исследования.

Стратегия 1:  Учащиеся читают отрывок в течение пяти минут, после чего заканчивают.

Стратегия 2:  Учащиеся читают отрывок в течение пяти минут. Затем они делают небольшой перерыв перед повторным чтением отрывка. Они повторяют это еще дважды, так что в итоге они прочитали отрывок четыре раза.

Стратегия 3:  Учащийся читает отрывок в течение пяти минут. Затем они откладывают текст в сторону и проводят десять минут, записывая все, что могут вспомнить, на чистом листе бумаги. Они повторяют эту стратегию — снова читают отрывок в течение пяти минут и еще десять минут записывают то, что запомнилось, на чистый лист бумаги.

Через неделю после попытки изучения отрывка учащимся было задано два вопроса.

Во-первых, их попросили вспомнить идеи из отрывка, который они прочитали неделю спустя. Стратегия 3 оказалась наиболее эффективной.

Второй вопрос был фактическим. Вместо вопросов на вывод студентов просили применить полученные знания в новых ситуациях.

Стратегия 3, доказывающая, что такой подход не только обеспечивает более эффективное запоминание, но и позволяет учащимся применять свои знания в новых контекстах, что является конечной целью обучения.

Он позволяет учащимся применять свои знания в новых условиях – конечная цель обучения.

Наша долговременная память имеет практически неограниченный объем. Но для того, чтобы использовать информацию, которую мы храним в нашей долговременной памяти, необходимо вспомнить или восстановить ее.

Каждый раз, когда вы извлекаете информацию, вы создаете новые связи между синапсами в вашем мозгу , укрепляя связи и консолидируя воспоминания. Это, в свою очередь, упрощает доступ к информации в будущем.

Недостаточно, чтобы ваши ученики читали информацию и предполагали, что они понимают и помнят, что они съели. То же самое относится и к лекции — прослушивание не является синонимом мастерства.

Умение слушать не является синонимом мастерства.

Хотя чтение и перечитывание может способствовать немедленному воспроизведению и создавать иллюзию мастерства, для более длительного запоминания вам также необходимо иметь возможность извлекать информацию.

Вопрос остается,  Как вы применяете эту стратегию к своему собственному курсу?  

Подробнее:

 Последнее обновление: август 2020 г.

Расширенное тестирование обучения: использование практики поиска, чтобы помочь учащимся учиться | Center for Teaching

По сути, обучение с использованием тестов — это идея о том, что процесс запоминания понятий или фактов — извлечение их из памяти — способствует долговременному запоминанию этих понятий или фактов. Эта идея, также известная как эффект тестирования, основана на множестве исследований, изучающих способность различных типов «тестов» — подсказок, способствующих припоминанию, — способствовать обучению по сравнению с изучением. Это одно из наиболее последовательных открытий в когнитивной психологии (Roediger and Butler, 2011; Roediger and Pyc, 2012).

В некотором смысле термины «обучение, дополненное тестами» и «эффект тестирования» являются неправильными, поскольку использование слова «тесты» вызывает понятия о высокоуровневых суммативных оценках. На самом деле, большинство или все исследования, объясняющие эффект тестирования, исследуют влияние низкоуровневой практики припоминания на отсроченную итоговую оценку. «Тестирование», которое на самом деле улучшает обучение, — это низкоуровневая практика поиска, сопровождающая обучение в этих экспериментах.

Учитывая это предостережение, эффект тестирования может стать мощным инструментом, который можно добавить в наборы учебных пособий для инструкторов и обучающих наборов для учащихся.

В этом учебном пособии мы приводим шесть наблюдений о влиянии тестирования из литературы по когнитивной психологии, резюмируя одно или два ключевых исследования, которые привели к каждому из этих выводов. Мы выбрали исследования, проведенные со студентами, изучающими учебные материалы (например, текстовые отрывки, а не пары слов). Мы также предлагаем способы реализации расширенного обучения с помощью тестов в вашем классе, а также важные предостережения, о которых следует помнить.

Это и другие исследования показывают, что несколько форматов вопросов могут принести пользу, связанную с тестированием. Похоже, что контекст может определять, какой тип вопросов дает наибольшую пользу: вопросы со свободным воспоминанием, вопросы с множественным выбором, гибридные вопросы со свободным воспоминанием / множественным выбором и вопросы с подсказкой-воспоминанием — все они обеспечивают значительное преимущество по сравнению с одним только изучением. Наиболее влиятельные исследования в этой области показывают, что свободное припоминание дает больше преимуществ, чем другие типы вопросов (см. Pyc et al., в печати), но результаты, описанные здесь, показывают, что вопрос не получил неполного ответа.

3. Обратная связь увеличивает преимущества тестирования.

Значительная работа была проделана для изучения роли обратной связи в эффекте тестирования. Батлер и Редигер разработали эксперимент, в котором студенты изучали 12 исторических отрывков, а затем проходили тесты с несколькими вариантами ответов в лабораторных условиях (Батлер и Редигер, 2008). Учащиеся либо не получали обратной связи, либо получали немедленную обратную связь (т. е. после каждого вопроса), либо отсроченную обратную связь (т. е. после завершения теста из 42 пунктов). Неделю спустя студенты вернулись для комплексного теста на запоминание сигналов. Хотя простое заполнение вопросов с несколькими вариантами ответов после прочтения отрывков улучшило результаты финального теста, что соответствует другим отчетам об эффекте тестирования, обратная связь дала дополнительное преимущество (см. рис. 5). Интересно, что отсроченная обратная связь привела к более высокой итоговой производительности, чем немедленная обратная связь, хотя оба условия показали преимущества по сравнению с отсутствием обратной связи.

4. Обучение не ограничивается механической памятью.

Преподаватели могут опасаться использования тестирования в качестве стратегии преподавания и обучения, поскольку оно может стимулировать механическую память. В то время как большинство преподавателей признают, что память играет роль в том, чтобы позволить учащимся хорошо работать в своей академической области, они хотят, чтобы их ученики могли делать больше, чем просто запоминать и понимать факты, но вместо этого достигать более высоких когнитивных результатов (Блум, 19). 56). Некоторые исследования обращаются к этой проблеме и сообщают о результатах, предполагающих, что тестирование дает преимущества, помимо улучшения простого запоминания. Например, в исследовании Smith and Karpicke (2014), описанном выше, определялось влияние тестирования на припоминание учащимися конкретных фактов из прочитанных отрывков, а также на их способность отвечать на вопросы, требующие вывода. В этих исследованиях авторы определяли умозаключения как выводы, которые не были прямо сформулированы в отрывках, но которые можно было сделать путем синтеза множества фактов в отрывках 9.0036 . Исследователи заметили, что тестирование после чтения улучшило способность учащихся отвечать на оба типа вопросов в отсроченном тесте, тем самым продемонстрировав, что преимущества тестирования не ограничиваются ответами, которые требуют только механического запоминания.

Карпик и Блант в исследовании 2011 года стремились напрямую ответить на вопрос о том, может ли практика припоминания способствовать повышению успеваемости учащихся в когнитивной деятельности более высокого порядка. Они исследовали влияние практики поиска на изучение студентами научных понятий на уровне бакалавриата, сравнивая эффекты практики поиска с методом уточнения, картированием понятий (Karpicke and Blunt, 2011). В одном эксперименте студенты изучали научный текст, а затем были разделены на одно из четырех условий: условие однократного изучения, в котором они больше не взаимодействовали с понятиями в тексте; условие повторного изучения, при котором они изучали текст еще четыре раза; условие уточняющего исследования, в котором они изучали текст еще раз, обучались отображению понятий и составляли карту понятий из текста; условие практики припоминания, в котором они прошли бесплатный тест на припоминание, за которым следовал дополнительный период обучения и тест на припоминание (см. Рисунок 6). Всем учащимся было предложено выполнить самооценку, предсказывающую их припоминание в течение одной недели; студенты в группе повторного исследования предсказали лучшее запоминание, чем студенты в любой из других групп. Затем через неделю учащиеся вернулись для прохождения теста с краткими ответами, состоящего из вопросов, на которые можно было ответить дословно из текста, и вопросов, требующих выводов из текста. Учащиеся в условиях практики поиска показали значительно лучшие результаты как в дословных вопросах, так и в вопросах на вывод, чем учащиеся в любой другой группе. Затем авторы спросили, сохранятся ли эти результаты, сохранится ли преимущество практики поиска, если окончательный тест будет состоять из упражнения по картированию понятий (см. рис. 7). Авторы заметили, что практика поиска дала лучшие результаты, чем детальное исследование с использованием картирования понятий в обоих типах итоговых тестов (картирование кратких ответов и картирование понятий). Когда они изучили влияние на отдельных учащихся, они обнаружили, что 84% (101/120) учащихся лучше справлялись с заключительными тестами, когда они использовали практику поиска в качестве стратегии обучения, а не картографирование понятий.

5. Тестирование может способствовать дальнейшему изучению .

Wissman, Rawson и Pyc сообщили о работе, которая предполагает, что практика поиска в одном наборе материала может облегчить изучение более позднего материала, который может быть связан или не связан (Wissman, Rawson, and Pyc, 2011). В частности, они исследовали использование «промежуточных тестов». Студентам бакалавриата было предложено прочитать три части текста. В группе «промежуточного теста» их тестировали после прочтения каждого из первых двух разделов, в частности, печатая все, что они могли вспомнить о тексте. После выполнения промежуточного теста они были переведены на следующий раздел материала. Группа «без промежуточного теста» прочитала все три раздела без промежуточных тестов. Обе группы были протестированы на Разделе 3 после его прочтения. Интересно, что группа, прошедшая промежуточные тесты по разделам 1 и 2, вспомнила примерно в два раза больше «единиц идей» из раздела 3, чем учащиеся, не прошедшие промежуточные тесты. Этот результат наблюдался как тогда, когда разделы 1, 2 и 3 были посвящены разным темам, так и когда они были посвящены связанным темам. Таким образом, тестирование может иметь преимущества, выходящие за рамки целевого материала.

6. Похоже, что преимущества тестирования распространяются и на классную комнату.

Все отчеты, описанные выше, касались экспериментов, проведенных в лабораторных условиях. Кроме того, есть несколько исследований, которые предполагают, что преимущества тестирования могут также распространяться на классную комнату.

В 2002 году Лиминг использовал подход «экзамен в день» для преподавания вводного курса психологии (Leeming, 2002). Он обнаружил, что студенты, которые сдавали экзамен каждый день, а не экзамены, охватывающие большие блоки материала, набрали значительно более высокие баллы на тесте на запоминание, проводимом в конце семестра.

На дидактической конференции Ларсен, Батлер и Редигер спросили, наблюдался ли эффект тестирования при изучении ординаторами эпилептического статуса и миастении, двух неврологических расстройств (Larsen et al. , 2009). В частности, резиденты участвовали в интерактивном занятии по двум темам, а затем были случайным образом разделены на две группы. Одна группа изучила обзорный лист по миастении и прошла тест на эпилептический статус, в то время как другая группа прошла тест по миастении и изучила обзорный лист по эпилептическому статусу. Через полгода резиденты выполнили тест по обеим темам. Авторы заметили, что условия тестирования дали окончательные результаты теста, которые в среднем на 13% выше, чем условия исследования.

Лайл и Кроуфорд исследовали влияние практики поиска на обучение студентов на уроках статистики бакалавриата (Лайл и Кроуфорд, 2011). В одном разделе курса студентам было предложено потратить последние 5–10 минут каждого урока, отвечая на два-четыре вопроса, которые требовали от них извлечения информации о дневной лекции по памяти. Студенты этого раздела курса показали на экзаменах примерно на 8% больше результатов в течение семестра, чем студенты разделов, в которых не использовался метод повторной практики, что является статистически значимой разницей.

Другие классные исследования были опубликованы McDaniel, Wildman и Anderson (2012), Orr and Foster (2013) и Stanger-Hall и коллеги (2011).

Почему это эффективно?

Несколько гипотез были предложены для объяснения эффектов тестирования. Гипотеза усилий по поиску предполагает, что усилия, затраченные на поиск, приносят пользу при тестировании (Gardiner, Craik, and Bleasdale, 1973). Эта гипотеза предсказывает, что тесты, которые требуют получения ответа, а не распознавания ответа, принесут большую пользу, результат, который наблюдался в некоторых исследованиях (Butler and Roediger, 2007; Pyc and Rawson, 2009).), но не другие (Литтл и Бьорк, 2012; некоторые эксперименты Смита и Карпике, 2014; некоторые эксперименты Канга, Макдермотта и Рёдигера, 2007).

Новая теория неиспользования Бьорк и Бьорк предлагает альтернативную гипотезу, объясняющую преимущества тестирования (Бьорк и Бьорк, 1992). Эта теория утверждает, что память состоит из двух компонентов: силы хранения и силы извлечения. События припоминания улучшают память, улучшая общую память, и эффекты наиболее выражены в момент забывания, то есть припоминание в момент забывания оказывает большее влияние на память, чем повторное припоминание, когда сила припоминания высока. Эта теория согласуется с экспериментами, демонстрирующими, что обучение столь же или даже более эффективно, чем тестирование, когда задержка перед окончательным тестом очень короткая (см., например, Roediger and Karpicke 2006), потому что очень короткий промежуток между исследованием и окончательным тестом означает что сила извлечения очень высока — опыт, который многие студенты могут проверить на собственном опыте зубрежки. Однако при большей задержке опыт, укрепляющий способность к запоминанию (например, тестирование), приносит большую пользу, чем обучение.

Как преподаватели могут внедрить расширенное тестирование на своих занятиях?

Есть много способов воспользоваться эффектом тестирования, некоторые во время занятий, а некоторые вне его. Ниже приведены несколько предложений.

• Включение частых опросов в структуру класса может способствовать обучению учащихся. Эти викторины могут состоять из вопросов с кратким ответом или с несколькими вариантами ответов и могут проводиться онлайн или лично. Исследования, изучающие эффект тестирования, показывают, что предоставление учащимся возможности попрактиковаться в поиске — и, в идеале, обеспечение обратной связи по ответам — улучшит усвоение целевого, а также связанного с ним материала.
• Предоставление «обобщающих баллов» во время урока, чтобы побудить учащихся вспомнить и сформулировать ключевые элементы урока. В исследовании Лайла и Кроуфорда изучалось влияние просьб студентов записывать основные моменты дневного урока в течение последних нескольких минут классного собрания, и наблюдалось значительное влияние на запоминание учащимися в конце семестра (Лайл и Кроуфорд, 2011). Выделение последних нескольких минут занятия для того, чтобы попросить учащихся вспомнить, сформулировать и систематизировать свою память о содержании дневного занятия, может значительно улучшить их последующую память на эти темы.
• Предварительное тестирование для выделения важной информации и ожиданий инструктора. Элизабет Лигон Бьорк и ее коллеги сообщили о результатах, свидетельствующих о том, что предварительное тестирование знаний учащихся по предмету может подготовить их к обучению (Литтл и Бьорк, 2011). Проводя предварительное тестирование студентов перед уроком или даже днем ​​обучения, инструктор может помочь предупредить студентов как о типах вопросов, на которые они должны быть в состоянии ответить, так и о ключевых понятиях и фактах, на которые они должны обращать внимание во время обучения. и инструкция.
• Рассказ учащимся об эффекте тестирования . Преподаватели могут помочь своим ученикам развить метакогнитивные способности, поделившись кратким изложением этих наблюдений. Сказав учащимся, что частые опросы помогают обучению — и что эффективные опросы могут принимать различные формы — это может дать им особенно полезный инструмент, который можно добавить в их набор инструментов для обучения (Stanger-Hall et al. , 2011). Добавление потенциальных преимуществ предварительного тестирования может еще больше помочь учащимся взять под контроль собственное обучение, например, используя примеры экзаменов в качестве основы для своего обучения, а не просто в качестве проверки своих знаний перед экзаменом.

Этот список является отправной точкой. Преподаватели должны использовать принципы, лежащие в основе обучения с расширенным тестированием — частые возможности для студентов с низкими ставками попрактиковаться в запоминании — для разработки подходов, которые хорошо адаптированы для их класса и контекста.

На что следует обратить внимание?

Ставки низкие. Термин «тестирование» вызывает у большинства из нас определенную реакцию: человека, которого тестируют, оценивают по его или ее знаниям или пониманию в определенной области, и его оценивают правильно или неправильно, адекватно или неадекватно на основе результатов данный. Это неявное определение не отражает условий, в которых были установлены преимущества «обучения, усиленного тестами». В экспериментах, проводимых в лабораториях когнитивных наук, «тестирование» было просто учебным занятием для студентов; на языке классной комнаты это можно было бы считать формирующей оценкой «без ставок», когда учащиеся могли оценить свою память по определенному предмету. В большинстве исследований в классе «тестирование» представляло собой либо тренировку припоминания без ставок (Larsen et al., 2009; Лайл и Кроуфорд, 2001 г.; Stanger-Hall et al., 2011) или викторины с низкими ставками (McDaniel et al., 2012; Orr and Foster, 2013). Таким образом, термин «практика поиска» может быть более точным описанием деятельности, которая способствовала обучению учащихся. Таким образом, реализация подходов к обучению с расширенным тестированием в классе должна включать в себя сценарии без ставок или с низкими ставками, в которых учащиеся участвуют в вспоминании, чтобы способствовать своему обучению, а не постоянно подвергаются ситуациям тестирования с высокими ставками.

Поделитесь своими целями обучения, чтобы учащиеся поняли свои цели. Важно отметить, что включение тестирования — или практики припоминания — в качестве инструмента обучения в классе должно осуществляться в сочетании с другими методами преподавания, основанными на фактических данных, такими как обсуждение целей обучения с учащимися, тщательное согласование целей обучения с оценками и обучением. деятельности и предлагая возможности практиковать важные навыки. Если вы хотите, чтобы учащиеся могли применять свои знания, анализировать сложные ситуации и обобщать различные точки зрения, обязательно сообщите им, что практика припоминания поможет им усвоить основную информацию, необходимую для этих навыков, но припоминание само по себе недостаточно. достаточный.

Ссылки

Abbott EE (1909). К анализу факторов припоминания в процессе обучения. Психологические монографии, 11, 159-177.

Бьорк Р.А. (1975). Извлечение как модификатор памяти: интерпретация негативной новизны и связанных с ней явлений. В Р. Л. Солсо (ред.), Обработка информации и познание (стр. 123–144) Нью-Йорк, штат Нью-Йорк: Wiley.

Бьорк Р.А. и Бьорк Э.Л. (1992). Новая теория неупотребления и старая теория колебаний стимула. В книге А. Хили, С. Косслина и Р. Шиффрина (ред.), От процессов обучения к когнитивным процессам: очерки в честь Уильяма К. Эстеса (том 2, стр. 35067) Хиллсдейл, Нью-Джерси: Эрлбаум.

Блум Б.С. (1956). Таксономия образовательных целей: Справочник I: Когнитивная область. Нью-Йорк: David McKay Co Inc.

Butler AC (2010). Повторное тестирование обеспечивает лучшую передачу знаний по сравнению с повторным изучением. Журнал экспериментальной психологии: обучение, память и познание 36, 1118-1133.

Батлер А.С., Карпик Д.Д. и Редигер Х.Л. III (2008 г.). Исправление метакогнитивной ошибки: обратная связь увеличивает сохранение правильных ответов с низкой уверенностью. Журнал экспериментальной психологии: обучение, память и познание 14, 918-928.

Butler AC и Roediger HL III (2007 г. ). Тестирование улучшает долгосрочное запоминание в симулированной обстановке класса. Европейский журнал когнитивной психологии 19, 514-527.

Butler AC и Roediger HL III (2008 г.). Обратная связь усиливает положительные эффекты и снижает отрицательные эффекты тестирования с множественным выбором. Память и познание 36, 604-616.

Кантор А.Д., Эслик А.Н., Марш Э.Дж., Бьорк Р.А., Бьорк Э.Л. (2014). Тесты с множественным выбором стабилизируют доступ к маргинальным знаниям. Память и познание SOI 10.3758/s13421-014-0462-6.

Коэн Г.Л., Гарсия Дж., Апфель Н. и Мастер А. (2006). Сокращение разрыва в расовых достижениях: социально-психологическое вмешательство. Наука 313, 1307-1310.

Гардинер Дж. М., Крейк Ф. М. и Блисдейл Ф. А. (1973). Сложность припоминания и последующее припоминание. Память и познание 1, 213-216.

Гейтс А.И. (1917) Рецитация как фактор запоминания. Архив психологии, 6(40).

Хейс М.Дж., Корнелл Н. и Бьорк Р.А. (2013). Когда и почему неудачный тест снижает эффективность последующего исследования. Журнал экспериментальной психологии: обучение, память и познание 39, 290-296.

Джеймс В. (1890 г.). Принципы психологии. Нью-Йорк: Холт.

Канг Ш.К., Макдермотт К.Б. и Редигер Х.Л. III. (2007). Формат тестирования и корректирующая обратная связь изменяют влияние тестирования на долгосрочное удержание. Европейский журнал когнитивной психологии 19, 528-558.

Карпик Дж. Д. и Блант Дж. Р. (2011). Практика поиска дает больше знаний, чем подробное изучение с картированием понятий. Наука 331, 772-775.

Клионский DJ (2008). Фактор викторины. CBE — Life Sciences Education 7, 265-266.

Ларсен Д.П., Батлер А.С. и Редигер Х.Л. III (2009). Повторное тестирование улучшает долгосрочное удержание по сравнению с повторным исследованием: рандомизированное контролируемое исследование. Медицинское образование 43, 1174-1181.

Лиминг ФК (2002). Ежедневный экзамен улучшает успеваемость на уроках психологии. Преподавание психологии 29, 210-212.

Лейт Х., Сондерс, Калкинс Р. и Уизерс М. (2012). Совместное тестирование повышает производительность, но не удерживает содержание на вводном уроке биологии для большого количества учащихся. CBE—Обучение наукам о жизни 11, 392-401.

Литтл Дж.Л. и Бьорк Э.Л. (2011). Предварительное тестирование с вопросами с несколькими вариантами ответов облегчает обучение. Презентация в Обществе когнитивных наук. Получено с http://www.researchgate.net/publication/265883438_Pretesting_with_Multiple-choice_Questions_Facilitates_Learning, 15 ноября 2014 г.

Little JL and Bjork EL (2012). Сохраняющиеся преимущества использования тестов с множественным выбором в качестве обучающих мероприятий. Презентация в Обществе когнитивных наук. Получено с http://mindmodeling.org/cogsci2012/papers/0128/paper0128.pdf, 11 ноября 2014 г.

Лайл К.Б. и Кроуфорд Н.А. (2011). Извлечение необходимого материала в конце лекций улучшает результаты на экзаменах по статистике. Преподавание психологии 38, 94-97.

McDaniel MA and Masson MEJ (1985). Изменение представлений памяти посредством поиска. Журнал экспериментальной психологии: обучение, память и познание 11, 371-385.

Макдэниел М.А., Уайлдман К.М. и Андерсон Дж.Л. (2012). Использование викторин для повышения эффективности итоговой оценки в онлайн-классе: экспериментальное исследование. Журнал прикладных исследований памяти и познания 1, 18-26.

Мияке А., Кост-Смит Л.Е., Финкельштейн Н.Д., Поллок С.Дж., Коэн Г.Л., Ито Т.А. (2010). Сокращение гендерного разрыва в достижениях в науке колледжа: исследование в классе подтверждения ценностей. Наука 330, 1234-1237.

Орр Р. и Фостер С. (2013). Повышение успеваемости учащихся с помощью онлайн-викторин по вводной (специальной) биологии. CBE — Life Sciences Education 12, 509–514.

Палфри С., Букс С. и Бутера Ф. (2011). Почему оценки порождают цели избегания производительности: посредническая роль автономной мотивации. Журнал педагогической психологии 103, 683-700.

Pyc MA, Agarwal PK и Roediger HL III (в печати). Обучение с использованием тестов. В В. Бенасси, К. Оверсон и К. Хакала (ред.), Применение науки обучения в образовании: внедрение психологии в учебную программу. Общество преподавания психологии. Получено с http://psych.wustl.edu/memory/Roddy%20article%20PDF’s/Roediger%20&%20Pyc%20(2012)a_MemCog.pdf 14 ноября 2014 г.

Pyc MA and Rawson KA (2009). Проверка гипотезы об усилиях по запоминанию: приводит ли большая трудность к правильному воспроизведению информации к более высоким уровням памяти? Журнал памяти и языка 60, 437-447.

Редигер Х.Л. III, Патнэм А.Л. и Смит М.А. (2011). Десять преимуществ тестирования и их применение в образовательной практике. Психология обучения и мотивации, том 55: 1-36.

Roediger HL III и Батлер AC (2011). Критическая роль практики поиска в долгосрочном удержании. Тенденции в когнитивных науках 15, 20-27.

Roediger HL III и Karpicke JD (2006a). Обучение, усиленное тестами: прохождение тестов памяти улучшает долгосрочное запоминание. Психологическая наука 17, 249-255.

Roediger HL III и Karpicke JD (2006b). Сила проверки памяти: фундаментальные исследования и последствия для образовательной практики. Перспективы психологической науки, 1, 181-210.

Roediger HL III и Pyc MA (2012). Недорогие методы улучшения образования: применение когнитивной психологии для улучшения образовательной практики. Журнал прикладных исследований памяти и познания 1, 242-248.

Шварц Д.Л. и Брансфорд Д.Д. (1998). Время рассказывать. Познание и наставление 16, 475-522.

Смит М.А. и Карпик Д.Д. (2014). Практика поиска с кратким ответом, множественным выбором и гибридными тестами. Память 22, 784-802.

Смит М.К., Вуд В.Б., Краутер К. и Найт Дж.К. (2011). Сочетание обсуждения со сверстниками с объяснением преподавателя повышает эффективность обучения учащихся с помощью концептуальных вопросов в классе. CBE—Обучение наукам о жизни 10, 55–63.

Стангер-Холл К.Ф., Шокли Ф.В. и Уилсон Р.Е. (2011). Обучение студентов тому, как учиться: Семинар по обработке информации и самопроверке помогает студентам учиться.