Надежность рав 4: Отзывы автовладельцев о Toyota RAV4 среднеразмерный кроссовер

Ответ:

Цели тестов, основанных на нормах и критериях, обычно различны.Первые часто отбирают более широкий спектр материала и стремятся дифференцировать студентов. Напротив, тесты с указанием критериев обычно охватывают меньшую, более конкретную область задач и предназначены для оценки абсолютного, а не относительного уровня успеха в усвоении материала.

• Важно
• Финал
• Необратимый
• Не подтверждено
• Концерн
• Имеют долгосрочные последствия

• простота администрирования
• время на администрирование
• простота интерпретации и использования
• наличие альтернативных форм
• Стоимость тестирования

Достоверность и обоснованность 4-метровой скорости ходьбы при ХОБЛ

Реферат

У пожилых людей, проживающих в сообществе, обычная скорость ходьбы более 4 м (4MGS) неизменно предсказывает больший риск неблагоприятных последствий для здоровья.Цели настоящего исследования заключались в оценке надежности 4MGS и взаимосвязи с установленными показателями здоровья при хронической обструктивной болезни легких (ХОБЛ).

Тест-ретест и надежность 4MGS были измерены у 80 и 58 пациентов с ХОБЛ, соответственно. У 586 пациентов с ХОБЛ были измерены 4MGS, а также объем форсированного выдоха за 1 с (FEV ₁ ), инкрементная прогулка челноком (ISW), шкала одышки Совета по медицинским исследованиям (MRC) и респираторный опросник Святого Георгия (SGRQ). .Участники были стратифицированы по «медленному» (<0,8 м · с ^-1 ) или «нормальному» 4MGS (≥ 0,8 м · с ^-1 ).

Коэффициенты внутриклассовой корреляции для надежности повторных тестов и между наблюдателями составляли 0,97 и 0,99 соответственно. Обнаружена значимая положительная корреляция между 4MGS и ISW (ρ = 0,78; p <0,001) и отрицательная корреляция со шкалой MRC одышки и SGRQ (ρ = -0,55 и -0,44; p <0,001 для обоих). Пациенты с ХОБЛ с медленным 4MGS имели значительно меньший ISW и более высокую шкалу одышки MRC и SGRQ, чем пациенты с сохраненной скоростью ходьбы, несмотря на аналогичный прогнозируемый FEV ₁ %.

4MGS надежен при ХОБЛ, коррелирует с физической нагрузкой, одышкой и качеством жизни, связанным со здоровьем, и имеет потенциал в качестве простого инструмента оценки при ХОБЛ.

Введение

Обычная скорость ходьбы, измеренная на расстоянии более 4 м (4MGS), была рекомендована в качестве потенциально полезного маркера мультисистемного благополучия пожилых людей, проживающих в сообществе [1]. Медленный 4MGS является постоянным фактором риска инвалидности, когнитивных нарушений, госпитализации, падений, сердечно-сосудистой и общей смертности [1–4] у пожилых людей, у которых нет функциональных ограничений.Кроме того, он надежен и быстр в исполнении [5, 6]. 4MGS также является признанным маркером переносимости физических упражнений у пожилых людей [7] и, как было показано, коррелирует с другими показателями функции [8]. Рабочая группа экспертов недавно определила 4MGS как наиболее подходящий функциональный тест для интервенционных испытаний у ослабленных пожилых людей [9]. Медленная скорость походки у пожилых людей обычно определяется как скорость ходьбы <0,8 м · с ^-1 [1, 4], что соответствует снижению средней продолжительности жизни для большинства возрастов [4].

Большинство исследований 4MGS проводилось на пожилых людях, проживающих в сообществах, часть из которых, вероятно, страдает респираторными заболеваниями. Однако 4MGS не был валидирован специально для пациентов с хронической обструктивной болезнью легких (ХОБЛ). Использование надежного, проверенного и простого в использовании инструмента оценки для оценки функциональных характеристик и прогнозирования неблагоприятных исходов при ХОБЛ является привлекательным. Хотя тесты полевой ходьбы, такие как тест 6-минутной ходьбы и тест инкрементальной ходьбы с челноком (ISW), хорошо подтверждены, они демонстрируют эффект обучения и требуют места, что ограничивает их широкое использование в некоторых клинических условиях.

Таким образом, целью данного исследования была оценка надежности 4MGS и его связи с установленными критериями исхода, такими как способность к физической нагрузке, одышка и качество жизни, связанное со здоровьем, при ХОБЛ. Дальнейшая цель состояла в том, чтобы описать клинические характеристики пациентов с ХОБЛ с медленным 4MGS по сравнению с пациентами с сохраненным 4MGS.

Методы

Субъекты

Пациенты с диагнозом ХОБЛ в соответствии с рекомендациями Глобальной инициативы по хронической обструктивной болезни легких (GOLD) [10] были набраны из амбулаторных респираторных клиник при больнице Harefield (Хэрфилд, Великобритания).Критерии исключения включали нестабильное сердечное заболевание, обострение в течение предшествующих 4 недель, невозможность ходить 4 м или преобладающее неврологическое ограничение ходьбы (, например, значительная гемиплегия). Все участники дали информированное согласие, и исследование было одобрено Комитетом по этике исследований Западного Лондона и Лондона – Камберуэлл-Сент-Джайлс (11 / H0707 / 2 и 11 / LO / 1780, соответственно).

Измерение 4МГС

4MGS был измерен одним из семи обученных операторов.Все операторы следовали компоненту скорости ходьбы протокола короткой физической батареи (SPPB), доступному в Национальном институте старения (www.grc.nia.nih.gov/branches/ledb/sppb/). Для проведения теста был определен ровный беспрепятственный участок либо в кабинете для оценки состояния клиники, либо в коридоре больницы, и 4 метра были размечены лентой. Перед началом теста каждому участнику была продемонстрирована прогулка, но сами участники не выполняли тренировочную прогулку. Участник располагался так, чтобы пальцы ног касались линии старта.Были даны следующие стандартные инструкции: «Это наш курс ходьбы. Я хочу, чтобы вы прошли на другой конец трассы со своей обычной скоростью, как если бы вы шли по улице в магазин. Прежде чем остановиться, пройдите мимо другого конца ленты. Готовы… начнем ». Отсчет времени по секундомеру начался, когда участник начал движение, а не по команде «начать». Отсчет времени был остановлен, когда первая ступня участника полностью пересекла 4-метровую линию. Тест ходьбы был повторен без отдыха, и для расчета 4MGS, выраженного в м · с ^-1 , использовалось более быстрое из двух раз.Участникам было разрешено использовать свои обычные приспособления для ходьбы (, например, трость). Пользователям кислорода были предоставлены удлиненные трубки, подключенные к концентратору или неподвижному баллону.

Тестирование-повторное тестирование и надежность между наблюдателями

80 пациентам с ХОБЛ было выполнено измерение 4MGS одним и тем же оператором дважды с интервалом 24–48 часов. У 58 пациентов был измерен 4MGS одновременно двумя наблюдателями в одном и том же случае.

Поперечное исследование

4MGS был измерен в удобной выборке из 586 пациентов с ХОБЛ.Дальнейшие измерения включали ISW, выраженный в метрах и прогнозируемом% [11, 12], респираторный опросник Святого Георгия (SGRQ) [13], шкалу одышки Медицинского исследовательского совета (MRC) [14] и спирометрию. Они были выполнены другими исследователями, чтобы гарантировать, что операторы, которые измеряли 4MGS, были не осведомлены об этих результатах. Сопутствующие заболевания регистрировались с помощью индекса Чарлсона [15] и недавно утвержденного индекса коморбидности, специфичного для ХОБЛ [16]. Затем участники были стратифицированы в соответствии с 4MGS, при этом «медленно ходящие» люди были определены как 4MGS <0.80 м · с ⁻¹ и «сохраненный» определяется как 4MGS ≥0,80 м · с ⁻¹ , как рекомендовано консенсусными группами экспертов [1, 17].

Анализ данных

Анализ данных и графическое представление были выполнены с использованием GraphPad Prism 5 (GraphPad Software, Сан-Диего, Калифорния, США) или SPSS версии 19 (IBM, Армонк, Нью-Йорк, США). Коэффициенты внутриклассовой корреляции (ICC) согласованности и случайного эффекта с единичным измерением были рассчитаны с 95% доверительными интервалами для проверки надежности повторного тестирования и между наблюдателями.Вариабельность измерений определялась путем вычисления стандартной ошибки измерения (SEM) и процентов стандартных ошибок измерений (SEM%). Графики Бланда – Альтмана были построены, чтобы продемонстрировать 95% пределы согласия. Ранговая корреляция Спирмена использовалась для количественной оценки связи между 4MGS и другими показателями. Межгрупповые различия оценивались с помощью непарных t-критериев или U-критериев Манна – Уитни для непараметрических данных. Значение p <0,05 считалось значимым.

Результаты

Надежность

4MGS показал отличную надежность при повторном тестировании и между наблюдателями, со значениями ICC, равными 0.97 (95% ДИ 0,95–0,98) и 0,99 (95% ДИ 0,98–0,99) соответственно. Вариабельность измерений была низкой, с SEM 1,4% для межисследователей и 1,5% для надежности повторных тестов. Точно так же не было продемонстрировано никакой систематической изменчивости с узкими пределами согласия между случаями (от 0,135 до -0,125) или наблюдателями (от 0,047 до -0,067) (рис. 1). Средняя разница между тестами составила 0,005 м · с ^-1 , а между наблюдателями -0,01 м · с ^-1 .

Графики Бланда – Альтмана для а) повторного тестирования и б) надежности между наблюдателями.

Измерение поперечного сечения 4МГС

Исходные характеристики представлены в таблице 1. Шестьдесят семь, тридцать три и четыре пациента использовали только вспомогательное средство для ходьбы, только амбулаторный кислород или оба, соответственно. Между 4MGS и ISW была сильная положительная корреляция (таблица 2 и рис. 2a). Осмотр рисунка 2a показывает криволинейную взаимосвязь (полином второго порядка) между 4MGS и ISW (степень соответствия: R ² = 0,59) с более пологой кривой при низких значениях ISW, что указывает на влияние минимального уровня на ISW.4MGS также отрицательно коррелировал с возрастом, шкалой MRC одышки и SGRQ (области активности и воздействия, общий балл на рис. 2b). Обнаружена слабая, но статистически значимая связь с объемом форсированного выдоха за 1 с (ОФВ ₁ )% от прогноз (ρ = 0,10; p = 0,01) (рис. 2c) и индексом массы тела (ИМТ) (ρ = -0,09; р = 0,03).

Взаимосвязь между скоростью 4-метровой походки (4MGS) и а) дистанцией приращения челночного хода (ISW); б) общий балл по респираторному опроснику Святого Георгия (SGRQ); c) объем форсированного выдоха за 1 с (FEV ₁ )% от прогнозируемого.

Клинические характеристики, связанные с низкой скоростью походки

193 пациента имели медленный 4MGS и 393 пациента сохраняли 4MGS. Участники с медленным 4MGS были немного старше и имели более высокий ИМТ, но не было различий в распределении по полу или ОФВ ₁ % от пред. Однако в группе медленных 4MGS наблюдался большой дефицит способности к физической нагрузке и состояния здоровья по дистанции ISW и общему баллу SGRQ (таблица 3).

Обсуждение

Мы продемонстрировали, что обычный 4MGS демонстрирует отличную надежность при повторном тестировании и между наблюдателями при ХОБЛ.Кроме того, в когорте стабильных пациентов с ХОБЛ 4MGS значимо коррелировал с показателями физической работоспособности, состояния здоровья и одышки, что подтверждает одновременную валидность этого показателя. Стратификация по «медленному» 4MGS выявила значительное ухудшение способности к физической нагрузке и плохое качество жизни, связанное со здоровьем.

Критика метода

Хотя скорость походки сообщается на различных расстояниях, большинство исследователей в настоящее время считают, что 4 м являются оптимальными для полевых испытаний [18], балансируя расстояние, достаточно короткое, чтобы быть осуществимым в большинстве клинических условий, но достаточно большое, чтобы гарантировать точность измерения. .Надежность повторного тестирования для 4MGS лучше, чем у 8-футового маршрута [19], и такая же надежность, как для более 6 м [20]. Также было показано, что 4-метровый курс возможен в 90% домохозяйств [21], что дает возможность использовать 4MGS в качестве инструмента в обучении на дому или в общине. В соответствии с этим, в нашем исследовании мы наблюдали очень высокие значения ICC как для надежности при повторном тестировании, так и для надежности между наблюдателями. Наши результаты, возможно, ближе к лучшему по сравнению с теми, о которых сообщалось ранее [8, 19, 20], и это может отражать различия в популяциях пациентов.Важно отметить, что надежные измерения 4MGS могут быть выполнены даже непрофессиональным персоналом [6], а хорошая надежность была показана у ослабленных пациентов или пациентов с когнитивной дисфункцией [19, 20].

Мы попросили пациентов идти с обычной или комфортной скоростью, как и в большинстве предыдущих отчетов. Хотя некоторые исследователи модифицировали тест, оценив максимальную скорость ходьбы [8, 18], большая часть данных о прогностической ценности скорости ходьбы сосредоточена на обычной скорости, и нет никаких доказательств того, что измерение максимальной скорости ходьбы возможно. более надежная, чем обычная скорость [8, 22].Однако мы подозреваем, что обычная скорость ходьбы будет близка к максимальной у пациентов с тяжелой симптоматической ХОБЛ

Еще одним соображением был выбор ограничения скорости походки. Ранее было предложено несколько пороговых значений для прогнозирования неблагоприятных последствий для здоровья. Это частично зависело от длины трассы, условий, изучаемой популяции и интересующего результата. Для 4MGS «медленная» обычно определяется консенсусными группами экспертов как скорость ходьбы <0,8 м · с ^-1 [1, 17].Недавно в объединенном анализе девяти когортных исследований пожилых людей (всего 34 485 человек) оставшиеся годы жизни для каждого пола и возраста увеличивались по мере увеличения скорости ходьбы, при этом скорость походки составляла 0,8 м · с ^-1 в средняя продолжительность жизни для большинства возрастов [4]. Дальнейшие лонгитюдные исследования необходимы для подтверждения прогностической ценности этого порогового значения 4MGS в популяциях ХОБЛ, хотя, учитывая большие различия в результатах для здоровья, продемонстрированные в нашем исследовании, это пороговое значение оказалось дискриминационным.

Значение выводов

О 4MGS как о единичном инструменте ранее не сообщалось при ХОБЛ. Roig et al. [23] недавно сообщил о самостоятельно выбранной скорости походки у 21 пациента с ХОБЛ на протяжении 5-метрового курса, демонстрируя снижение скорости на 20% по сравнению с контрольной группой того же возраста. Ilgin et al. [24] описал значительную связь между скоростью походки и параметрами функции легких и связанным со здоровьем качеством жизни при ХОБЛ, хотя скорость походки рассчитывалась исходя из 6-минутной ходьбы, а не из короткого курса.Андерссон и др. [25] показал высокую надежность ретестов при измерении скорости ходьбы у 49 пациентов с ХОБЛ, хотя 30-метровый курс может ограничивать обобщение результатов. Evans et al. [26] продемонстрировал валидность самостоятельной ходьбы и отзывчивость к легочной реабилитации у 37 пациентов с ХОБЛ. Интересно, что хотя испытание проводилось в замкнутом плоском коридоре длиной 250 м с контролируемой температурой, повторяемость была аналогична таковой у 4MGS, наблюдаемой в нашем исследовании.В дополнение к значительно большему размеру выборки наши данные дополняют текущую литературу, демонстрируя, что 4MGS значительно коррелирует с показателями здоровья, обычно используемыми при ХОБЛ.

Также отмечается, что 4MGS является отдельным компонентом короткой батареи с физическими характеристиками (SPPB). Предыдущие данные о SPPB при ХОБЛ были описаны в единственной когорте [27–29], демонстрируя более низкие (худшие) баллы SPPB у пациентов с ХОБЛ по сравнению со здоровыми контрольными людьми соответствующего возраста, а также связь между повышенным соотношением безжировой массы к жировой ткани и сохраненная функция легких с более высокими показателями SPPB.Эта когорта была ограничена возрастом от 40 до 65 лет и имела тенденцию к более легкому заболеванию: 30% пациентов находились в уже несуществующей стадии GOLD 0 [27, 28]. Наши пациенты были старше и более типичны для пациентов с ХОБЛ, наблюдаемых в больничной практике. Кроме того, мы продемонстрировали, что только один компонент SPPB имел сильную связь с клинически значимыми результатами. 4MGS выполняется быстрее, и предыдущие исследования показали, что 4MGS имеет аналогичные ассоциации и прогностические способности с SPPB [6, 30].

4MGS часто использовался в эпидемиологических исследованиях среди пожилых людей из-за его простоты и скорости использования. Было показано, что он позволяет прогнозировать состояние здоровья, функциональное снижение, институционализацию, наступление инвалидности и смертность [1, 3, 18, 30]. Другие исследователи использовали скорость походки в качестве критерия функционального результата [31], а рабочие группы экспертов (включая представителей Агентства по контролю за продуктами и лекарствами США) определили 4MGS как наиболее подходящий функциональный тест для интервенционных исследований у ослабленных пожилых людей и саркопении [ 9, 32].4MGS имеет потенциал в качестве инструмента оценки при ХОБЛ. Это быстро и дешево. Ходьба знакома подавляющему большинству взрослых, и этот тест легко понять; Показано, что 4MGS очень надежен даже у людей с когнитивной дисфункцией [20]. Кроме того, он занимает мало места, а оператор не требует специальной подготовки. Эти свойства означают, что 4MGS можно использовать практически в любой клинической среде (даже у постели больного или в учреждениях первичной медико-санитарной помощи).

Наше исследование показало, что 4MGS надежен при ХОБЛ с превосходной надежностью повторных тестов.Это важно, особенно потому, что текущие полевые тесты на способность к физической нагрузке показывают обучающий эффект [11, 33], а некоторые, например, тест с 6-минутной ходьбой, требуют 30-метрового курса. Доказательства одновременной валидности были продемонстрированы путем демонстрации значительной связи с физической способностью, состоянием здоровья и одышкой. Путем стратификации пациентов с ХОБЛ в соответствии с 4MGS мы показали, что клинический фенотип медленной ходьбы демонстрирует значительный дефицит переносимости физических упражнений, усиление одышки и плохое состояние здоровья по сравнению с пациентами с сохраненной скоростью ходьбы.Интересно отметить, что, несмотря на большие различия в этих показателях исходов (которые превышали общепринятые минимальные клинически важные различия), не было значительных различий в ОФВ ₁ % пред между группами. Хотя было показано, что 4MGS отрицательно коррелирует с возрастом и ИМТ, маловероятно, что они были значительными смешивающими факторами для наших результатов, учитывая, что все еще оставались большие различия в ISW% pred (который корректирует возраст и ИМТ). Более того, 4MGS не было просто отражением бремени коморбидности; мы показали отсутствие или очень слабую связь между 4MGS и подтвержденными индексами коморбидности.Мы предполагаем, что 4MGS, как и способность к физической нагрузке, отражает общее благополучие и отражает мультисистемные эффекты тяжести заболевания при ХОБЛ, а не только легочную недостаточность.

Ограничения

Исследуемая популяция была избирательной, большинство из них составляли GOLD стадии II – IV и больные с симптомами амбулаторного лечения. Наши результаты должны быть подтверждены в других популяциях ХОБЛ (, например, госпитализированный стационарный пациент или более легкие бессимптомные пациенты) в различных условиях. Поскольку текущее исследование было перекрестным, мы не смогли оценить прогностическую ценность 4MGS при ХОБЛ.Для оценки способности 4MGS прогнозировать клинически полезные конечные точки необходимы продольные исследования. Хотя было показано, что 4MGS значительно коррелирует с ISW, важно подчеркнуть, что этот инструмент не является мерой максимальной физической нагрузки. Однако это показатель функционального нарушения, особенно у ослабленных пожилых пациентов [9], и ранее он использовался в качестве показателя функционального результата в интервенционных фармакологических исследованиях [31]. Криволинейная зависимость между ISW и 4MGS (рис.2а) предполагает, что 4MGS может играть особую роль в оценке плохо функционирующих людей (, то есть , у пациентов с очень низкими значениями ISW был широкий диапазон значений 4MGS). Необходимы дальнейшие исследования для проверки реакции 4MGS на вмешательство при ХОБЛ. 4MGS также может играть роль в быстром скрининге пациентов с ХОБЛ на внелегочные проявления до более сложного объективного измерения интересующего результата. Мы не проводили измерения мышечной массы или функции, но это, вероятно, будет плодотворной областью исследований при ХОБЛ, особенно потому, что группы экспертов по саркопении и кахексии уже рекомендуют 4MGS в качестве инструмента скрининга [17, 32].

Таким образом, наше исследование подтверждает, что 4MGS выполнимо и надежно при ХОБЛ, и коррелирует с показателями физической работоспособности и состояния здоровья. Это демонстрирует потенциальную полезность 4MGS как простого инструмента оценки мультисистемного благополучия при ХОБЛ.

Google — Разработка надежности сайта

Написано Робом Эващуком
Отредактировано Бетси Бейер

Команды SRE Google владеют некоторыми основными принципами и передовыми методами построения успешных систем мониторинга и оповещения.В этой главе приводятся рекомендации о том, какие проблемы должны отвлекать человека от просмотра страницы и как решать проблемы, которые недостаточно серьезны для запуска страницы.

Нет единого словаря для обсуждения всех тем, связанных с мониторингом. Даже внутри Google использование следующих терминов различается, но здесь перечислены наиболее распространенные толкования.

Сбор, обработка, агрегирование и отображение в реальном времени количественных данных о системе, таких как количество и типы запросов, количество и типы ошибок, время обработки и время жизни сервера.

Мониторинг на основе показателей, предоставляемых внутренними компонентами системы, включая журналы, интерфейсы, такие как интерфейс профилирования виртуальной машины Java или обработчик HTTP, который генерирует внутреннюю статистику.

Тестирование поведения, видимого извне, так, как его увидит пользователь.

Приложение (обычно веб-интерфейс), которое предоставляет сводную информацию об основных показателях службы. На панели мониторинга могут быть фильтры, селекторы и т. Д., Но она предварительно построена так, чтобы предоставлять пользователям наиболее важные показатели.На приборной панели также может отображаться информация о команде, такая как длина очереди заявок, список высокоприоритетных ошибок, текущий дежурный инженер для данной области ответственности или недавние нажатия.

Уведомление, предназначенное для чтения человеком и отправляемое в систему, например в очередь ошибок или билетов, псевдоним электронной почты или пейджер. Соответственно, эти оповещения классифицируются как билетов , электронные оповещения , ²² и страниц .

Дефект в программном обеспечении или человеческой системе, который, если его исправить, вселяет уверенность в том, что это событие больше не повторится таким же образом.У данного инцидента может быть несколько основных причин: например, возможно, он был вызван сочетанием недостаточной автоматизации процессов, сбоя программного обеспечения при поддельном вводе, недостаточного тестирования сценария и , использованного для создания конфигурации. Каждый из этих факторов может быть основной причиной, и каждый должен быть устранен.

Узел и машина

Используется взаимозаменяемо для обозначения единственного экземпляра работающего ядра на физическом сервере, виртуальной машине или контейнере.На одной машине может быть несколько служб , которые стоит отслеживать. Услуги могут быть следующими:

• Связанные друг с другом: например, кэширующий сервер и веб-сервер
• Несвязанные службы совместно используют оборудование: например, репозиторий кода и мастер для системы конфигурации, такой как Puppet или Chef

Любое изменение в работающем программном обеспечении службы или ее конфигурации.

Есть много причин для мониторинга системы, в том числе:

Насколько велика моя база данных и как быстро она растет? Как быстро растет количество моих ежедневных активных пользователей?

Быстрее ли запросы с Acme Bucket of Bytes 2.72 по сравнению с Ajax DB 3.14? Насколько лучше мой кэш памяти с дополнительным узлом? Мой сайт работает медленнее, чем на прошлой неделе?

Что-то сломалось, и нужно исправить это прямо сейчас! Или что-то может скоро сломаться, так что кто-нибудь должен скорее поискать.

Панели мониторинга

должны отвечать на основные вопросы о ваших услугах и, как правило, включать в себя некоторую форму четырех золотых сигналов (обсуждаемых в разделе «Четыре золотых сигнала»).

Наша задержка только что увеличилась; что еще произошло примерно в то же время?

Системный мониторинг также полезен для предоставления исходных данных для бизнес-аналитики и облегчения анализа нарушений безопасности.Поскольку эта книга посвящена инженерным областям, в которых SRE имеет особый опыт, мы не будем здесь обсуждать эти приложения мониторинга.

Мониторинг и оповещение позволяют системе сообщать нам, когда она сломана, или, возможно, сообщать нам, что вот-вот сломается. Когда система не может автоматически исправить себя, мы хотим, чтобы человек исследовал предупреждение, определил, существует ли реальная проблема, смягчил проблему и определил основную причину проблемы. Если вы не проводите аудит безопасности для компонентов системы с очень узкой областью действия, вам никогда не следует запускать предупреждение просто потому, что «что-то кажется немного странным.«

Пейджинг человека — довольно затратное использование времени сотрудника. Если сотрудник на работе, страница прерывает его рабочий процесс. Если сотрудник дома, страница прерывает его личное время и, возможно, даже его сон. Когда страницы появляются слишком часто, сотрудники догадываются, просматривают или даже игнорируют входящие предупреждения, иногда даже игнорируя «настоящую» страницу, замаскированную шумом. Сбои в работе могут продлиться, поскольку другие шумы мешают быстрой диагностике и устранению неисправностей. Эффективные системы оповещения имеют хороший сигнал и очень низкий уровень шума.

Мониторинг сложного приложения сам по себе является значительным инженерным делом. Даже при наличии существенной инфраструктуры для инструментовки, сбора, отображения и оповещения группа Google SRE, состоящая из 10–12 человек, обычно состоит из одного или иногда двух членов, основной задачей которых является создание и поддержка систем мониторинга для своих услуг. Это число со временем уменьшилось по мере того, как мы обобщаем и централизуем общую инфраструктуру мониторинга, но в каждой команде SRE обычно есть как минимум один «человек, осуществляющий мониторинг».(При этом, несмотря на то, что иметь доступ к информационным панелям графиков трафика и т.п. может быть интересно, команды SRE тщательно избегают любых ситуаций, требующих, чтобы кто-то «смотрел на экран в поисках проблем»).

В целом Google стремится к более простым и быстрым системам мониторинга с лучшими инструментами для последующего анализа . Мы избегаем «волшебных» систем, которые пытаются узнать пороговые значения или автоматически обнаружить причинно-следственную связь. Один из контрпримеров — правила, обнаруживающие неожиданные изменения в частоте запросов конечных пользователей; хотя эти правила по-прежнему остаются максимально простыми, они позволяют очень быстро обнаружить очень простую, конкретную и серьезную аномалию.Другие способы использования данных мониторинга, такие как планирование пропускной способности и прогнозирование трафика, могут допускать большую хрупкость и, следовательно, большую сложность. Наблюдательные эксперименты, проводимые в течение очень длительного периода времени (месяцы или годы) с низкой частотой выборки (часы или дни), также часто допускают большую хрупкость, потому что случайные пропуски выборки не скроют длительную тенденцию.

Google SRE имеет ограниченный успех со сложными иерархиями зависимостей. Мы редко используем такие правила, как: «Если я знаю, что база данных работает медленно, предупреждайте о медленной базе данных; в противном случае — о том, что веб-сайт в целом медленный.«Правила, зависящие от зависимости, обычно относятся к очень стабильным частям нашей системы, таким как наша система для отвода пользовательского трафика из центра обработки данных. Например,« Если центр обработки данных опустошен, не предупреждайте меня о его задержке ». общее правило оповещения центра обработки данных. Немногие команды в Google поддерживают сложные иерархии зависимостей, потому что наша инфраструктура имеет постоянную скорость непрерывного рефакторинга.

Некоторые идеи, описанные в этой главе, по-прежнему вдохновляют: всегда есть место для более быстрого перехода от симптома к первопричине (-ам), особенно в постоянно меняющихся системах.Таким образом, хотя в этой главе изложены некоторые цели для систем мониторинга и некоторые способы достижения этих целей, важно, чтобы системы мониторинга, особенно критический путь от начала производственной проблемы, через страницу до человека, через базовую сортировку и глубокую отладка — должна быть простой и понятной для всех в команде.

Точно так же, чтобы поддерживать низкий уровень шума и высокий уровень сигнала, элементы вашей системы мониторинга, которые направляют на пейджер, должны быть очень простыми и надежными. Правила, которые генерируют предупреждения для людей, должны быть простыми для понимания и отражать явный сбой.

Ваша система мониторинга должна отвечать на два вопроса: что не работает и почему?

«Что сломалось» указывает на симптом; «почему» указывает (возможно, промежуточную) причину. В таблице 6-1 перечислены некоторые гипотетические симптомы и соответствующие причины.

«Что» и «почему» — одно из важнейших различий в написании хорошего мониторинга с максимальным сигналом и минимальным шумом.

Мы сочетаем интенсивное использование мониторинга белого ящика со скромным, но критически важным использованием мониторинга черного ящика. Самый простой способ подумать о мониторинге черного ящика по сравнению с мониторингом белого ящика — это то, что мониторинг черного ящика ориентирован на симптомы и представляет активные, а не прогнозируемые проблемы: «Система не работает правильно, прямо сейчас». Мониторинг белого ящика зависит от способности проверять внутренности системы, такие как журналы или конечные точки HTTP, с помощью инструментов. Таким образом, мониторинг белого ящика позволяет обнаруживать неизбежные проблемы, сбои, замаскированные повторными попытками, и т. Д.

Обратите внимание, что в многоуровневой системе симптом одного человека является причиной другого человека. Например, предположим, что база данных работает медленно. Медленное чтение базы данных является признаком того, что SRE базы данных обнаруживает их. Однако для внешнего интерфейса SRE, наблюдающего за медленным веб-сайтом, причиной является такое же медленное чтение базы данных. Следовательно, мониторинг белого ящика иногда ориентирован на симптомы, а иногда — на причины, в зависимости от того, насколько информативен ваш белый ящик.

При сборе телеметрии для отладки очень важен мониторинг белого ящика.Если веб-серверы кажутся медленными при запросах, загруженных базой данных, вам необходимо знать, насколько быстрым веб-сервер воспринимает базу данных, и насколько быстрой сама база данных считает. В противном случае вы не сможете отличить действительно медленный сервер базы данных от сетевой проблемы между вашим веб-сервером и вашей базой данных.

Что касается пейджинга, то мониторинг черного ящика имеет ключевое преимущество, заставляя дисциплину беспокоить человека только тогда, когда проблема уже существует и усугубляет реальные симптомы. С другой стороны, для еще не возникающих, но неизбежных проблем мониторинг черного ящика бесполезен.

Четыре золотых сигнала мониторинга — это задержка, трафик, ошибки и насыщение. Если вы можете измерить только четыре показателя вашей системы, ориентированной на пользователя, сосредоточьтесь на этих четырех.

Время, необходимое для обслуживания запроса. Важно различать задержку успешных запросов и задержку неудачных запросов. Например, ошибка HTTP 500, вызванная потерей соединения с базой данных или другим критически важным сервером, может быть обслужена очень быстро; однако, поскольку ошибка HTTP 500 указывает на неудачный запрос, учет 500 с учетом общей задержки может привести к неверным расчетам.С другой стороны, медленная ошибка даже хуже быстрой ошибки! Поэтому важно отслеживать задержку ошибок, а не просто отфильтровывать ошибки.

Мера того, насколько высок спрос на вашу систему, измеренный в высокоуровневой системной метрике. Для веб-службы это измерение обычно представляет собой HTTP-запросы в секунду, возможно, с разбивкой по характеру запросов (например, статический или динамический контент). Для системы потоковой передачи звука это измерение может быть сосредоточено на скорости сетевого ввода-вывода или одновременных сеансах.Для системы хранения «ключ-значение» этим измерением могут быть транзакции и извлечения в секунду.

Частота запросов, которые терпят неудачу, либо явно (например, HTTP 500), неявно (например, ответ об успешном HTTP 200, но в сочетании с неправильным содержимым), либо политикой (например, «Если вы взяли на себя обязательство по одному — второе время отклика, любой запрос более одной секунды является ошибкой «). Если кодов ответов протокола недостаточно, чтобы выразить все условия отказа, могут потребоваться вторичные (внутренние) протоколы для отслеживания режимов частичного отказа.Мониторинг этих случаев может быть совершенно другим: перехват HTTP 500 на вашем балансировщике нагрузки может хорошо справиться с перехватом всех полностью неудачных запросов, в то время как только сквозные системные тесты могут обнаружить, что вы обслуживаете неправильный контент.

Насколько «полно» ваша услуга. Мера вашей системной доли с акцентом на ресурсы, которые наиболее ограничены (например, в системе с ограничением памяти показать память; в системе с ограничением ввода-вывода показать ввод-вывод). Обратите внимание, что производительность многих систем падает до того, как они достигнут 100% использования, поэтому наличие целевого показателя использования очень важно.

В сложных системах насыщение может быть дополнено измерением нагрузки более высокого уровня: может ли ваш сервис правильно обрабатывать двойной трафик, обрабатывать только на 10% больше трафика или обрабатывать даже меньше трафика, чем он получает в настоящее время? Для очень простых служб, которые не имеют параметров, которые изменяют сложность запроса (например, «Дайте мне одноразовый номер» или «Мне нужно глобально уникальное монотонное целое число»), которые редко меняют конфигурацию, статическое значение из нагрузочного теста может быть адекватным. . Однако, как обсуждалось в предыдущем абзаце, большинству служб необходимо использовать косвенные сигналы, такие как загрузка ЦП или пропускная способность сети, которые имеют известную верхнюю границу.Увеличение задержки часто является ведущим индикатором насыщения. Измерение времени отклика 99-го процентиля в небольшом окне (например, одной минуте) может дать очень ранний сигнал о насыщении.

Наконец, насыщение также связано с прогнозами приближающегося насыщения, например: «Похоже, ваша база данных заполнит свой жесткий диск за 4 часа».

Если вы измеряете все четыре золотых сигнала и пейджинговаете человека, когда один сигнал проблематичен (или, в случае насыщения, почти проблематичен), ваш сервис будет, по крайней мере, прилично охвачен мониторингом.

При создании системы мониторинга с нуля возникает соблазн разработать систему на основе среднего значения некоторой величины: средней задержки, средней загрузки ЦП вашими узлами или средней заполненности ваших баз данных. Опасность, которую представляют последние два случая, очевидна: процессоры и базы данных могут легко использоваться очень несбалансированным образом. То же самое и с задержкой. Если вы запускаете веб-службу со средней задержкой 100 мс при 1000 запросов в секунду, 1% запросов может легко занять 5 секунд. ²³ Если ваши пользователи зависят от нескольких таких веб-сервисов для отображения своей страницы, 99-й процентиль одного внутреннего интерфейса может легко стать медианным откликом вашего внешнего интерфейса.

Самый простой способ отличить медленное среднее значение от очень медленного «хвоста» запросов — это собрать количество запросов с разбивкой по задержкам (подходит для рендеринга гистограммы), а не фактические задержки: сколько запросов я обслужил, которые заняли от 0 мс и 10 мс, от 10 до 30 мс, от 30 до 100 мс, от 100 до 300 мс и так далее? Примерно экспоненциальное распределение границ гистограммы (в данном случае примерно в 3 раза) часто является простым способом визуализировать распределение ваших запросов.

Различные аспекты системы следует измерять с разными уровнями детализации. Например:

• Наблюдение за загрузкой ЦП в течение минуты не выявит даже довольно долгоживущих всплесков, которые приводят к большим задержкам хвоста.
• С другой стороны, для веб-службы, нацеленной на совокупное время простоя не более 9 часов в год (99,9% годового времени безотказной работы), проверка состояния 200 (успешность) чаще одного или двух раз в минуту, вероятно, является излишне частой.
• Точно так же проверка заполнения жесткого диска для службы, нацеленной на доступность 99,9%, чаще одного раза в 1-2 минуты, вероятно, не нужна.

Позаботьтесь о том, как структурировать детализацию ваших измерений. Сбор посекундных измерений загрузки ЦП может дать интересные данные, но такие частые измерения могут быть очень дорогими для сбора, хранения и анализа. Если ваша цель мониторинга требует высокого разрешения, но не требует чрезвычайно низкой задержки, вы можете сократить эти расходы, выполнив внутреннюю выборку на сервере, а затем настроив внешнюю систему для сбора и агрегирования этого распределения по времени или по серверам.Вы могли бы:

1. Записывайте текущую загрузку ЦП каждую секунду.
2. Используя сегменты с детализацией 5%, увеличивайте соответствующую корзину использования ЦП каждую секунду.
3. Агрегируйте эти значения каждую минуту.

Эта стратегия позволяет вам наблюдать короткие горячие точки ЦП без очень высоких затрат на сбор и хранение.

Накопление всех этих требований друг на друга может привести к очень сложной системе мониторинга — ваша система может иметь следующие уровни сложности:

• Оповещения о разных порогах задержки, в разных процентилях, по всем видам различных показателей
• Дополнительный код для обнаружения и выявления возможных причин
• Связанные информационные панели для каждой из этих возможных причин

Источники потенциальной сложности бесконечны.Как и все программные системы, мониторинг может стать настолько сложным, что станет хрупким, сложным для изменения и обременительным обслуживанием.

Поэтому проектируйте свою систему мониторинга с упором на простоту. При выборе того, что нужно контролировать, помните о следующих рекомендациях:

• Правила, которые чаще всего выявляют реальные инциденты, должны быть максимально простыми, предсказуемыми и надежными.
• Конфигурация сбора, агрегирования и оповещения, которая редко используется (например,g., реже одного раза в квартал для некоторых команд SRE) должны быть удалены.
• Сигналы, которые собираются, но не отображаются на какой-либо предварительно запеченной информационной панели и не используются никакими предупреждениями, являются кандидатами на удаление.

По опыту Google, базовый сбор и агрегирование показателей в сочетании с предупреждениями и информационными панелями хорошо зарекомендовал себя как относительно отдельная система. (На самом деле система мониторинга Google разбита на несколько двоичных файлов, но обычно люди узнают обо всех аспектах этих двоичных файлов.Может возникнуть соблазн объединить мониторинг с другими аспектами проверки сложных систем, такими как подробное профилирование системы, отладка одного процесса, отслеживание деталей об исключениях или сбоях, нагрузочное тестирование, сбор и анализ журналов или проверка трафика. Хотя большинство из этих предметов имеют общие черты с базовым мониторингом, сочетание слишком большого количества элементов приводит к чрезмерно сложным и хрупким системам. Как и во многих других аспектах разработки программного обеспечения, поддержка отдельных систем с четкими, простыми, слабо связанными точками интеграции является лучшей стратегией (например, использование веб-API для получения сводных данных в формате, который может оставаться постоянным в течение длительного периода времени. ).

Принципы, обсуждаемые в этой главе, могут быть объединены в философию мониторинга и оповещения, которая широко поддерживается и соблюдается в командах Google SRE. Несмотря на то, что такая философия мониторинга выглядит несколько обнадеживающей, она является хорошей отправной точкой для написания или анализа нового оповещения и может помочь вашей организации задать правильные вопросы независимо от размера вашей организации или сложности вашей службы или системы.

При создании правил для мониторинга и предупреждений, ответы на следующие вопросы помогут избежать ложных срабатываний и выгорания пейджера: ²⁴

• Обнаруживает ли это правило состояние , которое иначе не обнаруживается, которое является срочным, требующим действий и активно или неизбежно видимым для пользователя? ²⁵
• Смогу ли я когда-нибудь игнорировать это предупреждение, зная, что оно неопасное? Когда и почему я смогу игнорировать это предупреждение и как избежать этого сценария?
• Указывает ли это предупреждение на то, что пользователи подвергаются негативному воздействию? Существуют ли поддающиеся выявлению случаи, когда пользователи не испытывают негативного воздействия, такие как истощение трафика или тестовые развертывания, которые следует отфильтровать?
• Могу ли я принять меры в ответ на это предупреждение? Это срочное действие или можно подождать до утра? Можно ли автоматизировать действие безопасно? Будет ли это действие долгосрочным или краткосрочным решением?
• Постраивают ли другие люди по этой проблеме, поэтому хотя бы одна из страниц становится ненужной?

Эти вопросы отражают фундаментальную философию страниц и пейджеров:

• Каждый раз, когда отключается пейджер, я должен быть в состоянии срочно реагировать.Я могу срочно реагировать только несколько раз в день, пока не почувствую усталость.
• Каждая страница должна быть интерактивной.
• Ответ на каждую страницу должен требовать интеллекта. Если страница просто заслуживает ответа робота, она не должна быть страницей.
• Pages должны быть о новой проблеме или событии, о котором раньше не слышали.

Такая перспектива рассеивает определенные различия: если страница соответствует четырем предыдущим пунктам, неважно, запускается ли страница мониторингом белого или черного ящика.Эта точка зрения также усиливает некоторые различия: лучше потратить гораздо больше усилий на выявление симптомов, чем причин; когда дело доходит до причин, беспокойтесь только об очень определенных, очень непосредственных причинах.

В современных производственных системах системы мониторинга отслеживают постоянно развивающуюся систему с изменяющейся архитектурой программного обеспечения, характеристиками нагрузки и целевыми показателями производительности. Предупреждение, которое в настоящее время является исключительно редким и трудным для автоматизации, может стать частым и, возможно, даже заслуживает специального сценария для его устранения.На этом этапе кто-то должен найти и устранить первопричины проблемы; если такое решение невозможно, необходимо полностью автоматизировать ответ на предупреждение.

Важно, чтобы решения о мониторинге принимались с учетом долгосрочных целей. Каждая страница, которая происходит сегодня, отвлекает человека от улучшения системы для завтрашнего дня, поэтому часто возникает необходимость в краткосрочном снижении доступности или производительности, чтобы улучшить долгосрочные перспективы системы. Давайте рассмотрим два тематических исследования, которые иллюстрируют этот компромисс.

Внутренняя инфраструктура Google обычно предлагается и измеряется в соответствии с целевым уровнем обслуживания (SLO; см. Цели уровня обслуживания). Много лет назад SLO сервиса Bigtable основывался на средней производительности синтетического хорошо настроенного клиента. Из-за проблем в Bigtable и нижних уровнях стека хранилища средняя производительность зависела от «большого» хвоста: худшие 5% запросов часто были значительно медленнее остальных.

Оповещения по электронной почте запускались по мере приближения SLO, а оповещения по пейджингу запускались при превышении SLO.Оба типа предупреждений запускались объемно, отнимая неприемлемое количество инженерного времени: команда потратила значительное количество времени на сортировку предупреждений, чтобы найти несколько действительно действенных, и мы часто упускали проблемы, которые действительно затрагивали пользователей, потому что их так мало. делал. Многие страницы не были срочными из-за хорошо изученных проблем в инфраструктуре, и ответы на них были либо зазубрены, либо вообще не было.

Чтобы исправить ситуацию, команда использовала трехсторонний подход: прилагая большие усилия для повышения производительности Bigtable, мы также временно снизили целевой уровень SLO, используя задержку запроса 75-го процентиля.Мы также отключили оповещения по электронной почте, поскольку их было так много, что тратить время на их диагностику было невозможно.

Эта стратегия дала нам достаточно передышки, чтобы на самом деле исправить долгосрочные проблемы в Bigtable и нижних уровнях стека хранилища, вместо того, чтобы постоянно исправлять тактические проблемы. Дежурные инженеры действительно могли выполнять работу, когда страницы не поддерживали их все часы. В конечном итоге временное отключение наших предупреждений позволило нам быстрее продвигаться к лучшему обслуживанию.

На заре Gmail эта служба была построена на модифицированной распределенной системе управления процессами под названием Workqueue, которая изначально была создана для пакетной обработки частей поискового индекса. Workqueue был «адаптирован» к долгоживущим процессам и впоследствии применен к Gmail, но некоторые ошибки в относительно непрозрачной кодовой базе в планировщике оказалось трудно преодолеть.

В то время мониторинг Gmail был структурирован таким образом, что оповещения выдавались, когда Workqueue «отменил расписание» отдельных задач.Эта установка была далеко не идеальной, потому что даже в то время у Gmail было много, много тысяч задач, каждая из которых составляла долю процента наших пользователей. Мы очень заботились о том, чтобы пользователям Gmail было удобнее работать, но такую ​​настройку предупреждений было невозможно поддерживать.

Чтобы решить эту проблему, Gmail SRE создал инструмент, который помогал планировщику «протыкать» правильный путь, чтобы минимизировать воздействие на пользователей. У команды было несколько дискуссий о том, следует ли нам просто автоматизировать весь цикл от обнаружения проблемы до подталкивания планировщика, пока не будет достигнуто лучшее долгосрочное решение, но некоторые беспокоились, что такой способ обхода задержит реальное исправление.

Этот вид напряжения является обычным явлением в команде и часто отражает скрытое недоверие к самодисциплине команды: в то время как некоторые члены команды хотят внедрить «взлом», чтобы дать время для надлежащего исправления, другие опасаются, что взлом будет забыли или что правильное исправление будет лишено приоритета на неопределенный срок. Это опасение заслуживает доверия, поскольку легко создать уровни неуправляемого технического долга, исправляя проблемы, вместо того, чтобы вносить реальные исправления. Менеджеры и технические руководители играют ключевую роль во внедрении истинных долгосрочных исправлений, поддерживая и приоритизируя потенциально трудоемкие долгосрочные исправления, даже когда первоначальная «боль», связанная с разбиением на страницы, утихает.

Страницы с механическими алгоритмическими ответами должны быть красным флажком. Нежелание вашей команды автоматизировать такие страницы означает, что у команды нет уверенности в том, что они могут исправить свой технический долг. Это серьезная проблема, которую стоит обострить.

Предыдущие примеры Bigtable и Gmail объединяет общая тема: противоречие между краткосрочной и долгосрочной доступностью. Часто одна лишь сила усилий может помочь хрупкой системе достичь высокой доступности, но этот путь обычно недолговечен и чреват выгоранием и зависимостью от небольшого числа героических членов команды.Контролируемое краткосрочное снижение доступности часто является болезненной, но стратегической сделкой для долгосрочной стабильности системы. Важно не рассматривать каждую страницу как отдельное событие, а учитывать, ведет ли общий уровень разбиения на страницы к здоровой, надлежащим образом доступной системе со здоровой, жизнеспособной командой и долгосрочными перспективами. Мы просматриваем статистику о частоте страниц (обычно выражаемую как количество инцидентов за смену, где инцидент может состоять из нескольких связанных страниц) в ежеквартальных отчетах с руководством, гарантируя, что лица, принимающие решения, всегда в курсе загрузки пейджера и общего состояния их команды.

Работоспособный конвейер мониторинга и оповещения прост и понятен. Основное внимание в нем уделяется симптомам для разбиения по страницам, зарезервировав причинно-ориентированную эвристику для помощи при отладке проблем. Наблюдать за симптомами легче, чем дальше вы отслеживаете свой стек, хотя мониторинг насыщения и производительности подсистем, таких как базы данных, часто должен выполняться непосредственно в самой подсистеме. Оповещения по электронной почте имеют очень ограниченную ценность и часто становятся переполненными шумом; вместо этого вам следует отдать предпочтение приборной панели, которая отслеживает все текущие подкритические проблемы, чтобы получить информацию, которая обычно попадает в оповещения по электронной почте.Панель мониторинга также может быть соединена с журналом для анализа исторических корреляций.

В долгосрочной перспективе для достижения успешной ротации по вызову и продукта необходимо выбрать оповещение о симптомах или неизбежных реальных проблемах, адаптировать свои цели к целям, которые фактически достижимы, и убедиться, что ваш мониторинг поддерживает быструю диагностику.

Оценка надежности анкеты — выбор консультантов по статистике

Анкеты — полезный инструмент, используемый для сбора информации от респондентов в самых разных контекстах; результаты самооценки в здравоохранении, понимание / удовлетворенность клиентов, предпочтения в отношении продуктов в маркетинговых исследованиях.Мы неизменно используем опросы, потому что хотим что-то измерить, например, как часто люди тренируются, намерения голосовать, процент ваших клиентов, которые порекомендовали бы вас другу. Таким образом, опросы можно рассматривать как инструмент измерения. Точно так же, как термометры измеряют температуру, а pH-метры измеряют кислотность, опросы могут измерять поведение, отношения и мнения.

Хотя некоторые вещи, которые мы хотим измерить, просты и могут быть заданы одним вопросом, например: « Как вы собираетесь голосовать? »или« Планируете ли вы поступить в университет? «, мы можем действительно захотеть рассмотреть более широкую перспективу, например, политические взгляды или будущие устремления.Возможно, то, что мы хотим измерить, нельзя обобщить в одном вопросе, например, измерить здоровый образ жизни или благополучие. Опросы часто используются для измерения более сложных и многогранных человеческих форм поведения или характеристик, известных как конструкции. Поскольку они являются сложными и многогранными, их лучше измерить, задав серию связанных вопросов, охватывающих различные аспекты интересующей конструкции. Затем ответы на эти отдельные вопросы могут быть объединены, чтобы сформировать оценку или шкалу измерения по континууму.

Надежность и действительность

Два важных качества съемок, как и всех измерительных инструментов, — это последовательность и точность. Они оцениваются с учетом надежности опроса и достоверности .

Существует ряд различных статистических данных, которые мы можем использовать для оценки надежности и оценки достоверности. Выбор статистики для рассмотрения будет зависеть от плана и цели обследования.Некоторые статистические данные могут быть более подходящими в определенных ситуациях, а разные статистические данные дадут разные результаты, отражающие разные аспекты эффективности опроса. Надежность и обоснованность также не являются фиксированными качествами, они могут меняться со временем. Следовательно, желательно использовать ряд альтернативных статистических данных, чтобы получить всестороннюю оценку качества обследования.

В этом блоге мы сосредоточимся на подходах к оценке надежности. Мы обсудим, как оценить достоверность опроса в будущем блоге.

Надежность

Надежность — это степень, в которой прибор дал бы те же результаты, если бы измерение проводилось снова при тех же условиях: его постоянство.

Как мы оцениваем надежность?

Одна оценка надежности — надежность повторного тестирования . Это включает в себя проведение опроса с группой респондентов и повторение опроса с той же группой позднее. Затем мы сравниваем ответы в два момента времени.

Для категориальных переменных мы можем провести перекрестную таблицу и определить процент соответствия между результатами теста и повторного тестирования или рассчитать каппу Коэна ¹ .

Для непрерывных переменных или когда отдельные вопросы объединяются для построения балла по шкале, мы можем сравнить значения в двух временных точках с корреляцией.

Один из очевидных недостатков надежности повторного тестирования — это эффекты памяти. Тестирование и повторное тестирование проводятся в разных условиях.Если люди ответят на вопросы опроса во второй раз так же, как они помнят, как они ответили в первый раз, это создаст искусственно хорошее впечатление о надежности. Увеличение времени между тестом и повторным тестированием (для уменьшения эффекта памяти) открывает перспективу подлинных изменений с течением времени.

Если опрос будет использоваться для вынесения суждений или наблюдений по другому предмету, например, клиницисты, оценивающие пациентов с болью или проблемами психического здоровья, или учителя, оценивающие разные аспекты детской письменной речи, мы можем сравнить ответы разных оценщиков по одному и тому же предмету; межэкспертная надежность .Здесь мы будем использовать ту же статистику, что и для надежности повторного тестирования. Как и в случае надежности повторного тестирования, два измерения снова не выполняются в одинаковых условиях, оценщики разные; один может быть систематически «жестче», чем другой.

Надежность параллельной формы предполагает разработку двух эквивалентных параллельных форм обследования; форма A и форма B говорят, что обе измеряют одну и ту же основную конструкцию, но с разными вопросами в каждой. Респондентов просят заполнить оба опроса; некоторые принимают форму A, а затем форму B, другие принимают форму B, а затем формируют A.Поскольку вопросы в каждом опросе различаются, вопросы в каждом из них объединены в отдельные шкалы. Исходя из предположения, что параллельные формы действительно взаимозаменяемы, корреляция оценок шкалы в двух формах является оценкой их надежности. Недостаток этого в том, что это дорого; потенциально вдвое больше затрат на разработку одного исследования.

Альтернативой является надежность , разделенная на половину. Здесь мы произвольно делим опрос на две половины (например, нечетные и четные номера вопросов) и вычисляем корреляцию оценок по шкалам из двух половин.Надежность также зависит от количества вопросов в шкале, и мы фактически вдвое уменьшили количество вопросов. Поэтому мы корректируем вычисленную корреляцию, чтобы оценить надежность шкалы, которая вдвое больше длины, используя формулу Спирмена Брауна.

Надежность с разделением половин — это оценка надежности, известная как внутренняя согласованность; он измеряет степень, в которой все вопросы в опросе измеряют одну и ту же основную конструкцию. Альфа Кронбаха — еще один показатель надежности внутренней согласованности.Для опросов или оценок с четным числом вопросов альфа Кронбаха эквивалентна средней надежности по всем возможным комбинациям разделенных половин. Большинство аналитических программ также будет регулярно вычислять для каждого вопроса или элемента анкеты в шкале значение альфы Кронбаха, если этот элемент анкеты был удален. Эти значения можно изучить, чтобы судить о том, можно ли повысить надежность шкалы, удалив какие-либо элементы анкеты, как показано в приведенном ниже примере.

Шкала, составленная из этих 6 пунктов анкеты, имеет альфа Кронбаха 0,866. Элемент вопросника 4 ^-й (Q4) имеет самую слабую корреляцию с другими элементами, и удаление этого элемента вопросника из шкалы повысило бы надежность, увеличив альфа Кронбаха до 0,893.

В этом блоге мы обсудили различные подходы к оценке надежности. Надежность и обоснованность взаимосвязаны. Если опрос имеет низкую надежность, он будет иметь низкую достоверность.Однако хорошая надежность не обязательно означает, что опрос будет иметь хорошую достоверность. Скоро мы опубликуем еще один блог с учетом действительности.

Надежность и действительность

ИЗУЧЕНИЕ НАДЕЖНОСТИ В АКАДЕМИЧЕСКОЙ ОЦЕНКЕ

Авторы Колин Фелан и Джули Рен, помощники выпускников, UNI Office of Academic Assessment (2005-06)

Надежность — это степень, в которой инструмент оценки обеспечивает стабильную и стабильные результаты.

Виды надежности

1. Проверка-повторная проверка надежности — это мера надежности, полученная путем проведения одного и того же теста дважды в течение период времени для группы лиц. Результаты за время 1 и время 2 затем можно скоррелировать, чтобы оценить тест на стабильность по сравнению с время.

Пример: Тест, предназначенный для оценки успеваемости студентов по психологии, можно сдать группа студентов дважды, вторая администрация, возможно, придет через неделю после первого.Полученный коэффициент корреляции будет указывать на стабильность результатов.

2. Надежность параллельных форм является мерой надежности, полученной путем администрирования различных версий инструмент оценки (обе версии должны содержать элементы, которые проверяют одинаковые конструкция, навыки, база знаний и т. д.) одной и той же группе лиц. Затем оценки двух версий можно сопоставить, чтобы оценить согласованность результатов в альтернативных версиях.

Пример: Если вы хотите оценить надежность оценки критического мышления, вы можете создать большой набор элементов, относящихся к критическому мышлению и затем случайным образом разделите вопросы на два набора, которые будут представлять параллельные формы.

3. Межэкспертная надежность — это мера надежности, используемая для оценки степени, в которой разные судьи или оценщики соглашаются в своих оценочных решениях.Межэкспертная надежность полезно, потому что наблюдатели не обязательно интерпретируют ответы на так же; оценщики могут не согласиться с тем, насколько хорошо те или иные ответы или материалы продемонстрировать знание оцениваемого конструкта или навыка.

Пример: Надежность между экспертами может использоваться, когда разные судьи оценка степени соответствия художественных портфелей определенным стандартам. Надежность между экспертами особенно полезна, когда можно принимать во внимание суждения. относительно субъективно.Таким образом, использование этого типа надежности, вероятно, быть более вероятным при оценке художественных работ, чем при решении математических задач.

4. Надежность внутренней согласованности это мера надежности, используемая для оценки степени, в которой разные элементы теста, исследующие одну и ту же конструкцию, дают аналогичные результаты.

1. Среднее межпозиционное корреляция — это подтип надежности внутренней согласованности.это полученный путем взятия всех элементов теста, которые проверяют одно и то же построить (например, понимание прочитанного), определяя корреляцию коэффициент для каждой пары элементов, и, наконец, принимая среднее всех этих коэффициентов корреляции. Этот последний шаг дает среднюю корреляцию между пунктами.

2. Надежность при разделении половин еще один подтип надежности внутренней согласованности.Процесс получение половинной надежности начинается с разделения пополам всех элементы теста, которые предназначены для исследования той же области знаний (например, Вторая мировая война), чтобы сформировать два набора предметов. Модель весь тест проводится группе лиц, всего вычисляется оценка для каждого набора, и, наконец, надежность разделения половин получается путем определения корреляции между двумя полными наборами оценки.

Срок действия относится к тому, насколько хорошо тест измеряет то, что он должен измерять.

Почему это необходимо?

Хотя надежность необходима, она сама по себе не достаточно. Чтобы тест был надежным, он также должен быть действительным. Для Например, если ваши весы отклонены от нормы на 5 фунтов, они будут считывать ваш вес каждый день с помощью превышение 5 фунтов. Весы надежны, потому что они неизменно показывают одно и то же. веса каждый день, но это недействительно, потому что оно добавляет 5 фунтов к вашему истинному весу. Это неверный показатель вашего веса.

Типы действия

Пример : Если мера искусства признательность создается, все предметы должны быть связаны с разными компоненты и виды искусства.Если вопросы касаются исторического времени периоды, без ссылки на какое-либо художественное движение, заинтересованные стороны не могут быть мотивированы приложить все усилия или инвестировать в эту меру, потому что они Не верю, что это истинная оценка художественной оценки.

2. Срок действия конструкции используется, чтобы гарантировать, что мера действительно измерять то, что он предназначен для измерения (т. е. конструкцию), а не другие переменные. Использование группы экспертов, знакомых с конструкцией, — это способ который может быть оценен этим типом достоверности.Эксперты могут осмотреть предметы и решить, что этот конкретный элемент предназначен для измерения. Студенты могут быть участвуют в этом процессе, чтобы получить их отзывы.

Пример : исследования женщин Программа может разработать совокупную оценку обучения по основной специальности. Вопросы написаны со сложной формулировкой и формулировкой. Это может вызвать тест непреднамеренно становится тестом на понимание прочитанного, а не тест женских исследований. Важно, чтобы мера действительно оценивала предполагаемая конструкция, а не посторонний фактор.

3. Срок действия по критерию равен используется для прогнозирования будущих или текущих показателей — коррелирует результаты испытаний с еще один интересующий критерий.

Пример : Если физическая программа разработал меру для оценки совокупного обучения студентов по основной специальности. Новый показатель может быть соотнесен со стандартизированным показателем способностей в эта дисциплина, например полевой тест ETS или предметный тест GRE. Выше соотношение между установленной мерой и новой мерой, тем больше веры заинтересованные стороны могут иметь в новом инструменте оценки.

Пример : При разработке рубрики по истории можно было оценить знания студентов по дисциплине. Если мера может предоставить информацию о том, что учащимся не хватает знаний в определенных области, например Движение за гражданские права, то этот инструмент оценки предоставление значимой информации, которая может быть использована для улучшения курса или программные требования.

5. Срок действия выборки (аналогично достоверность содержания) гарантирует, что мера охватывает широкий диапазон областей в рамках исследуемой концепции.Не все можно покрыть, поэтому предметы необходимо быть отобранным со всех доменов. Это может потребоваться выполнить с помощью панели экспертов, чтобы обеспечить адекватную выборку из области содержания. Кроме того, панель может помочь ограничить предвзятость эксперта (т. Е. Тест, отражающий то, что человек лично считает, что это наиболее важные или актуальные области).

Пример : При проектировании оценка обучения на театральном факультете, недостаточно покрывают только вопросы, связанные с актерским мастерством.Другие области театра, такие как освещение, звук, должны быть включены все функции режиссеров. Оценка должен полностью отражать область содержимого.

1. Убедитесь в своих целях и задачах четко определены и введены в действие. Ожидания студентов должны быть записано.
2. Сопоставьте свою меру оценки с ваши цели и задачи. Кроме того, пусть тест будет рассмотрен преподавателями. в других школах, чтобы получить обратную связь от сторонней стороны, которая менее вложил в инструмент.
3. Вовлекайте студентов; иметь учащиеся просматривают экзамен на предмет проблемных формулировок или других трудности.
4. Если возможно, сравните свою меру с другими показателями или данными, которые могут быть доступны.

Список литературы

Американские исследования в области образования Ассоциация, Американская психологическая ассоциация, &

Национальный Совет по измерениям в образовании. (1985). Стандарты образовательных и психологическое тестирование . Вашингтон, округ Колумбия: Авторы.

Cozby, P.C. (2001). Измерение Концепции. Методы поведенческих исследований (7 ^{-е изд.} ).

Калифорния: Издательская компания Мэйфилд.

Кронбах, Л. Дж. (1971). Проверка теста. В Р. Л. Торндайке (Ред.). Образовательный

Измерение (2-е изд.). Вашингтон, округ Колумбия: Американский совет по образованию.

Москаль Б.М., Лейденс Дж. А. (2000). Развитие рубрики скоринга: Срок действия и

надежность. Практическая оценка, исследования и оценка, 7 (10). [Доступно онлайн: http://pareonline.net/getvn.asp?v=7&n=10].

Центр усовершенствования Обучение. Как повысить надежность теста и

срок действия: Последствия для выставления оценок.