ИСТИНА

Предлагаются способ и сервер для создания значений общего критерия оценки (ОЕС), предназначенного для использования во время тестирования контроль/эксперимент. Способ включает в себя, для каждой из контрольной и экспериментальной версий: получение наборов данных, указывающих на пользовательские взаимодействия; определение первых наборов значений первой пользовательской метрики; и определение вторых наборов значений пользовательской метрики. Способ включает в себя выбор значения линеаризации. Способ включает в себя, для каждой из контрольной и экспериментальных версий, определение линеаризованных наборов значений, причем значения в данном линеаризованном наборе представляют собой разницу между (i) значениями первого набора и (ii) значениями второго набора, которые взвешены с помощью значения линеаризации; и создание значений ОЕС на основе линеаризованных наборов. Разница между значениями ОЕС указывает на степень и направление изменений во взаимодействиях между версиями. 2 н. и 16 з.п. ф-лы, 3 ил.