Cybernetics Wiki
Нет учётной записи?
Регистрация
Advertisement
Регистрация
в: Премии, Экспертные системы, Инженерия знаний

Netflix Prize

Править

Netflix Prize — открытое соревнование на лучший алгоритм предсказания оценки, которую зритель поставит фильму, на основе предыдущих оценок этого и других зрителей. Соревнование проводит Netflix, крупная фирма по аренде DVD. За некоторыми исключениями[1], участвовать могут все желающие. Главный приз составляет $1,000,000. Для его получения надо улучшить алгоритм фирмы Netflix на 10 %.[2]

Общая информация[]

Netflix — фирма по аренде DVD с годовым оборотом 996 млн долларов (2006), основанная в 1997 году. Клиенты заказывают DVD через интернет и получают (и отправляют) по почте. Клиенты могут выставлять фильмам оценки от 1 до 5. С течением времени Netflix накопила огромную базу данных, содержащую более миллиарда оценок [3], выставленныx фильмам клиентами. На основе этой базы данных Netflix рекомендует клиентам фильмы, которые им с большой вероятностью понравятся. Алгоритм, предсказывающий, насколько тот или иной фильм понравится клиенту, основан на линейной регрессии [3] и называется Cinematch.

Тривиальный алгоритм, ставящий каждому фильму его среднюю оценку, даёт среднеквадратичное отклонение (СКО) 1,0540. Алгоритм Cinematch, использующий те данные, которые доступны участникам соревнования, даёт СКО 0,9525 на тестовом множестве, то есть он примерно на 10 % лучше тривиального алгоритма. Фирма заплатит главный приз команде, которая сможет улучшить результат ещё на 10 %.

Данные[]

Все участники (и вообще все желающие) могут скачать следующие 4 файла:

  • Тренировочные данные (training data set) содержат более 100 млн оценок, которые более 480 тыс. клиентов поставили 17.770 фильмам. Каждая оценка представляет собой квадруплет <номер клиента, номер фильма, дата оценки, оценка>. Номера клиентов и фильмов — целые числа, оценка — целое число от 1 до 5 (низшая оценка 1, высшая 5).[4] Таким образом, в среднем каждый клиент поставил около 200 оценок, а каждый фильм получил около 5000. Однако количество оценок сильно варьирует: так, некоторые фильмы получили всего 3 оценки,[5], а один клиент оценил более 17 тыс. фильмов[6].
  • Квалификационные данные (qualifying data set) содержат 2,8 млн триплетов <пользователь, фильм, дата оценки>. Оценки известны только жюри и будут опубликованы по окончании соревнования.
  • Названия и годы выхода в прокат всех 17.770 фильмов.
  • Фрагмент тренировочной базы данных, распределённый так же, как квалификационные данные. Этот фрагмент может использоваться, например, для оценки алгоритмов до посылки их на сайт.

Никакой информации о клиентах в базе данных нет.

Для защиты прайваси клиентов, «некоторые данные из тренировочного и квалификационного намеренно искажены одним или более из следующих способов: стирание оценок; вставка альтернативных оценок и дат; модификация дат».[2]

Каждый участник должен отправить файл с предсказаниями оценок из квалификационного набора данных. Предсказания могут быть и вещественными. В ответ сообщается среднеквадратичное отклонение (СКО) предсказаний, округлённое до 4-го знака после запятой. Список СКО лучших участников также вывешивается на сайте. Сами предсказания держатся в секрете.

Участник может отправлять предсказания не чаще раза в день. Учитывается лучший набор предсказаний каждого участника.

Для того чтобы участник не мог использовать СКО для угадывания оценок, квалификационный набор данных разделён на двое. Участникам сообщаются результаты одной из половинок, называемой quiz set, но для получения приза (любого) учитываются результаты другой половинки — test set. Участники не знают, какая из записей к какой половинке относятся.

Были споры по поводу выбора метрики. Действительно ли уменьшение ошибки на 10 % поможет пользователям? По мнению одного из участников соревнования, улучшение ошибки даже на 0,01 существенно изменит список 10 рекомендованных фильмов.[7].

Призы[]

Cinematch, используя только те данные, которые доступны участникам, достигает СКО 0,9514 на quiz set и 0,9525 на test set. Это примерно на 10% лучше тривиального алгоритма, ставящего каждому фильму его среднюю оценку. Для получения главного приза, в 1 млн долларов необходимо улучшить СКО ещё на 10%, получив 0,8572 на test set. (Такое улучшение соответствует СКО 0,8563 на quiz set.)

До тех пор пока главный приз не будет завоёван, ежегодно лучшей команде будет присуждаться приз за прогресс (progress prize) в размере 50 тыс. долларов. Но для того, чтобы получить этот приз, команда должна улучшить СКО не менее чем на 1% по сравнению с предыдущим лауреатом приза (в первый год — по сравнению с Cinematch).

Чтобы получить любой приз, команда должна в течение недели предоставить исходный код алгоритма, его описание и неисключительную лицензию на использование его алгоритма компанией Netflix. Исходный код и описание проверяются. Netflix публикует описание, но не исходный код. Сами предсказания также остаются секретными. Команда может отказаться от приза для того, чтобы сохранить в секрете свой алгоритм. Тогда приз получает следующая команда, если её СКО достаточно хорош.

После того, как одна из команд сумеет улучшить СКО на 10% или больше, жюри даёт всем участникам ещё 30 дней, чтобы послать свои результаты. Затем у команды, пославшей лучший набор предсказаний, запрашиваются описание алгоритма, исходный код и неисключительная лицензия, и, в случае успешной проверки, команда объявляется победителем и получает главный приз. На этом соревнование завершается.

Конец соревнования[]

Соревнование завершается, когда одна из команд получает главный приз. Если никто не получает главный приз, соревнование продлится не менее 5 лет (до 2 октября 2011 года). После этой даты, Netflix имеет право прекратить соревнование в любой момент.

История и текущие результаты[]

Соревнование началось 2 октября 2006 года. Уже 8 октября команда WXYZConsulting превзошла результаты Cinematch.[8] К 15 октября было уже 3 компании с результатами лучшими, чем Cinematch. Одна из них превзошла Cinematch на 1.06 %, этого достаточно, чтобы получить приз за прогресс.[9] К июню 2007 для участия в соревновании зарегистрировались более 20 тысяч команд из более чем 150 стран. 2000 команд послали 13 тысяч наборов предсказаний.

В первый год соревнования лидерами гонки были следующие команды:

  • Gravity, группа из 4 учёных из Будапештского технологического университета.
  • ML@UToronto A, команда из университета Торонто, возглавляемая проф. Джеффри Хинтоном.
  • анонимная команда, называющая себя ICMLsubmission
  • BellKor, группа учёных из AT&T

12 августа 2007 многие участники собрались на конференцию «KDD Cup and Workshop 2007».[10] в Сан-Хосе, Калифорния. На конференции все четыре ведущих группы представили свои техники.

2 сентября 2007 участникам осталось 30 дней до присуждения приза за прогресс 2007 года. В начале этого срока лучший результат был у BellKor с её СКО 0,8728 (улучшение на 8,26 %), за которой следовали Dinosaur Planet (СКО=0.8769; улучшение на 7.83 %) и Gravity (СКО=0.8785; улучшение на 7.66 %). В последний час перед присуждением приза первое место занял KorBell. Как оказалось, это другое имя команды BellKor.

Приз за прогресс 2007[]

13 ноября 2007, KorBell был объявлен лауреатом приза за прогресс в размере $50,000.[11] с СКО 0.8712 (улучшение на 8.43%). Команда состояла из трёх исследователей из AT&T: Иегуды Корена (Yehuda Koren), Роберта Белла (Robert Bell) и Криса Волински (Chris Volinsky).[12] Как и требуется правилами, они опубликовали описание своего алгоритма.[13]

Приз за прогресс 2008[]

Приз за прогресс 2008 года получила команда «BellKor in BigChaos», достигшая улучшение в 9.44% (СКО=0.8616).[14] Участники команды опубликовали описание использованного алгоритма.[15][16]

2009[]

26 июня 2009 команда «BellKor's Pragmatic Chaos», образованная в результате слияния команд «BellKor in BigChaos» и «Pragmatic Theory», достигла улучшения в 10.05% (СКО=0.8558) [17] по сравнению с системой Cinematch, и таким образом соревнование перешло в завершающую фазу. Согласно правилам, с этого момента остальным участникам отводится 30 дней, до 26 июля 2009 года, для отправки своих окончательных решений, после чего будут подведены итоги соревнования.[18]

Примечания[]

  1. ↑ В соревновании запрещено участвовать тем, кто связан с фирмой (нынешние и бывшие сотрудники, агенты, контракторы, близкие родственники перечисленных и т. д.), жителям Квебека, жителям Ирана, Кубы, Мьянмы, Северной Кореи, Сирии и Судана. Кроме того, Netflix оставляет за собой право дисквалифицировать любого участника.
  2. ↑ 2,0 2,1 "The Netflix Prize Rules". Проверено 21 августа 2007.
  3. ↑ 3,0 3,1 http://www.netflixprize.com/faq
  4. ↑ James Bennett; Stan Lanning (August 12, 2007). "The Netflix Prize". Proceedings of KDD Cup and Workshop 2007. Проверено 2008-08-25. 
  5. ↑ Sigmoid Curve "Miss Congeniality". Netflix Prize Forum (2006-10-08). Проверено 25 августа 2008.
  6. ↑ prodigious "A single customer that rated 17,000 movies". Netflix Prize Forum (2006-10-06). Проверено 25 августа 2008.
  7. ↑ YehudaKoren How useful is a lower RMSE?. Netflix Prize Forum (2007-12-18).
  8. ↑ "Netflix Prize Rankings". Hacking NetFlix (October 9, 2006). Проверено 21 августа 2007.
  9. ↑ "Netflix Prize (I tried to resist, but...)". Juho Snellman's Weblog (October 15, 2006). Проверено 21 августа 2007.
  10. ↑ The KDD Cup and Workshop 2007.
  11. ↑ Prizemaster Netflix Progress Prize 2007 awarded to team KorBell. Netflix Prize Forum (2007-11-13).
  12. ↑ $50,000 Progress Prize is Awarded on First Anniversary of $1 Million Netflix Prize.
  13. ↑ R. Bell, Y. Koren, C. Volinsky "The BellKor solution to the Netflix Prize" (2007).
  14. ↑ Prizemaster Netflix Progress Prize 2008 to Team BellKor in BigChaos. Netflix Prize Forum (2008-12-10).
  15. ↑ A. Töscher, M. Jahrer "The BigChaos solution to the Netflix Prize 2008" (2008).
  16. ↑ R. Bell, Y. Koren, C. Volinsky "The BellKor solution to the Netflix Prize 2008" (2008).
  17. ↑ http://www.netflixprize.com//leaderboard
  18. ↑ BellKor's Pragmatic Chaos (2009-06-26).


Внешние ссылки[]

Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA, если не указано иное.
Advertisement

Fan Feed