Amazon: Зачем важны реальные результаты AI, а не рейтинги

Мнение руководителя Amazon по AI

Рохит Прасад, старший вице-президент Amazon по искусственному общему интеллекту (AGI), выступил с заявлением, которое ставит под сомнение важность рейтингов моделей AI.

Реальные результаты важнее рейтингов

В интервью перед анонсами на мероприятии AWS re:Invent в Лас-Вегасе, Прасад призвал специалистов не зацикливаться на таблицах лидеров.

Он отметил: «Я хочу видеть реальную полезность. Ни один из этих рейтингов не отражает действительность». По его словам, настоящие показатели можно получить только в том случае, если все модели используют одни и те же данные для обучения, а оценки полностью изолированы.

Однако, по мнению Прасада, ситуация на данный момент такова, что этого не происходит. «Оценки становятся шумными и не показывают настоящую мощь технологий», — добавил он.