Интернет без ограничений в России – с VPN через Телеграмм-бот:
|
Какая из моделей одержала победу в столь непростом состязании?
В рамках недавнего хакатона Mistral, прошедшего в Сан-Франциско, разработчики из Phospho и Quivr создали уникальный бенчмарк для больших языковых моделей (LLM), названный LLM Colosseum, который тестирует их способности в ретро-видеоигре Street Fighter III.
Работает это следующим образом: языковые модели получают текстовое описание экрана и в реальном времени решают, в какую сторону двигаться и какие приёмы использовать. Все последующие ходы зависят от предыдущих ходов как самой модели, так и ходов противника, а также количества здоровья и энергии для спецприёмов.
Согласно официальной таблице лидеров LLM Colosseum, где было проведено 342 боя между восемью различными языковыми моделями, первенство безоговорочно заполучил GPT-3.5 Turbo, имея рейтинг 1776,11 баллов. Это значительно превышает показатели GPT-4, чьи результаты колеблются в диапазоне от 1400 до 1585 баллов в зависимости от конкретной версии.
Разблокируй интернет в России с помощью нашего VPN:
|
Разработчик Николас Ульянов объяснил внезапное превосходство более простой модели тем, что успех LLM в подобных испытаниях зависит от баланса скорости и интеллекта. «GPT-3.5 Turbo обладает хорошим сочетанием скорости и ума. GPT-4 крупнее и умнее, однако значительно медленнее», — заявил разработчик.
В рамках другого эксперимента со Street Fighter III, проведённого Банджо Обайоми, разработчиком из Amazon Web Services, модели соревновались уже на платформе Amazon Bedrock. В этом турнире модель Claude заняла первые четыре места, демонстрируя наилучшие результаты.
По словам Ульянова, ИИ-модели пока не могут соревноваться с профессиональными игроками и пока что способны составить конкуренцию разве что детям или пожилым соперникам.
Ульянов также раскритиковал обычные методы оценки моделей, считая их неспособными полноценно показать реальные способности искусственного интеллекта. Он утверждает, что проекты вроде LLM Colosseum демонстрируют истинные возможности нейросетей: «Этот проект показывает, что LLM могут стать настолько умными, быстрыми и универсальными, что будут использоваться везде, где требуется мгновенное принятие решений».
Ваши данные уже украдены. Вопрос лишь в том, когда их используют против вас.
Узнайте, как защититься!
Купить анонимный VPN означает приобретение виртуальной частной сети (VPN), которая обеспечивает высокий уровень анонимности и конфиденциальности при использовании интернета. Анонимный VPN помогает скрыть вашу личность, местоположение и онлайн-активность от посторонних, включая интернет-провайдеров, хакеров и государственные органы.
Почему стоит купить анонимный VPN?
-
Защита конфиденциальности: Анонимный VPN помогает защитить вашу личную информацию от слежки и утечек, что особенно важно в условиях растущей онлайн-угрозы.
-
Безопасность в общественных сетях: Используя анонимный VPN, вы можете безопасно подключаться к общественным Wi-Fi сетям, защищая свои данные от кражи.
-
Анонимное серфинг: Анонимный VPN позволяет вам без опасений исследовать интернет, не беспокоясь о том, что кто-то может отслеживать вашу активность.
-
Гибкость и удобство: Анонимные VPN-сервисы часто предлагают различные настройки и функции, что позволяет пользователю адаптировать сервис под свои нужды.
