· 3 мин чтения
🔥 GPT-4 стала дешевле — новая модель GPT-4 Turbo от OpenAI
В новом релизе OpenAI анонсировали обновление моделей — обновлённая GPT-4 не только быстрее, но и дешевле.
GPT-4 Turbo приходит на смену GPT-4
Четвертая версия вышла в марте этого года, и отличалась высокой стоимостью и медленной генерацией.
Новая версия Turbo приходит ей на замену. Скорость генерации увеличилась в 2 раза, а стоимость уменьшилась на столько же.
Что нового в GPT-4 Turbo
Во-первых, увеличили окно контекста до 128k токенов. Окно контекста - это количество информации, которое можно отправить в модель. Но это не значит, что модель теперь умеет генерировать очень длинные тексты, потому что увеличили только количество токенов на запрос, но не на ответ.
Во-вторых, добавили поддержку Vision для разработчиков. Ранее доступ к распознаванию картинок был только на официальном сайте, а теперь это можно использовать в своих проектах.
В-третьих, уменьшили стоимость генерации в 2 раза, а стоимость обработки запроса в 3 раза.
GPT-4 Turbo лучше справляется с задачами, требующими тщательного следования инструкциям, такими как генерация определенных форматов (например, “всегда отвечать в XML”). Она также поддерживает новый режим JSON, в котором исправлена проблема, когда модель иногда отдавала невалидный JSON.
Воспроизводимые выходные данные
Добавлен параметр seed, который позволяет получать воспроизводимые выходные данные. Это полезно для отладки, написания более полных модульных тестов и, как правило, более высокой степени контроля над поведением модели. ИИ работает так, что на один и тот же запрос может выдавать разные ответы, а с помощью параметра seed, можно получать одинаковые ответы на один и тот же запрос. В некоторых случаях это может быть полезно.
Что нового в GPT-3.5 Turbo
Не обделили вниманием и самую популярную модель GPT-3.5 Turbo — теперь она поддерживает контекстное окно размером 16k токенов. Новая версия 3.5 Turbo поддерживает улучшенное выполнение инструкций, режим JSON и параллельный вызов функций. По статистике, модель справляется на 38% эффективнее, выполняя такие задачи, как генерация JSON, XML и YAML. Идентификатор модели: gpt-3.5-turbo-1106, и разработчики могут использовать её в API уже сейчас.
API для Ассистентов, поиск информации и интерпретатор кода
Добавлены ассистенты — это специально созданный ИИ, который имеет конкретные инструкции, использует дополнительные знания и может вызывать модели и инструменты для выполнения задач. API для ассистентов предоставляет новые возможности, такие как интерпретатор кода и поиск информации, а также вызов функций. Ассистенты позволяет создавать AI-приложения, которые ранее делать было долго и сложно.
API для ассистентов включает в себя настраиваемый prompt и такие инструменты как интерпретатор кода, поиск информации и вызов функций.
Одно из ключевых изменений — треды. Это бесконечно длинные ветки, которые позволяют разработчикам обойти ограничения окна контекста. С помощью API для ассистентов вы просто добавляете каждое новое сообщение к существующей ветке.
Ассистенты также имеют доступ к вызову новых инструментов: • Интерпретатор кода: пишет и выполняет код Python в изолированной среде выполнения, может создавать графики и диаграммы, обрабатывать файлы с различными данными и форматированием. Это позволяет ассистентам выполнять код итеративно для решения сложных задач программирования и математики и многого другого.
• Поиск информации: расширяет возможности помощника за счет знаний извне наших моделей, таких как собственные данные домена, информация о продуктах или документы, предоставленные пользователями. Это означает, что вам не нужно вычислять и хранить эмбеддинги для ваших документов или реализовывать алгоритмы разбиения на части и поиска. API для ассистентов оптимизирует технику поиска в таких документах.
• Вызов функций: позволяет помощникам вызывать функции, которые вы определяете, и интегрировать ответ функции в их сообщения.