Особенности реализации
Нет поддержки function calls, но есть поддержка tools
С 20 августа 2024 функциональность function calls, как
устаревшая версия tool calls, больше не работает. Пожалуйста, используйте tool calls для реализации.Tool calls (вызовы tools) поддерживаются, как указано в дополнительных фичах
n=1 – всегда возвращается один варианта текста/картинок
При генерации на сервисе, как правило, мы НЕ позволяем генерировать сразу несколько вариантов текста или изображений – это усложняет управление моделями.
Поэтому при запросе принудительно устанавливается n=1 для числа генераций.
Неуказанные max_tokens в chat/completions
Согласно стандарту, вам нужно указывать max_tokens в запросе. max_tokens определяет максимальное количество токенов ответа модели.
Но на практике ряд endpoint, в том числе часть наших провайдеров позволяют его не указывать. Это позволяет не заморачиваться с расчетом размера контекста модели и пр. – однако при этом могут возникать странные проблемы (например, была история с генерацией в ответе 250к пробелов от модели Google – просто потому, что не был указан max_tokens, а модель сама не остановила генерацию)
Мы считаем, что указывать max_tokens крайне желательно, но выбор остается за вами. Настроить поведение API при отсутствующем max_tokens можно на
странице настроек