Adicionar modelos maritaca ao aisuite

[DaniloOliveira28]

Olá,

Queremos adicionar o Maritava aos nossos modelos. Há algum planejamento de adicionar o modelo ao projeto aisuite https://github.com/andrewyng/aisuite?

Obrigado!

[rodrigo-f-nogueira]

Olá Danilo,

Como nossa API é compatível com a da OpenAI, imagino que basta apontar para a base_url da maritaca ao invés da OpenAI, e usar a chave e modelos da Maritaca, como exemplo abaixo:

import aisuite as ai

provider_configs = {
    "openai": {
        "api_key": "sua_chave_de_api_da_maritaca",
        "base_url"="https://chat.maritaca.ai/api"
    }
}

client = ai.Client(provider_configs)

messages = [
    {"role": "system", "content": "Respond in Pirate English."},
    {"role": "user", "content": "Tell me a joke."},
]

  response = client.chat.completions.create(
      model="openai:sabia-3",
      messages=messages,
      temperature=0.75
  )
  print(response.choices[0].message.content)

[DaniloOliveira28]

Entendi, tem um porém, aumenta um pouco o custo do nosso desenvolvimento.

Considerando que o padrão é provedor:modelo. Como está sendo reusada a classe do provedor da openai, em um pós processamento vou precisar criar um "IF" para separar os modelos da maritaca dos modelos da openai para nosso processo de contabilização de tokens.

MAs, acho que funciona. vlw @rodrigo-f-nogueira

Tem alguma comunidade discord ou slack para trocarmos informações sobre o uso do maritaca?

Abs