LLM

Light

Mistral-Nemo-Instruct-2407

ACCEDI PER INIZIARE

Panoramica

Mistral‑Nemo‑Instruct‑2407 è sviluppato congiuntamente da Mistral AI e NVIDIA. Con 12 miliardi di parametri e un contesto di 118.000 token, è pensato per applicazioni multilingua che richiedono dialogo, generazione di codice e comprensione di istruzioni articolate. Supporta function calling, output strutturato e streaming. La dimensione contenuta lo rende adatto a scenari dove serve un buon equilibrio tra qualità delle risposte e velocità di inferenza.

Specifiche tecniche

  • SEDE DEL PROVIDER: UE
  • PARAMETRI: 12,2B
  • CONTESTO MAX: 128K token
  • LICENZA: Apache 2.0
  • FUNZIONALITÀ: Function calling
  • OUTPUT FORMATS: Raw_text, Json_object, Json_schema

Casi d'uso

  • Chatbot multilingua
  • Generazione di codice
  • Assistente conversazionale
  • Comprensione di istruzioni complesse

Esempi di implementazione

Input 
curl --request POST \
--url https://apiaruba.it/aiplatform/v1/chat/completions \
--header 'content-type: application/json' \
--header 'x-aruba-api-key: *****' \
--data '{
"model": "Mistral-Nemo-Instruct-2407",
"messages": [
{
"role": "system",
"content": "Sei un assistente conciso."
},
{
"role": "user",
"content": "Spiega cos'\''è un embedding."
}
],
"temperature": 0.7,
"max_tokens": 1000
}'
Output 
{
"id": "chatcmpl-36255b3a-69c2-4884-adcb-49e8211106b1",
"created": 1787560711,
"model": "Mistral-Nemo-Instruct-2407",
"object": "chat.completion",
"system_fingerprint": "vllm-0.22.1-820c92fc",
"choices": [
{
"finish_reason": "stop",
"index": 0,
"message": {
"content": "Un embedding è una rappresentazione densa di una parola o di un concetto in uno spazio vettoriale, dove le parole o i concetti simili sono vicini tra loro. Viene spesso utilizzato in campo dell'elaborazione del linguaggio naturale per rappresentare le parole in modo che i modelli di machine learning possano comprenderne il significato.",
"role": "assistant",
"provider_specific_fields": {
"reasoning": null,
"refusal": null
}
},
"provider_specific_fields": {}
}
],
"usage": {
"completion_tokens": 75,
"prompt_tokens": 17,
"total_tokens": 92
}
}

Costo

0,0164 € + IVA / 1M token (input)
0,0246 € + IVA / 1M token (output)
ACCEDI PER INIZIARE

Risorse