Saltar al contenido principal

Una publicación etiquetados con "api"

Ver Todas las Etiquetas
intermediatePart 1

Un endpoint, muchos modelos: despliega un gateway LLM en una instancia WEC

· 16 min de lectura
Rafael Fernandes
Ingeniero de PLN y Redactor Técnico en WiLine
Share:
+LiteLLM+
0/5
🎯 Skill path0/5 earned
Self-hosting an LLM gateway

Así es como suele ir. Una aplicación necesita un modelo, así que pegas la clave API en su .env. Luego una segunda aplicación necesita una. Luego un script. Seis meses después, la misma clave está en cinco lugares, nadie recuerda cuál de ellas sigue funcionando, y no puedes rotarla sin romper algo que solo descubrirás cuando se rompa.

Un gateway es la solución aburrida. Un endpoint frente a cada modelo, un lugar que mantiene la credencial real, y una clave específica por aplicación que puedes revocar por su cuenta. Esta publicación despliega uno en una instancia WEC y lo apunta a la API de Inferencia WEC.