intermediatePart 1
Un endpoint, muchos modelos: despliega un gateway LLM en una instancia WEC
· 16 min de lectura
+
+
+0/5
🎯 Skill path0/5 earned
Self-hosting an LLM gateway
Así es como suele ir. Una aplicación necesita un modelo, así que pegas la clave API en
su .env. Luego una segunda aplicación necesita una. Luego un script. Seis meses después, la misma
clave está en cinco lugares, nadie recuerda cuál de ellas sigue funcionando, y no
puedes rotarla sin romper algo que solo descubrirás cuando se rompa.
Un gateway es la solución aburrida. Un endpoint frente a cada modelo, un lugar que mantiene la credencial real, y una clave específica por aplicación que puedes revocar por su cuenta. Esta publicación despliega uno en una instancia WEC y lo apunta a la API de Inferencia WEC.
