2 publicaciones etiquetados con "gateway"

Gateways · AI News

Pfizer opera un gateway de IA — el único servicio con el que habla cada herramienta interna cuando quiere un modelo. Durante una verificación rutinaria de actualización, su throughput cayó a la mitad. Sin errores. Sin peticiones fallidas. Nada raro en ningún dashboard.

Publicaron lo que encontraron junto al equipo de LiteLLM, y la causa es lo bastante pequeña como para caber en un párrafo: alguien escribió una opción que decía no cifres esta conexión, y el sistema la cifró igual.

Casi cada guía de "asegura tu aplicación LLM" da el mismo consejo: antes de que una indicación llegue al modelo, elimina los datos personales de ella — intercambia nombres, correos electrónicos y números de cuenta por [REDACTED] o <PERSON>, luego llama al modelo.

Suena obviamente correcto. Yo también asumí que lo era. Luego fui y leí la investigación sobre lo que realmente hace el enmascaramiento a un modelo, y los documentos apuntan en la dirección opuesta. La versión corta: enmascara tus registros, no tus indicaciones.