PrismML comprime Qwen3.8 27B a 5,9 GB con pesos ternarios, con licencia abierta Apache 2.0
- Qué pasó
- PrismML lanzó el 17 de septiembre de 2026 Ternary Bonsai 2 27B, una versión de 1,76 bits y 5,9 GB de Qwen3.8 27B, con licencia Apache 2.0.
- Por qué importa
- Un modelo abierto de 27B con 262 000 tokens de contexto y entrada de imagen ya cabe en una GPU de consumo o en un Mac, con un 98,2 % de la calidad a precisión completa según PrismML.
- Qué hacer
- Descárgalo y pruébalo con tus propias tareas antes de sustituir el modelo a precisión completa.
Nuestro veredicto: condicional, así que descárgalo y pruébalo. Ternary Bonsai 2 27B mete Qwen3.8-27B, un modelo de texto e imagen con 262 000 tokens de contexto, en 5,9 GB con licencia Apache 2.0. Es lo bastante pequeño para una sola GPU de consumo, un Mac o incluso un iPhone o un iPad. La pega: todas las cifras que siguen vienen de PrismML, y un agregado del 98,2 % puede ocultar una caída mayor en tu tarea. Si ejecutas modelos en local, merece una tarde con tu propia carga de trabajo antes de que sustituya a nada.
Qué ha pasado
El 17 de septiembre de 2026, PrismML lanzó Ternary Bonsai 2 27B, con los pesos en Hugging Face y GitHub bajo licencia Apache 2.0. Almacena Qwen3.8 27B como pesos ternarios (cada uno -1, 0 o +1, con escalado FP16 por grupos), lo que supone 1,76 bits efectivos por peso. El resultado son 5,9 GB, que según PrismML es más de 9 veces más pequeño que el modelo a precisión completa.
Las cifras de PrismML:
| Medida | Valor |
|---|---|
| Puntuación agregada | 83,9, frente a 85,4 a precisión completa (98,2 % retenido) |
| Tamaño | 5,9 GB a 1,76 bits efectivos por peso |
| Contexto | 262 000 tokens |
| Entrada | Texto e imagen |
| Rendimiento | Hasta 143 tokens/s en RTX 5090, 46,8 tokens/s en M5 Max |
| Energía | 0,714 mWh por token en RTX 4090 |
| Licencia | Apache 2.0 |
Funciona en GPU de NVIDIA mediante CUDA, y en Mac, iPhone y iPad mediante MLX con los kernels personalizados de pocos bits de PrismML.
Por qué importa
Con 5,9 GB, un modelo abierto de 27B con 262 000 tokens de contexto y entrada de imagen cabe en el presupuesto de memoria de una sola GPU de consumo o de un Mac, y la licencia Apache 2.0 permite el uso comercial. Si la diferencia agregada de 1,5 puntos se mantiene en trabajo real, desplegar en local este tipo de modelo resulta mucho más barato.
Ese «si» es la razón por la que lo dejamos en condicional. Todas las cifras son de la propia PrismML, y no lo hemos probado. Una puntuación agregada promedia muchos benchmarks, así que una pequeña caída media puede ocultar una caída mucho mayor en programación, visión o tareas de contexto largo. Los benchmarks del modelo base también los comunica el propio proveedor, y por eso Qwen3.8-27B también está en condicional. Además necesitas los kernels de PrismML: un runtime estándar no sirve.
Qué cambia para ti
- Si ejecutas Qwen3.8-27B en local: ejecuta Ternary Bonsai 2 27B en paralelo con tus propios prompts. Cambia solo si la calidad se mantiene en las tareas que de verdad pones en producción.
- Si un modelo de 27B no cabía en tu hardware: este es el primero que probar. Descarga los pesos y ejecútalos con CUDA o MLX.
- Si necesitas calidad verificada: espera a benchmarks independientes. Todavía no hemos encontrado ninguno.
Qué hacer
- 1 Descarga los pesos desde Hugging Face o GitHub y ejecútalos con CUDA o MLX.
- 2 Compáralo con Qwen3.8-27B a precisión completa en tu propia carga de trabajo. La cifra de retención del 98,2 % es un agregado de PrismML.
Herramientas y modelos afectados
No vuelvas a tener que ponerte al día
El resumen semanal: solo cambios de veredicto y acciones urgentes. Sin relleno.