Microsoft presenta Mu, o modelo lingüístico ultralixeiro

Microsoft vén de anunciar Mu, o seu novo modelo lingüístico de pequeno tamaño deseñado para funcionar de forma eficiente directamente en dispositivos, sen necesidade de conexión a servidores externos. Mu é o motor que alimenta o axente de configuracións dispoñible en equipos Copilot+ con Windows 11, accesible xa para usuarios do programa Insider na canle Dev.
O modelo, que opera integramente sobre a NPU, permite converter instrucións en linguaxe natural en accións directas sobre o sistema operativo, como cambiar o brillo da pantalla ou activar o modo avión, cun rendemento que supera os 100 tokens por segundo.
A clave deste rendemento está na súa arquitectura encoder–decoder, que permite separar o procesamento da entrada e da saída de datos, optimizando o uso da memoria e reducindo a latencia. Probas realizadas sobre NPU como a Qualcomm Hexagon amosan que Mu reduce en máis dun 47 % o tempo de resposta inicial e multiplica por 4,7 a velocidade de xeración respecto de modelos equivalentes baseados só en decodificador.
Con só 330 millóns de parámetros, Mu integra tecnoloxías como Grouped Query Attention ou Rotary Positional Embeddings, que lle permiten competir en precisión con modelos moito máis grandes como Phi-3.5-mini, pero cun consumo e un tamaño ideais para dispositivos portátiles.
O modelo foi adestrado en Azure usando técnicas avanzadas de destilación a partir de Phi e refinado con tarefas específicas como o axente de configuracións, empregando máis de 3,6 millóns de exemplos para lograr unha resposta inferior aos 500 milisegundos.
Ademais da optimización arquitectónica, aplicáronse técnicas de cuantificación post-adestramento que permiten executar o modelo con precisión en representacións de 8 e 16 bits, reducindo significativamente a memoria requirida e mellorando o rendemento.
O axente de configuracións integrase co buscador nativo de Windows, adaptándose ao tipo de consulta: mentres as frases máis longas activan a interpretación semántica de Mu, as máis curtas seguen ofrecendo resultados baseados en coincidencias lexicais.