Mixture of experts

This audio is presented by Hacker Noon, where anyone can learn anything about any technology.

DeepSeek V4 One Flash packs five hundred and fifty-two B parameters with efficient MoE inference.

By models forty-four.

Overview.

Model.

Task tags: image to text.

Architecture: multimodal MoE with a forty-layer causal encoder-decoder.

Layer structure: twenty-layer causal encoder followed by a twenty-layer decoder.

[carraspea] Amber, dos más, uno del frente de modelos de China y uno de sus mercados de capitales.

Alibaba lanzó Qwen tres punto ocho Flash Next este jueves, un modelo de mezcla de expertos nativamente multimodal que activa solo una parte de sus parámetros por tarea, apuntando a mejor rendimiento con menor costo computacional.

Y Moonshot AI de China, el laboratorio detrás del chatbot Kimi, tiene reportado el objetivo de una salida a bolsa en Hong Kong con una valoración cercana a los cincuenta mil millones de dólares bajo las reglas de listado tecnológico del capítulo 18 C de esa ciudad.

Cinco historias, dos reportes de resultados, una adquisición gigante, un modelo de ciberseguridad restringido y una OPI de cincuenta mil millones en camino.