来自 智东西
作者 | 香草
编辑 | 李水青
智东西 4 月 11 日报道，昨日，“欧洲版 OpenAI”Mistral AI又一次悄然秀肌肉，甩出全新 MoE（专家混合）大模型Mixtral 8x22B磁力链接，模型参数规模高达1760 亿，仅次于马斯克的 Grok-1，成为市面上参数规模第二大的开源模型。
▲Mistral AI 发布 Mixtral 8x22B
Mixtral 8x22B 由 8 个专家模型构成，每个模型的参数规模 220 亿，模型文件大小约为 262GB。测评成绩方面，Mixtral 8x22B 在 MMLU（大规模多任务语言理解）登顶开源模型榜首，Hellaswag、TruthfulQA、GSM8K 等多项测评成绩超越 Llama 2 70B、GPT-3.5 以及 Claude 3 Sonnet。
这是近日继 OpenAI 的视觉版 GPT-4 Turbo 和谷歌的 Gemini 1.5 Pro 全面更新后，大模型厂商们发布的第三个重要型号。此外，Meta 还暗示将在下个月发布 Llama 3。
一、问鼎 MMLU 开源榜首，3 张 A100 显卡可跑
Mixtral 8x22B 包含 8 个专家模型，每个专家模型的参数规模从上一代的 70 亿飙升至 220 亿，序列长度为 65536。
在放出磁力链接后不久，Mixtral 8x22B 便上架了开源社区 Hugging Face，模型文件大小约为 262GB，用户可以进一步训练和部署。
性能方面，其在 MMLU 测评榜登顶开源模型榜首，多项测评成绩超越 Llama 2 70B、GPT-3.5 以及 Claude 3 Sonnet。
▲Mixtral 8x22B 测评成绩
虽然发布方式低调，但 Mixtral 8x22B 再一次引爆了开源社区。AI 搜索平台 Perplexity Labs 和开源平台 Together AI 都迅速提供了该模型的支持。
AI 科学家贾扬清称，通过合理的量化，Mixtral 8x22B 可在 4 个 A100/H100 显卡上运行，严格来说，其实3 张 A100 显卡就够了。
▲贾扬清称 3 张 A100 显卡可以跑 Mixtral 8x22B
苹果机器学习研究员 Awni Hannun 称，Mixtral 8x22B 模型在苹果机器学习框架 MLX 上使用 M2 Ultra 芯片运行良好，并发布了 MLX 社区中的 4 位量化模型。
▲苹果机器学习框架 MLX 运行 Mixtral 8x22B
二、杨立昆转发，法国 AI 生态如此“逆天”
现如今，法国巴黎的 AI 生态已是“Next Level”。出身巴黎的 Meta 首席 AI 科学家杨立昆转发了一篇讲述巴黎是如何成为一个主要 AI 中心的帖文，故事可以从 10 多年前说起。
▲杨立昆转发 Damien Henry 帖文
2013 年，Xavier Niel 创办了计算机培训学校 Ecole 42，这所不同寻常的学校接收来自不同背景的学生，以点对点学习的方式培训编程。
2015 年，杨立昆创办了 FAIR Paris，也就是 FacebookAI 研究院。他被公认为深度学习的三大发明者之一，另外两位是加拿大人。
FAIR 向法国人才发出了一个信号：他们不必离开法国就可以从事深度学习研究；也向美国其他科技巨头发出信号：在法国进行科学研究是可行的。之后在 2018 年，谷歌 DeepMind 也在巴黎开设了一家实验室。
2016 年，第一届 VivaTech 举办，它成为欧盟首屈一指的初创企业和投资者盛会，吸引了超过 2400 家初创企业和超过 2000 名投资者。
同年，开源社区 Hugging Face 在法国成立。也许当时的他们不会知道，其 Transformer 库不久之后就会成为行业标准。
2017 年，Xavier Niel 成立了 STATION F，这是世界上最大的创业园区。在 Roxanne Varza 的带领下，它成为了法国的科技中心。值得一提的是，Hugging Face 是首批加入 STATION F 计划的创企之一，也是该计划诞生的首个独角兽。
▲STATION F 创业园区
2018 年，杨立昆获得图灵奖，成为 AI 领域最具影响力的人物之一。
▲杨立昆
在此期间，这篇帖文的作者 Damien Henry 在巴黎组建了 Google Arts&Culture 团队，专注于 AI 和图像。他还和其他两位联创共同创建了 AI 视觉生成工具 Clipdrop，后被 Stability AI 收购。
2019 年，巴黎已经在世界 AI 地图上占据一席之地，但并不像如今一样成为主流。
但在 2020 年，疫情席卷了全球，远程办公成为常态。这让科技界开始转移阵地：世界上有这么多地方可供选择，我为什么非要在硅谷租房？此外，美国人开始逐渐把科技发展视为一种威胁，而大多数科技没那么发达的国家则恰恰相反。
2021 年，Hugging Face 迅速增长，成为如今我们熟知的最强开源 AI 平台。深度科技在全球范围内加速发展，而在巴黎尤为迅速。
2023 年 Mistral AI 成立，并在几个月内就飞速成长为 OpenAI 的最大劲敌之一。他们发布模型的方式低调又“激进”，仅凭一条没有任何背景信息磁力链接就获得超 400 万次浏览量，让昂贵的发布视频变得过时。
同年，欧洲首个独立 AI 研究实验室 kyutai 成立，Scaleway、Rodolphe Saade 等宣布进入计算领域，要为欧洲带来更多 GPU。计算机视觉国际顶级会议 ICCV 也选择在巴黎举办，红衫资本等顶级投资机构也越来越多地将目光放到法国 AI 创企。
结语：开源社区再添一员巨匠
随着 Mixtral 8x22B 模型在开源社区中引起轰动，我们见证了开源大模型的迅猛发展和欧洲 AI 生态的崛起。这一成就不仅展示了 Mistral AI 在大模型领域的强大实力，也反映了法国乃至整个欧洲在 AI 研究和创新方面的深厚潜力。
从 Ecole 42、FAIR Paris 的成立，再到 Hugging Face、STATION F 的兴起，巴黎已经成为全球 AI 创新的重要中心。未来，我们期待看到更多硅谷之外的城市在全球 AI 舞台上扮演重要角色，推动科技前沿创新。
