Llamafile 发布 v0.8.4;可在 CLI 直接生成 embedding

Lllamfile 基于 Lllama.cpp，是一个快捷运行本地模型的方案。

Llamafile 在 5月9日发布 v0.8.2 版本：

• 性能优化： AVX2 提示处理、文本生成的性能优化
• BUG 修复： 修复了内存错误、server /embedding endpoint 问题
• 功能优化： 改进了 tokenization 功能、新增参数控制执行数学计算、支持 CLI 使用 llamafile --embedding -m model -p prompt 调用 embedding 生成

值得注意是，这个版本可在 CLI 直接生成 embedding；之前版本只能通过启用 service 并发送 /embedding 请求来获得结果。

提示：v0.8.2 在 Windows AMD GPU 支持上还有一些不稳定的情况。

为解决 Web 服务相关的紧急安全问题，官方在 5月10日 发布 v0.8.4 。

详情：

https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.8.2

https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.8.4

x-cmd 同日也增加了对 llamafile-0.8.4 的支持；并计划在下周版本增加 embedding 模型下载，方便用户可以在保护隐私的前提下，采用最新最好的模型建立索引。

---

Bun 发布 v1.1.8

Bun 在 5月10日发布 v1.1.8 :

• 在 process.on 实现了对 uncaughtException 及 unhandledRejection 的支持
• JSON.parse 性能改善
• 在 node:zlib 增加了对 Brotli 格式的支持
• 在 Bun APIs 实现了 [Symbol.dispose]
• 修复 54 个 bug

x-cmd 随后也增加了对 bun v1.1.8 的支持 。

详情:

https://bun.sh/blog/bun-v1.1.8

https://x-cmd.com/pkg/bun

---

美国立法限制 AI 模型的出口

• 拜登政府公布了一项法案，初步计划对最先进的人工智能模型实施出口管制。
• 美国商务部明确授权，禁止美国人与外国人合作开发对美国国家安全构成风险的人工智能系统。
• 因为开源模型可以免费下载，美国商务部称要监管开源人工智能模型的出口比较困难。
• 中国国内一直依赖西方开发的许多开源模型，大多数人工智能模型实际上是使用 Meta 公司的 Llama 模型构建的，这项政策对国内的人工智能发展造成了挑战。
  

---

M4 单核性能GB单线程跑分超过 i9 最新旗舰

• 新款 M4 使用了 10 核 CPU 和 10 核 GPU 以及能够达到 38TOPS 的 16 核神经网络引擎。
• M4 的 SoC 基于第二代 3nm 工艺制作，据称还提供动态缓存、硬件加速光线追踪和 AV1 硬件加速等功能。
• Geekbench 在线数据库数据显示，在单线程测试中，M4 的跑分比 i9-14900KS 高出约 16% ，i9 14900KS 在 2024年3月发布，是当前 Intel 桌面领域最强的 CPU，单核频率高达 6.2GHz。

详情:

https://www.tomshardware.com/pc-components/cpus/apple-m4-scores-suggest-it-is-the-new-single-core-performance-champ-beating-intels-core-i9-14900ks-incredible-results-of-3800-posted

Geekbench 在线数据库：

https://browser.geekbench.com/search

Intel i9-14900ks 介绍：

https://www.intel.com/content/www/us/en/products/sku/237504/intel-core-i9-processor-14900ks-36m-cache-up-to-6-20-ghz/specifications.html

Apple M4 官方介绍：

https://www.apple.com/newsroom/2024/05/apple-introduces-m4-chip/

---

关注微信官方公众号 : oh my x

获取开源软件和 x-cmd 最新用法