导读 Llamafile的最新更新利用其AVX-512功能将AMDRyzenCPU的性能提高了10倍。随着Llamafile的最新更新，随着配备AVX-512的AMDRyzenCPU性能提升10...
Llamafile的最新更新利用其AVX-512功能将AMDRyzenCPU的性能提高了10倍。
随着Llamafile的最新更新，随着配备AVX-512的AMDRyzenCPU性能提升10倍，在本地系统上运行大型LLM模型变得更加容易
Phoronix报告称，Llamafile的最新更新现在支持AVX-512指令集，允许支持AVX-512的CPU在使用该软件时见证性能的巨大提升。据报道，AMD的Zen4“Ryzen”CPU在新的更新中将体验到十倍的快速评估速度，最终使该工具的LLM性能更加高效。
对于那些不了解Llamafile的人来说，它可以使用单个可执行文件进行部署，该文件将LLM模型与运行它所需的库结合起来。MozillaOcho开发了该工具，旨在通过利用CPU和GPU执行，让更多受众能够接触到法学硕士。该工具在开发人员中受到了巨大的欢迎，特别是因为它消除了访问LLM所需的高成本解决方案，但目前，Llamafile仍处于早期阶段;因此，其中存在一些不准确的地方，我们相信一旦边缘计算的发展势头强劲，这些问题就会很快得到解决。
好吧，新的性能升级尚未经过测试，但Phoronix表示他们计划将来在AMD和Intel系统上测试新的Llamafire0.7。您可以在此处通过GitHub访问最新版本。请注意，AMD的RyzenCPU是唯一支持AVX-512指令的消费级芯片，而英特尔则放弃了支持，因为这会影响其Xeon芯片的销售。对于想要运行利用AVX-512的应用程序的用户来说，这为AMD的Ryzen平台提供了优势。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！