英特尔的Gaudi2AI加速器是NVIDIA芯片最可行的替代品，HuggingFace已使用Llama2展示了其文本生成功能。
英特尔Gaudi2加速器使用开源Llama2LLM进行文本生成演示，参数高达700亿个
随着英特尔扩展其人工智能软件生态系统，该公司瞄准了最流行的人工智能工作负载，其中包括LLM(大型语言模型)。这项工作是通过使用HabanaOptimum(充当接口变压器和扩散器库)以及英特尔HabanaGaudi处理器(例如Gaudi2)来实现的。该公司已经针对NVIDIA的A100GPU展示了其Gaudi2处理器的AI功能和性能。市场上流行的选项中，Gaudi2在以具有竞争力的TCO提供更快的性能方面做得值得称赞。
在最新演示中，HuggingFace展示了使用相同的OptimumHabana管道和IntelGaudi2AI加速器，使用Llama2(7b、13b、70b)生成文本的轻松性。最终结果表明，Gaudi2芯片不仅能够接受单个/多个提示，而且非常易于使用，还可以处理脚本中的自定义插件。
随着生成式人工智能(GenAI)革命的全面展开，使用Llama2等开源Transformer模型生成文本已成为热门话题。人工智能爱好者和开发人员正在寻求利用此类模型的生成能力来实现自己的用例和应用程序。本文展示了使用OptimumHabana和自定义管道类通过Llama2系列模型(7b、13b和70b)生成文本是多么容易-您只需几行代码就可以运行模型!
此自定义管道类旨在提供极大的灵活性和易用性。此外，它提供了高水平的抽象并执行涉及预处理和后处理的端到端文本生成。使用管道的方法有多种-您可以run_pipeline.py从OptimumHabana存储库运行脚本，将管道类添加到您自己的python脚本中，或者用它初始化LangChain类。
我们在英特尔Gaudi2AI加速器上展示了一个自定义文本生成管道，它接受单个或多个提示作为输入。该管道在模型大小以及影响文本生成质量的参数方面提供了极大的灵活性。此外，它也非常易于使用和插入您的脚本，并且与LangChain兼容。
英特尔致力于在未来几年加速其人工智能领域的发展。今年，该公司计划推出Gaudi的第三代产品Gaudi3，预计将采用5纳米工艺节点，据称比NVIDIAH100更快，但价格却低得多。同样，该公司还计划采用下一代FalconShoresGPU进行完全内部设计，预计将于2025年推出。该公司还为其消费级开放AI功能，例如Llama2与PyTorch的接口ArcA系列GPU。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！