Meta 发布“Code Llama 70B”，这是一个与私人 AI 开发竞争的开源庞然大物

Meta AI 是为您带来 Llama 2 的公司，这是一个庞大的语言模型，可以生成从推文到论文的任何内容，它刚刚发布了其代码生成模型的新改进版本 Code Llama 70B。此更新的模型可以从自然语言提示或现有代码片段中编写各种编程语言（如 Python、C++、Java 和 PHP）的代码。它可以比以往任何时候都更快、更好、更准确地做到这一点。

Code Llama 70B 是目前最大的用于代码生成的开源 AI 模型之一，也恰好是代码生成领域的最新基准，代码生成是人工智能的一个分支，旨在自动化创建和修改软件的过程。代码生成一直是计算机科学家的长期目标，因为它有望使软件开发更加高效、易于访问和更具创造性。想象一下，能够告诉你的计算机你想让它做什么，并让它为你编写代码。或者能够使用一些简单的命令修改和改进现有代码。或者能够轻松地将代码从一种语言翻译成另一种语言。这些是代码生成模型（如 Code Llama 70B）可以提供的一些可能性。

但代码生成并非易事。与自然语言不同，自然语言通常是模棱两可和灵活的，而代码是精确和僵化的。它必须遵循严格的规则和语法，并且必须产生所需的输出和行为。此外，代码通常复杂而冗长，需要大量的上下文和逻辑来理解和生成。为了应对这些挑战，代码生成模型需要具有大量数据、大量计算能力和大量智能。

这就是 Code Llama 70B 的用武之地。Code Llama 70B 是一种最先进的大型语言模型 （LLM），已在 5000 亿个代码和代码相关数据上进行了训练，使其比其前身更强大、更强大。它还具有 100,000 个令牌的更大上下文窗口，使其能够处理和生成更长、更复杂的代码。

Code Llama 70B 基于 Llama 2，Llama 2 是世界上最大的 LLM 之一，拥有 1750 亿个参数。Llama 2 是一个通用的 LLM，可以生成任何领域和风格的文本，从诗歌到新闻文章。Code Llama 70B 是 Llama 2 的专用版本，它使用一种称为自注意力的技术对代码生成进行了微调，这使得它能够学习代码不同部分之间的关系和依赖关系。

准确性和适应性的新标准

Code Llama 70B 的亮点之一是 CodeLlama-70B-Instruct，这是一个经过微调的变体，可以理解自然语言指令并相应地生成代码。该变体在 HumanEval 上得分为 67.8，HumanEval 是一个包含 164 个编程问题的基准数据集，用于测试代码生成模型的功能正确性和逻辑性。这一分数超过了CodeGen-16B-Mono（29.3）和StarCoder（40.1）等开放模型之前的最佳成绩，并与GPT-4（68.2）和Gemini Pro（69.4）等封闭模型相当。CodeLlama-70B-Instruct 可以处理各种任务，例如排序、搜索、过滤和操作数据，以及实现算法，例如二进制搜索、斐波那契和阶乘。

Code Llama 70B 还包括 CodeLlama-70B-Python，这是一种针对 Python 优化的变体，Python 是世界上最流行和使用最广泛的编程语言之一。该变体已在额外的 1000 亿个 Python 代码令牌上进行了训练，使其在生成 Python 代码时更加流畅和准确。CodeLlama-70B-Python 还可以处理一系列任务，例如网络抓取、数据分析、机器学习 （ML） 和 Web 开发。

可用于研究和商业用途

Code Llama 70B 可在与 Llama 2 和以前的 Code Llama 型号相同的许可下免费下载，允许研究人员和商业用户使用和修改它。该模型可以通过各种平台和框架访问和使用，例如 Hugging Face、PyTorch、TensorFlow 和 Jupyter Notebook。Meta AI 还提供了有关如何针对不同目的和语言使用和微调模型的文档和教程。

Meta AI 首席执行官马克·扎克伯格 （Mark Zuckerberg） 在其 Facebook 帐户上发布的一份声明中表示：“我们正在开源一个新的和改进的 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今 AI 模型最重要的用途之一。事实证明，编码能力对于人工智能模型更严格、更合乎逻辑地处理其他领域的信息也很重要。我为这里的进展感到自豪，并期待将这些进步纳入 Llama 3 和未来的模型中。

Code Llama 70B 预计将对代码生成领域和软件开发行业产生重大影响，因为它为创建和改进代码提供了强大且易于访问的工具。它还可以降低想要学习编码的人的进入门槛，因为它可以根据自然语言指令提供指导和反馈。此外，Code Llama 70B 还可能支持新的应用和用例，例如代码转换、代码摘要、代码文档、代码分析和代码调试。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5427.html