波宝钱包ios|Meta再推AI神器，开源免费的模型Code Llama，对比ChatGPT如何？ | 动区动趋-最具影响力的区块链新闻媒体

Meta 近日释出了一个基于 Llama 2 进行微调构建的大型语言模型 Code Llama。 （前情提要：ChatGPT企业版上线！OpenAI客製模型、共享对话… 六大功能一次看 ） （背景补充：AI办案！台湾检警靠「ChatGPT」破获1.5亿虚拟货币诈骗案 ）

本文目录

• Code Llama 的工作原理
• Code Llama 的效能如何？
• 实际使用对比 ChatGPT vs. Code Llama

Meta 近日释出了一个基于 Llama 2 进行微调构建的大型语言模型 Code Llama，可以使用文字提示生成程式码，并且开源，可供研究和商业用途。

Code Llama 是针对程式码任务的公开 LLM 的最先进技术，有可能使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。 Code Llama 有潜力用作生产力和教育工具，帮助程式员编写更强大、文件更齐全的软体。

Code Llama 的工作原理

今年 7 月，Meta（原 Facebook）释出了免费可商用的开源大模型 Llama 2。最新发布的 Code Llama 是 Llama2 的专门用于编码的专用版本，是通过在其特定于程式码的资料集上进一步训练 Llama 2 来建立的，从同一资料集中取样更多资料的时间更长。

总的来说，Code Llama 具有增强的编码功能，建立在 Llama 2 之上。它可以根据程式码和自然语言提示生成程式码和有关程式码的自然语言（例如，「给我写一个输出斐波那契序列的函式。」） 它还可用于程式码完成和除错。

Code Llama 支援当今使用的许多最流行的语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Code Llama 目前拥有三个引数版本： 70 亿引数、130 亿引数、340 亿引数 。

每个版本都使用 500B 程式码 token 和程式码相关资料进行训练。 70 亿 和 130 亿引数基础模型和指令模型也经过了中间填充 (FIM) 功能的训练，允许它们将程式码插入到现有程式码中，这意味着它们可以支援开箱即用的程式码完成等任务。

这三种模型满足不同的服务和延迟要求。 例如，70 亿模型可以在单个 GPU 上执行。 340 亿模型返回最佳结果并提供更好的编码辅助，但较小的 70 亿和 130 亿模型速度更快，更适合需要低延迟的任务，例如即时程式码完成。Code Llama 模型提供了具有多达 10 万个上下文 token 的稳定生成。 所有模型都在 16,000 个 token 的序列上进行训练，并在最多 100,000 个 token 的输入上显示出改进。

除了是生成更长程式的先决条件之外，拥有更长的输入序列还可以为程式码法学硕士解锁令人兴奋的新用例。 例如，使用者可以为模型提供来自其程式码库的更多上下文，以使各代更相关。 它还有助于除错较大程式码库中的场景，在这种情况下，掌握与具体问题相关的所有程式码对于开发人员来说可能具有挑战性。 当开发人员面临除错大量程式码时，他们可以将整个程式码长度传递到模型中。

Meta 还微调了 Code Llama 的两个附加版本： Code Llama – Python  和  Code Llama – Instruct 。

• Code Llama – Python 是 Code Llama 的语言专用变体，在 Python 程式码的 100B token 上进一步微调。
• Code Llama – Instruct 是 Code Llama 的指令微调和对齐版本。 指令调整继续训练过程，但目标不同。 该模型接受「自然语言指令」输入和预期输出。 这使得它能够更好地理解人们对提示的期望。 我们建议在使用 Code Llama 进行程式码生成时使用 Code Llama – Instruct 版本，因为 Code Llama – Instruct 已经过微调，可以用自然语言生成有用且安全的答案。

但是不建议使用 Code Llama 或 Code Llama – Python 执行一般自然语言任务，因为这两个模型都不是为遵循自然语言指令而设计的。 Code Llama 专门用于特定于程式码的任务，不适合作为其他任务的基础模型。

Code Llama 的效能如何？

HumanEval 和 Mostly Basic Python 程式设计 (MBPP) 是两个常用编码能力测试基準 —— HumanEval 用于测试模型根据文件字串完成程式码的能力，MBPP 用于测试模型根据描述编写程式码的能力。

根据这两个测试基準对 Code Llama 测试显示，Code Llama 优于开源、特定程式码的 Llama，并且优于 Llama 2 本身。例如，Code Llama 34B 在 HumanEval 上得分为 53.7%，在 MBPP 上得分为 56.2%，超越了 ChatGPT，但在 HumanEval 上仍逊于 GPT-4。

虽然 Code Llama 并未在测试中一骑绝尘，但这并不是 Code Llama 的全部，其另一个亮点就是再次微调。使用者可以通过对开源的 Code Llama 进行再次微调，构建出符合自己的需求的最佳版本。

Phind 最近根据自己的资料集上对 CodeLlama-34B 和 CodeLlama-34B-Python 进行了微调，其微调版本在 HumanEval 上分别实现了 67.6% 和 69.5% 的成绩，这超过了 OpenAI 3 月份公布的 GPT-4 的 67%。

相关连结：https://www.phind.com/blog/code-llama-beats-gpt4

实际使用对比 ChatGPT vs. Code Llama

首先，这次对比中使用了 GPT-3.5 版本的 ChatGPT，以及 Perplexity 平台支援的 Code Llama。我们将提出 8 个问题，以此来对比二者是否成功生成程式码。

问题 1： 使用 Python。 给定两个字串 word1 和 word2。 通过以交替顺序新增字母来合併字串，从 word1 开始。 如果一个字串比另一个字串长，请将附加字母附加到合併字串的末尾。

返回合併后的字串。

示例 1：

• 输入：word1 =「abc」，word2 =「pqr」
• 输出：「apbqcr」