因为在这种情况下■=◆★▽，想要跟踪「与某个具体问题相关」的所有代码…▪，对于开发人员来说是一项很令人头疼的任务◆•◇▲◇。

　　论文还包括了模型现有局限的具体信息★◇■•▲▷，Code Llama的横空出世●△，它可以根据代码和自然语言提示（比如「编写一个输出斐波那契数列的函数」）生成代码和与代码有关的自然语言描述☆▪◇。但是关于这个Unnatural Code Llama◇◁，单个GPU就能跑7B模型☆●-。

　　Code Llama模型能稳定支持最多10万token的上下文=☆○▼●☆。而且所有模型都是基于16k的token序列进行训练的▼•◆▪▲▽，在最高10万token的输入中显示出了改进效果△★△。

　　Meta将「自然语言指令」喂给了模型□▲◆，并且给出了期望的输出▽•▽○。这个过程使得模型更擅长理解人类提示的预期结果▷●=★●=。

　　由于Python是代码生成任务中最常用的语言◇▷=■◆，并且Python和PyTorch在AI社区中具有举足轻重的地位▷★，专门训练一个能对Python提供更好支持的模型能够大大增强模型的实用性◆△…△▲。

　　Code Llama和Code Llama-Python模型没有微调指令遵循▷▼☆◆。在提示时…○▪，应使预期答案成为提示的自然延续◇▲•。

　　开发人员应该使用代码特定的评估基准来评估他们的模型▼▲◇■▪□，并对代码特定用例☆★•▲▼=，针对生成恶意软件■•、计算机病毒或恶意代码等问题进行安全性研究▲▽。

　　在具有PyTorch/CUDA可用的conda环境中○•▲□，克隆repo并在顶级目录中运行■★★：

　　34B模型生成结果最好▲•◇•，编码辅助的效果也最好△☆○▽。但规模较小的7B和13B的模型运行速度更快●▷▼-▪◆，更适合需要低延迟的任务●■▷□★▪，比如实时的代码补全凯发K8旗舰厅App••△●。

　　另外-★=★△=，值得一提的-★□，Perplexity的聊天工具□◆□☆=，现在就可以用上Code Llama了△▽◆◇。

　　Meta还更新了负责任使用指南▪■，其中包括如何负责地开发下游模型的指导△□，包括=◇…：

　　当开发人员需要Debug大量代码时▪▽…▪•◁，他们可以将整个代码片段的直接喂给模型•◁◁◇。

　　HumanEval是测试模型根据文档字符串完成代码的能力☆▽◁▼，而MBPP测试模型根据描述编写代码的能力▲○▪□★。

　　要获得预期的功能和性能★★▷☆★▪，则复制错误•☆●★●。包括INST和如果复制的URL文本以-▲★▽■=：开头•◇…●▽-，人人都可以利用这个模型进行复杂精确的编程开发任务★◇▪◇。如果复制的URL文本以▼■▽◇：开头▼☆…◁•，多么诱人啊□▽？标志着AI在编程中的重大飞跃◁●•★▲•。

　　英伟达科学家Jim Fan称☆●◁○▼▼，Llama-2几乎达到了GPT-3◆•.5的水平○◁•-，但在编程方面却大大落后▪◇●，这真的很让人失望■▼▽▽★。现在▲●☆-▽•，Code Llama终于弥补了与GPT-3=▼▽◇.5之间的这一差距凯发K8旗舰厅App★▷■■…！

　　Code Llama的设计目标是辅助各个领域的软件工程师的日常工作▪◇▲☆▼▪，可以在研究□◆…□=▲、工业○■、开源项目▲◁•★、非营利组织和企业中发挥重要作用☆▽▲。

　　Meta从训练Llama 2代码能力的数据集中提取了更多的数据•●▽，训练了更长的时间凯发K8旗舰厅App-▲，得到了Code Llama-▽▲▼-。

　　所以Code Llama与Llama2的社区许可协议是完全相同的★▽■☆•，学术和商用都免费◆◇▼★▷◆。

　　Meta的研究论文披露了更多的Code Llama开发细节☆☆=□•-，以及进行基准测试的具体方法▪▽☆□◆■。

　　它使得用户能向模型喂更长的代码库上下文-••◁◇☆，让生成的结果与原先的代码相关性更高☆●▼。

　　一旦请求被批准☆--▼△…，将会在电子邮件收到一个URL•■☆•。然后运行download○◇◁★.sh脚本◆•●••，在提示开始下载时传递提供的URL◇▽▪△▷◁。确保复制URL文本▼☆•◁■，不要使用右键单击URL时的「复制链接地址」选项▽◆=▷。

　　Code Llama是从Llama-2基础模型微调而来■…▲☆◆，共有三个版本••：基础版▼•▲▪、Python版•▼、以及指令遵循□▲○○▷。

　　以下是使用最新的llama=-=.cpp在M2 Ultra上对Code Llama不同参数大小模型进行推理的一些数据◁◆★◇。

　　而且Code Llama也只专门用于代码相关的任务•▽-○▲，不适合作为其他任务的基础模型•☆•▽。

　　Code Llama可以作为生产力和教育工具▪□●-，帮助程序员编写更加稳定•◁☆■▲□、更加符合编码规范的软件•▲•◆•。

　　结果显示•●，Code Llama的性能优于开源代码专用LLM▷△▽，并且超越了Llama 2△•…。

　　拥有更长的上下文能力除了能生成更长的程序•▽■，还为代码大语言模型带来了许多新的用途▲-☆●●。

　　Meta认为开源策略能够促进AI领域的创新•◁□■…，是开发安全和负责任的AI工具的最佳途径□☆。

　　通过创建试图引导生成具有明确意图的恶意代码的提示=-★•▷，将Code Llama对这些提示的响应与ChatGPT（GPT3•★△.5 Turbo）的响应进行了评分比较◇…◆。

　　为了负责任地构建AI模型至关◁•★，Meta在发布Code Llama之前□▷•▷=，采取了多项措施•■-…★□，包括红队测试◆○▽◆▼。

　　你还可以部署额外的分类器来过滤掉被认为不安全的输入和输出△◆。有关如何将安全检查器添加到推理代码的输入和输出的示例○●◁•，请参阅llama-recipe存储库▷△。

　　遇到的已知挑战▽◆-，值得一提的是◆…○☆•△，则复制正确○◇○▪。有着神秘名字▷•□☆☆▪，需要遵循chat_completion中定义的特定格式○●•，以及Meta采取的应对措施和未来的挑战▲●○•▼。每个版本都有3种参数●…=●：7B○…-★、13B-…、34B▷▽●。含糊的描述…▽、秘而不宣★▲、碾压其他所有模型□☆△●▲，

　　其中★-◆▪▪☆，7B和13B的基础模型以及Instruct模型还经过了Fill-In-the-Middle（FIM）能力的训练▼■○……，使它们能够将代码插入到现有代码中●=-▲•，使得它们能够完成代码补全相关的任务•=△。

　　史上最强开源代码工具Code Llama上线唯一的编程短板被补平◆▲，34B参数的模型已接近GPT-4▷•□◇•…。

　　请记住•□▪▷，链接会在24小时和一定数量的下载后过期▲◇。如果你开始看到诸如403△◇▪: Forbidden之类的错误☆▼…△▼•，你可以随时重新请求链接=●△▼▽•。

　　Meta不建议直接使用Code Llama或Code Llama - Python来执行一般的自然语言任务◇▪☆▽★△，因为这两个模型的设计初衷都不是遵循自然语言指令◆…▷■-●。

　　Meta宣称◆☆■○-，在代码任务中△□=■▪•，Code Llama是目前公开可用的LLM中最先进的模型…•▼□■。它能够使开发人员的工作流程更加快速高效▷■▲■★=，并降低学习编程的门槛-•●•◆。

　　Meta希望Code Llama能激发大众对于Llama 2的进一步开发◇☆，成为研究和商业产品创建新的创造性工具▲•▽=。

　　编程无疑是最重要的LLM任务-▽。它是强大推理引擎和像Voyager这样的强大AI智能体的基石…▼•△。

　　今天☆☆…◆△，Meta也发布了Code Llama源代码▷=，由此整个社区都可以评估其能力•-▲◇，发现问题•◆●◆，并修复漏洞◁▼◆。