LOADING...
LOADING...
LOADING...
当前位置: 玩币圈首页 > 区块链资讯 > 上海交大发布大模型双语编程评估基准 CodeApex

上海交大发布大模型双语编程评估基准 CodeApex

2023-09-05 东寻 来源:区块链网络

据机器之心报道,上海交通大学 APEX 实验室推出了 CodeApex,一个专注于评估 LLMs 的编程理解和代码生成能力的双语基准数据集。

在评估大语言模型的编程理解能力上,CodeApex 设计了三种类型的选择题:概念理解、常识推理和多跳推理。此外,CodeApex 也利用算法问题和相应的测试用例来评估 LLMs 的代码生成能力。CodeApex 总共评估了 14 个大语言模型在代码任务上的能力。其中 GPT3.5-turbo 表现出最好的编程能力,在这两个任务上分别实现了大约 50% 和 56% 的精度。可以看到,大语言模型在编程任务上仍有很大的改进空间。

原文链接

—-

编译者/作者:东寻

玩币圈申明:玩币圈作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币圈平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。

知识 AIGC
LOADING...
LOADING...