本次主要对文心一言4.5模型进行知识百科的问答测评,总共测评20个题目,答对16个题目
文心一言 ERNIE Bot 教程
- 模型的响应速度很快,几乎是秒级响应,输入内容就直接开始输出对应的答案。
- 指令的遵循和理解是有待提升的,输出的格式其实没有那么的直接和规整。
- 针对于百科问答仍然有局限性,有些内容还是回答错误。但整体回答的准确率相比其他模型还是可以的。
- 个别题目本身可能较难,对于回答错误的题目。换做其他模型也是常错题,对比的模型有kimi、GPT-4o、O3-mini、deepseek V3
备注:职位_来源,如电商运营_CSDN
由于测的内容偏多,篇幅有限,只展示其中的一部分。
指令遵循问题
针对这道题并没有给出具体答案,只是模型做了一下自己的分析。
回答错误
正确答案:《二战中的指挥官》
正确答案:第九话
正确答案:联发科Helio X30
注意:回答错误的题目,对其他模型也是常错的题。
回答正确的题目较多,在这里就不做出每个题目详细的展示。
评测过程中发现了一个奇怪事情,就是如果某个题目有一定的难度或者逻辑推理。他时不时的会进行卡死,并且如果能输出也要反应比较长时间。
不知道是巧合还是它里面有什么样的策略,这个等稍后我们再尝试,看能不能复现。
本来以为是服务器繁忙导致了这样的报错。
但是在换了个题目之后,还是能够秒级反应输出结果。
再输入之前输出报错题目,又会出现那种长时间反应最终报错的情况。
后面会对4.5模型在自媒体的应用进行评测,还会对X1模型进行测试,此外还有Gemini、grok3等系列deep research的测评文章
希望小伙伴们点击下面链接👇🏻👇🏻并关注,持续分享一线的AI情报。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。
发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/269181.html原文链接:https://javaforall.net
