Chatbot 竞技场

Chatbot Arena 是一个专为大型语言模型 (LLM) 提供基准评测的平台，采用众包方式进行匿名的随机对战。该项目由LMSYS Org主办，LMSYS Org是一个由加州大学伯克利分校、加州大学圣地亚哥分校以及卡内基梅隆大学共同发起的研究机构。

用户可以通过平台的演示链接参与对战体验。进入平台后，输入自己感兴趣的问题，提交问题后，匿名的语言模型会进行两两对战，分别给出相应的答案。然后，用户需根据四个选项中的其中一个进行评分：模型A更好、模型B更好、平局、两者皆差。平台支持多轮对话互动。在所有对战结束后，Elo评分系统将用于综合评估各大模型的性能。（用户也可以选择特定模型进行体验，但其成绩不会影响最终排名。）