大语言模型（LLM）评测与测评是评估大模型性能和效果的重要手段，但两者之间存在一定的区别。
评测
评测通常指的是对大模型的性能进行量化和比较的过程。在这一过程中，评测人员会使用一系列的测试数据集，这些数据集通常包含多样化的任务和问题，用以测试大模型在不同场景下的表现。
评测特点：
- 量化指标：评测结果通常以数值的形式呈现，如准确率、召回率、F1分数等，便于直观比较。
- 标准化测试：评测数据集和测试方法往往是标准化的，以保证不同模型之间的比较具有可比性。
- 客观性：评测过程尽量减少主观因素的影响，力求客观评价模型的性能。
评测方法：
- 客观评测：针对具有标准答案的客观问题，通过定量指标比较模型的输出与标准答案的差异，如使用OpenCompass进行评测。
- 主观评测：通过人类打分模拟人类打分，评估模型在开放式问题上的表现。
测评
测评则是对大模型进行综合评价的过程，不仅包括对模型性能的评测，还包括对模型在特定应用场景中的适应性和实用性等方面的考量。
测评特点：
- 综合性：测评结果通常包含多个方面的评价，如性能、可靠性、易用性、安全性等。
- 场景适应性：测评过程会考虑模型在特定应用场景下的表现，以评估其实用价值。
- 主观性：测评过程中，评估者会根据自身经验和知识背景，对模型进行综合评价。
测评方法：
- 基准测试：使用标准化的测试数据集和测试方法对模型进行评测，如SuperCLUE基准测试。
- 实际应用测试：将模型应用于实际场景中，评估其在解决实际问题时的表现。
- 用户反馈：收集用户对模型的使用体验和反馈，以评估其易用性和实用性。
总结
总的来说，评测侧重于对大模型性能的量化比较，而测评则是对模型进行综合评价，包括性能、实用性、场景适应性等多个方面。两者相辅相成，共同构成了评估大模型性能的完整体系。