【上海人工智能实验室葛佳烨：大模型评测亟需可靠的数据污染检测技术】在“知乎AI先行者沙龙”上，上海人工智能实验室司南大模型评测产品负责人葛佳烨表示，大语言模型评测中面临全面性、评测成本、数据污染、鲁棒性等挑战。她表示，评测数十万道题需要大量算力资源，基于人工打分的主观评测成本高昂。同时，海量语料不可避免带来评测集污染，亟需可靠的数据污染检测技术。此外，大模型对提示词十分敏感，多次采样情况下模型性能不稳定。
在“知乎AI先行者沙龙”上，上海人工智能实验室司南大模型评测产品负责人葛佳烨表示，大语言模型评测中面临全面性、评测成本、数据污染、鲁棒性等挑战。她表示，评测数十万道题需要大量算力资源，基于人工打分的主观评测成本高昂。同时，海量语料不可避免带来评测集污染，亟需可靠的数据污染检测技术。此外，大模型对提示词十分敏感，多次采样情况下模型性能不稳定。