47022C0m

虽然大模型发展如火如荼，但大模型高质量语料短缺已成为全球共性问题。公开资料显示，大模型对数据供给要求极高。比如，训练GPT-4和Gemini Ultra大概需要4万亿至8万亿个单词。麻省理工学院等高校研究人员预测，到2026年之前，机器学习数据集可能会耗尽所有可用的高质量语料数据。研究机构EpochAI亦公开表示，最早在2024年，人类就可能会陷入训练数据荒，届时全世界的高质量训练数据都将面临枯竭。OpenAI也公开表达过对数据告急的担忧。

1：英国推每人每周两次新冠快检 大阪取消奥运火炬传递｜大流行手记（4月5日）

2：申论课程哪个老师好

3：上海一出租车司机疑在后备箱里生明火做饭 公司：开除

47022C0m“人类产生的有效信息，包括大量高价值信息可能不一定是互联网数据，而是沉散在各行各业里的数据。”商汤科技发言人说，“怎样更多汇聚数据，设计更多、更好的网络结构，用更多的计算资源去支撑更大容量的高质量语料，产生更强的智能，是一个至关重要的问题。”这位发言人认为，要解决语料问题，不仅要靠增加语料总量，还需要提高语料质量，甚至要考虑完善数据交换机制，推动人工智能数据基础设施化。