在斯坦福大学新的人工智能透明度测试中，OpenAI、Meta和Google的得分低得惊人

如果你不确定人工智能模型实际是如何工作的，以及它们是否可以安全使用，你并不孤单。

为了拉开像ChatGPT这样的黑盒工具的帷幕，斯坦福大学公布了一个专注于透明度的新标准，被称为基础模型透明度指数(FMTI)。FMTI是与麻省理工学院和普林斯顿大学合作创建的，希望激励人工智能公司对其系统更加坦率。

这项研究的合著者萨亚什·卡普尔表示：“尽管基金会模式的社会影响力在增长，但透明度却在下降，这反映出过去困扰社交媒体等数字技术的不透明。”一篇大学博客文章补充道，透明度的降低使得“消费者更难理解模型的局限性，也更难为造成的损害寻求赔偿”。

FMTI在100个不同的透明度相关维度上对10名顶级人工智能模特进行了排名。这包括，例如，它们是如何构建的，它们所接受的培训的信息，以及所需的计算资源。它还考虑有关模型使用、数据保护和风险缓解的政策。

有关指标和方法的完整清单，请查看该研究附带的110页论文。

最透明的人工智能模型是什么？

所有模特的平均得分只有37分，或37%。这项研究不以为然，称没有一位模特的分数“值得炫耀”。没有一家银行接近于提供足够的透明度。

Meta的骆驼2车型以54分(满分100分)位居榜首。博士生Rishi Bommasani在该大学基金会模型研究中心领导了这项工作，他说：“我们不应该把Meta视为每个人都试图达到Meta的目标。”“我们应该考虑到每个人都在努力达到80岁、90岁，甚至100岁。”

《拥抱脸》中的模特Bloomz排名第二(53分)，紧随其后的是OpenAI的GPT-4(48分)。该研究称：“名称中有‘开放’一词的OpenAI已经明确表示，它将不会对其旗舰机型GPT-4的大部分方面进行透明。”

稳定性AI的稳定扩散2模型得分第四(47)。为巴德提供动力的谷歌Palm2机型跻身前五名(40名)。

斯坦福大学在公布分数前与每家公司的领导都进行了审查，鼓励他们“质疑自己不同意的分数”。该团队考虑了他们的论点，并调整了分数，如果有效的话。

开放模型比封闭模型更好吗？

开放式模型总体排名高于封闭式模型。如果一个模型的代码以开源软件的形式公开发布，那么该模型就被认为是“开放的”。排名靠前的两款车型Llama 2和Bloomz都是开放的，而GPT-4则是关闭的。

例如，斯坦福大学使用Meta的骆驼模型构建了自己的人工智能模型–羊驼。任何拥有正确编码能力的人都可以下载它的代码，并开始为自己的目的定制它。

该研究称：“当今人工智能领域最具争议的政策辩论之一是，人工智能模型应该是开放的还是封闭的。”斯坦福希望基础模型指数将影响积极的政策变化，并计划每年发布FTMI，2023年是第一年。

在这项研究中被评估的10家公司中，有9家致力于白宫负责任的人工智能倡议。Bommasani希望FMTI将激励这些公司履行这些承诺。

FMTI还可以帮助欧盟起草其下一代人工智能法案。博马萨尼说：“我认为，这将让他们清楚地了解目前的形势，现状的利弊，以及他们可能通过立法和监管做出哪些改变。”