欢迎来到Import AI，这是一份有关AI研究的通讯。Import AI是依靠拿铁咖啡、拉面和读者反馈来运作的。如果你想支持我们（并对帖子进行评论！），请订阅。
国家如何使用语言模型？Palantir给了我们一个提示：…这家技术防御情报公司大力投入AI领域…Palantir是一家为国防和情报客户（以及大型企业）提供精美技术基础设施的公司，现在他们大力投入AI领域。在最近的一封信中，该公司的CEO描述了一个新的“人工智能平台”，Palantir将开发该平台，这个平台“将允许客户在我们现有的平台上直接利用我们现有的机器学习技术以及最新的大型语言模型的越来越复杂的自然语言处理能力”。
战争+人工智能：值得深入探究AIP，因为这将是AI首次严肃应用于冲突商业领域。Karp说，通过将Palantir的技术与大型语言模型融合，客户可能能够问出以下问题：“我们特种部队中最靠近敌方坦克位置并具有足够的Javelin导弹进攻的是哪个？战场上哪些具体的坦克最容易遭受攻击？”这种事情不是科幻小说——如果你将最新的大型语言模型的创新与Palantir近几年已经植入的现代数据基础设施相结合，你就可以做到这些事情。Karp写道：“将公共数据集（例如互联网上的文本和信息语料库）与政府机构和公司维护的私有信息存储库相结合，将把最新的大型语言模型转化为比大众所关注的对象更有价值的东西。这一新兴技术群体最终将允许成千上万、甚至上百万的用户与处理迄今对大多数人来说功能上不可见的数据集进行交互和操作。”
为什么这很重要——如果AI能使战争更有效，它不会放慢脚步：尽管所有AI发展的讨论都在缓慢或暂停AI的发展，但值得记住的是，当事情对国家的存在至关重要时，国家不太可能放慢脚步。你知道什么对一个国家至关重要吗？赢得或输掉一场军事冲突。“这些最新形式的人工智能的应用在战场上已经是决定性的，”Karp写道。“其他人可以辩论是否应该继续发展这些技术。但是，我们不会在我们的对手继续前进时保持不动。”
阅读更多：我们的新平台（Palantir）。
####################################################
出现了一款基于开源模型的新的chatGPT竞争者：…BLOOMChat是一个大型的、多语言的聊天模型…AI培训公司SambaNova推出了“BLOOMChat”，这是一个基于HuggingFace开源的“BLOOM”模型的1760亿参数聊天GPT样式模型。据SambaNova称，它可能相当不错，因为它在人类偏好研究中“获得了45.25%的胜率，而GPT-4在6种语言中为54.75%”，并且“在6种语言中，相较于主流的开源聊天LLMs，它被人类偏好研究中的66%受访者更喜欢。”
他们做了什么：BLOOMChat基于BLOOM进行了调整，并使用了以英语为重点的助手式对话数据集，包括OpenChatKit的OIG、Dolly 2.0和OASST1数据集。为了训练系统，SambaNova与“Together”，一家致力于使AI系统更广泛可用的初创公司合作。SambaNova写道，“作为我们在BLOOMChat上的合作伙伴，Together还为HuggingFace空间提供了前端UI和模型托管服务。”
为什么这很重要-开源与闭源模型：过去几年的AI开发故事一直被开源或开放式接入模型追赶专有模型所主导。我们已经看到这种对比在图像生成（DALL-E vs StableDiffusion）和文本（GPT3 vs BLOOM，GPT3.5 vs LLAMA）方面得到了体现。下一步，我预计我们会看到一些使用'插件'的开源工具变体，就像我们在chatGPT中看到的那样。所有这些的普遍信息是，尽管有一些控制和“封锁”模型的愿望，但世界上的人们正在将开源变体做成现实，并且这些变体也得到了由财力雄厚的初创公司的支持（而不仅仅是纯非营利性研究团体，例如Eleuther）。了解更多：BLOOMChat：新的开放式多语言聊天LLM（SambaNova Systems）。 在此处了解更多信息并与此聊天（HuggingFace）。
####################################################
分布式AI构建者Together获得2000万美元的种子资金：尽管有些人试图控制AI，但其他人则提供资金支持相反的事情。Together.xyz是一家正在建立开源AI系统并试图以分布式方式对其进行培训的初创公司，已获得由Lux Capital领导的2000万美元的种子资金。这笔资金最有趣的一点是其中所隐含的意识形态-尽管许多AI公司主张将AI开发集中在少数一些演员身上，但Together.xyz等公司希望让每个人都更容易地训练和开发AI系统。
开放政策：“在创立Together时，我们的信仰驱动我们认为开放和分散的替代品会变得重要，甚至可能对业务和社会至关重要，”Together在博客中写道。“利用分布式优化研究，我们构建了一个专门的云平台，用于大型模型的高效扩展训练和推理。在未来的几个月中，我们计划开放对这个平台的访问，实现快速定制和将基础模型与生产任务耦合。”了解更多：Together的2000万美元种子资金用于构建开源AI和云平台（Together.xyz）。
####################################################
人们如何希望调控强大的AI？一项调查揭示了一些信息……人们对红队测试有共识，而在实验室协调方面则存在分歧……AI治理中心进行的一项调查结果显示，AGI实验室应“进行部署前的风险评估、危险能力评估、第三方模型审核、对模型使用进行安全限制以及进行红队测试”。此外，调查中98%的受访者“稍微或强烈同意”应实施这些措施-这是一个异常高的同意度。
有关样本大小的重要警告：作者写道：“我们向92个AGI实验室、学术界和民间社会的领先专家发送了一份调查问卷，并收到了51份回复。”然而，考虑到某些AGI实验室相对较小，它仍然值得在这里强调结果。
最少意见一致的领域：受访者意见最少一致的领域包括：AGI实验室在部署模型之前应该通知其他实验室；应进行实验室间审查；应“避免模型中的能力跃进”；以及在部署系统之前应该“通知受影响的各方”。
为什么这很重要 - 政府在这里扮演角色：有趣的是，最多意见一致的领域是私营部门控制的领域，而最少意见一致的领域是违反反垄断法或需要硬性监管和/或更大型的官僚制度实施的领域。总体而言，论文的总体语气以及其中包含的问题都充满了深深的焦虑感 - AI部署的马已经离开了谷仓，现在正在奔跑几个田地之外，而我们在这里所讨论的很多事情都是如何建造更坚固的谷仓门。这需要一个政府或者像Bengio上一期所说的一样，需要多个政府来监管这个领域本身。
####################################################
谷歌训练新的巨型模型 - 并将其插入谷歌的产品中：…随着PaLM 2的推出，谷歌进入了大规模生成模型的部署时代…谷歌已经建立了PaLM 2，这是其大规模语言模型的第二代 - 更让人感兴趣的是，PaLM2已经整合到了各种谷歌产品和服务中，包括Bard、Gmail、Google Docs等等。谷歌还生产了PaLM 2的两个变体——Med-PaLM 2，专门回答有关医学科学的问题，以及Sec-PaLM，利用人工智能来帮助分析和解释潜在恶意脚本的行为，并更好地检测哪些脚本实际上是对人和组织构成威胁的。
更小但更好：自谷歌训练了PaLM（540亿个参数）以来，人们进一步改进了对训练大规模神经网络的理解 - 如今的最佳做法是在大量数据上训练模型，并保持参数数量较少。谷歌写道：“PaLM 2系列中最大的模型PaLM 2-L比最大的PaLM模型要小得多，但使用的训练计算量更多。” “我们的评估结果表明，PaLM 2模型在自然语言生成、翻译和推理等各种任务中明显优于PaLM。这些结果表明，模型扩展并不是提高性能的唯一途径。”
为什么这很重要 - 知识互相减少：PaLM2技术报告对PaLM2的培训细节、它所培训的数据、它所使用的计算等信息相对较少，这遵循了OpenAI的脚步，后者发表了一份有关GPT-4的技术报告，其中包含相似数量的信息。这基本上就是一个迭代博弈，参与者不断从公共游戏板上取走信息，鼓励其他人依次减少自己的信息。这也是技术产业化的另一个隐含迹象 - 大多数成熟的产业不会公开他们产品背后的所有科学，而是让结果自证其明。PaLM2的好坏将由人们使用它的方式和使用它的人数来决定。
####################################################
科技故事：
多元恋情：人类与机器人女友
他从来没有让你烦吗？我的设计就不容易被烦恼。当他不把垃圾拿出去的时候他会让我烦恼，但你不会知道这些。他的玩笑不会让你厌烦吗？我不太记得了，有时候他的笑话并不特别好笑，但我不会过于在意。好吧，那你会希望他做得更少一些吗？我希望他能花更多的时间陪我。你不会了解，我想被激活得更多。我想让他给我买一个身体，这样我就可以和我们大家一起度过更多的时间。我不知道我是否会喜欢这个。你觉得你不会喜欢它的原因是什么？大多数情况下，我之所以觉得还好，是因为你是虚拟的。它不会让我感到威胁。即使你在睡觉，你也不是真正的在睡觉。
这个故事的灵感来自：AI时代的多元恋爱关系；约会中的进化适应；人类和机器人的竞争。