联系我们
意见反馈

关注公众号

获得最新科研资讯

评论



Share

当人工智能阅读一本书时会发生什么 🤖📖

5月26日

这可能不令人惊讶,但无法过分强调书籍在人类历史上的重要性。书籍影响了文化、宗教、政治、创新,甚至是我们城市的形状——印刷机的传播解释了“1500年至1600年间欧洲城市增长的至少18%到68%”。书籍技术上的看似微小改进,可以在它们的使用方式上产生巨大影响(正如我刚刚阅读的一本350页的书籍中提到的那样,索引的重要性)。因此,改变我们与书籍互动的方式会改变人类的学习、记忆和创新方式。

那么,现在的时代技术——人工智能,是否会改变我们与书籍互动的方式呢?要测试这一点,我们需要同时具备一个足够大的存储一本书的记忆和一个了解自己书的作者来判断AI的结果。亲爱的读者,我们两者都有。Anthropic的Claude1是三个主要基础的大型语言模型之一,现在拥有足够的内存来存储一本短书(技术上来说,它有一个上下文窗口,可以容纳10万个token,大约是7万个单词),而我恰好在几年前写了一本关于创业的短书(29868个单词)。我将后者粘贴到前者中,并进行了一些实验。

AI作为阅读者和编辑者

每个作者都知道,也都害怕大多数人希望AI对书籍所做的——总结它们。他们想将经过深思熟虑的语言、特定短语和语句精髓浓缩成几个简洁的重点。那么,AI能做到这一点吗?可以。而且出奇的好。此外,它具有足够的上下文“感知”,你可以要求扩展——告诉我这本书为每个观点提供了哪些例子和研究。它也会做到这一点。

但是它“知道”它正在阅读什么吗?我的大多数读者可能意识到,人工智能在伪造理解方面做得非常好。实际上,它做得这么好,以至于研究人员之间存在着实质性的争议,即人工智能是否已经发展出了人类语言意义的广义感觉,或者这只是一种假象。我们不会直接处理这样的重要话题,但我仔细检查了所产生的材料是否包含“幻觉”或捏造的事实。在这种情况下,我没有看到任何。因此,我问了一个更难的问题:请给我举一些这本书中的隐喻的例子。即使对于人类读者来说,隐喻也是具有挑战性的,它涉及在没有任何明显标记的情况下找到使用比喻性语言的方法(与比拟不同,没有“像”或“如”)。

结果令人印象深刻,尽管有一些小错误(例如一个隐喻的重复,也许是棒球隐喻太狭窄了)。那么,关于写作风格和模式呢?这本书中是否有任何短语或言语习惯,会在整本书中反复出现?

同样,没有明显的幻觉,而且做得相当不错(尽管我开始为我的写作感到难过)。这当然引导我们进入下一个话题。它可以作为编辑器工作吗?作为编辑器,提供几个关于如何使这本书更具普及性和像暢銷科普著作的广泛建议和几个具体建议,同时:在第2章和第3章之间创造更好的过渡。给我原始版本和你的更改,以及你为什么做出这些更改。

总的来说,这不是很糟糕……但也不是很出色。这些建议没有错,但也不是特别有见地。同样地,重新写的文章还可以,但也没有特别吸引人。所有这些都突显出了目前AI技术的一个清晰事实:如果你是一个非常优秀的作家或编辑,你比当前的AI更好(尽管你仍然可以从AI的帮助中受益)。如果你在某些任务上只是一般水平,那么AI可能会超越你。随着AI技术的不断发展,很多事情取决于熟练的人类是否仍然比最好的AI表现更好。

实际应用:辅助教师

鉴于AI具有出色的文本理解能力,一个使用案例是帮助常常给学生分配课程的教师。在给出整本书的文本的情况下,AI能否帮助教师创造更有意义的学习结果呢?

我认为答案是肯定的。为了了解原因,我让AI创建了一份测验,使用了我们论文中讨论的一个变体提示:你是一个高度诊断性测验的测验创建者。你将制作好的低风险测试和诊断。你将为大学生准备5道关于这本书的测验题。这些问题应该是高度相关的,并且应该超越仅仅提供事实。多项选择题应包括可信、竞争性的备选答案,不应包括“以上全部”选项。在测验结束时,你将提供答案解析和正确答案。(我们为GPT-4/Bing设计了这个变体,但对于Claude来说也非常有效)。总的来说,大多数问题都不错,但也存在潜在问题,这些问题不是有些其他AI回答时常常出现的幻觉。例如,有一个有缺陷的问题是:

根据这本书,哪些创始人团队最有可能成功?a. 年轻的创始人b. 单人创始人c. 由陌生人组成的创始团队d. 一家人一起创业的成员

答案:d 该书发现一家人一起创业的成功率比其他任何创始团队都要高。

为什么这是错误的?虽然年长的创始人的表现确实比年轻的创始人更好,而且家庭成员的表现也比创始团队中的其他关系更好,但这本书没有直接比较单人创始人、年轻的创始人和家庭成员。因此,虽然AI并没有幻觉出完全新颖的事实,但它没有理解到情况的细微差别。但是,当我指出这个错误时,AI实际上在发现问题并引用相关文本方面表现得更好。 (进一步证明,您不应该使用单个提示,而应该与AI反复互动,以获得最佳结果)

但是,在基于这本书的广泛教育任务方面,AI表现更好:以哈佛商学院的案例研究风格编写案例研究,要求学生使用该书的教训,并提供指导教师的案例结果是一种有趣的课堂练习,我可以看到使用它。

除了能够随时制定教案、词汇表等有用的教育辅助工具外,它还能很好地伪造一篇书评(请记住,AI作弊已经无处不在,而且只会变得更加普遍)。但我尤其感兴趣的是它能够将书中的知识应用于新颖的情境和方式中:例如询问四个不同水平阅读者对本书的主题的理解:小学生、初中生、大学生、博士生,都能够得出很好的总结。例如对于小学生:

很多人认为创业必须要年轻、穿卫衣,工作超级努力。但作者说这不是真的,有很多不同种类的到了很了不起的创始人。而且伟大的想法不仅仅只能来自电脑,只要你实验和学习,你就可以用自己的方式创业。

我还试图解释这本书对威斯康星州的奶农、生活在日本古代的忍者、有经验的风险投资家和幻想大草原上的兽人巨魔格洛姆托克(抱歉,我忍不住了)分别有多大用处,结果得到了这些真正概括本书内容的教训:

忍者的家族可能对什么是一个有能力的战士有着根深蒂固的信仰,但这些神话可能使他们对新的方法变得盲目。采用更为怀疑和基于证据的态度来看待家族传统,可以让忍者创新战术和武器,从而获得优势,击败那些受制于过时教条的敌人和竞争对手。

教师们将会从AI的帮助中受益匪浅,帮助他们制作基于书籍的有意义和有用的作业。

人工智能和书籍

经过这些实验,我开始相信随着人工智能的发展,我们与书籍的关系将会发生改变。搜索引擎改变了我们获取信息的方式,但它们从来没有真正理解它们索引的内容,因此在处理大量数据时它们的实用性受到限制。它们从未从根本上改变我们使用书籍的方式。它们可能帮助我们在书中找到关键词,但我们仍然需要阅读实际文本才能知道书在说什么。

现在,人工智能已经(或者至少表面上)理解了文本的语境和意义。这从根本上改变了我们如何看待书籍作为信息和参考来源——我们可以要求人工智能为我们提取意义,并得到合理的结果。这些变化在某些情况下令人兴奋(人工智能可以为学术研究提供极佳的帮助),但在其他情况下却令人感到威胁(既然可以让人工智能读书,为什么还要自己读呢?)。

更广泛地说,更大的上下文窗口意味着人工智能很快将“记住”比我们预期的更多的信息,并且更准确地实现。随着人工智能提供更准确、详细的人类知识访问,我们将开始以大规模的方式改变我们对自己书面遗产的理解和关系。我们可以以使存储在那里的信息更有用、更适用的方式获取人类的集体图书馆,但同时也提升了一个非人类存在作为我们和我们的知识的中介者。这是我们需要谨慎管理的一个权衡。

 

 

 

 

 

内容转载自https://www.oneusefulthing.org/p/what-happens-when-ai-reads-a-book?utm_source=%2Fbrowse%2Ftechnology&utm_medium=reader2

总阅读量:203