介绍两个AI文献综述平台
文献梳理是一项耗时耗力的工作。
在本文中,我将介绍NotebookLM和Scopus AI的使用经验,讲述AI如何帮助我们减少文献部分的工作量。
NotebookLM
知识库需求
我在五月份发过一篇推文“本地部署Llama3并构建私人知识库进行问答”,这是一个本地的RAG项目(检索增强生成,Retrieval-Augmented Generation),我希望它能对本地的大量文献进行索引并回答我想要的问题,减少文献梳理的工作压力。实验结果表明,本地算力和模型能力,远远达不到可用标准。
本地知识库旨在应对下面的场景:
- 新话题进入:本地存在40-60篇相同主题文献,在进入一个新话题时,需要快速了解研究现状脉络(未到深入的文献对话);
- 私密文件:对于一些私密文件,可能不放心上传。
我在本地构建的知识库,无法满足上述要求,它存在很多的局限性:
- 模型能力:Llama3 8B的版本,仍然处在toy model层面,其索引质量比较差;
- 本地算力:在构建知识库时,需要对文献(通常为pdf格式)进行分块和文档向量化(Embedding)操作,这一过程本身又需要用到相关模型,而本地算力进行这一过程费时费力且效果一般。
以上实验的结果就是,一通折腾下来,本地知识库明确有的内容,模型索引效果也非常差,且常常遗漏。因此,这项工作,要么发动钞能力,要么需要大厂开发的产品来满足。谷歌的NotebookLM就是一个非常不错的产品,很好地解决了大批量文献索引的问题。
NotebookLM介绍
这部分直接让最新的Gemini 2.0 Flash来回答:
谷歌NotebookLM:你的AI研究和笔记助手
NotebookLM是谷歌推出的一款强大的AI驱动的笔记和研究工具,旨在帮助用户更有效地处理、理解和利用大量信息。它通过结合大型语言模型(LLM)的强大功能,将你的笔记和文档转化为一个互动式的学习和研究环境。
核心功能和特点:
- 文档理解和摘要: 你可以上传各种文档(如PDF、文本文件等),NotebookLM能够自动提取关键信息,生成简洁明了的摘要,帮助你快速抓住核心内容,节省大量阅读时间。
- 智能问答: 基于你提供的文档和笔记,NotebookLM可以回答你的问题。这意味着你可以像与一位知识渊博的助手对话一样,快速获取所需信息。
- 自动生成问题: NotebookLM不仅能回答问题,还能根据笔记内容自动生成一系列问题,引导你更深入地思考和理解,促进更有效的学习和研究。
- 知识网络构建: NotebookLM可以将多篇笔记、文件和资料连接在一起,构建出一个相互关联的知识网络。这有助于你更清晰地看到不同信息之间的联系,更好地组织和理解复杂知识,尤其适用于需要整合多方面知识的研究人员和学生。
- AI播客生成: NotebookLM最近新增了一项非常有趣的功能,它可以理解你上传的文档、链接和文本信息,并生成一个对谈式的播客,以更生动有趣的方式呈现信息。
- Gemini Pro 加持: NotebookLM 采用了更强大的 Gemini Pro 模型,带来了更强大的理解和推理能力,让信息处理和知识提取更加精准高效。
适用人群:
- 学生: 帮助学生更有效地学习和复习课程材料,准备考试和论文。
- 研究人员: 帮助研究人员快速分析和整合大量研究资料,提高研究效率。
- 专业人士: 帮助专业人士快速掌握行业信息,做出更明智的决策。
- 任何需要处理和理解大量信息的人: 无论你是需要整理会议记录、分析市场报告,还是学习新知识,NotebookLM都能为你提供强大的支持。
使用方式:
NotebookLM目前可以通过谷歌账号登录使用(https://notebooklm.google.com/)。部分企业Google Workspace用户和Google Workspace教育版用户也可以使用。如果使用公司或学校邮箱但无法访问,可能需要联系管理员开通。
总结:
NotebookLM是一款集成了先进AI技术的强大工具,它通过智能化的方式帮助用户更有效地管理、理解和利用信息,极大地提高了学习和研究效率。如果你经常需要处理大量信息,那么NotebookLM绝对值得一试。
NotebookLM经历了几个大的版本更新,在最新版,其基座模型由Gemini 1.5 Pro改为Gemini 2.0 Flash,这是谷歌目前为止最强的模型。
最重要的是,NotebookLM目前有免费版可以使用!
下面,我们一起来试试它的效果。
NotebookLM使用案例
1️⃣ 登录NotebookLM,网站是:https://notebooklm.google.com/ ;
2️⃣ 成功登录后,可以新建项目。如图所示,我已经建立过几个项目:
3️⃣ 这里,我新建了一个项目,将Acemoglu关于制度与长期经济增长关系的多篇论文导入:
项目页面分成了三个部分,左侧是上传的文档资料区,右上为笔记区域,右下为主要交互区,包含预设笔记、建议的提问、对话框和播客音频生成区域。我们逐一看一下这几部分:
文档资料区:在这个演示中,我上传了14篇论文,皆为pdf格式,上传不久NotebookLM就完成了解析,速度比本地RAG不知道高到哪里去了。点击文档可以发现,其将pdf转成了纯文本,比如AJR (2001)的转换结果如下:
笔记区:笔记区下方的交互区通常会有些预设问题,比如研究的总结、时间线、FAQ等。在这里,我点击了Briefing Doc,看看结果。可以发现,其为pdf文档进行了简单的内容分割与解释;
交互区:现在,我们简单提问看看。使用中文提问,它也可以正确理解。
如果你的谷歌账户首选语言是中文,那么在最新版的NotebookLM里,它可以使用中文回答,如下:
大家可以点开图片感受一下回答质量,比本地模型不知道高到哪里去了。同时,对于观点类的回答,提供了明确的引文标记,可以点击查看。
综述演示:现在,我让其帮我写一段综述,看看效果:
NotebookLM对我的提问进行了回答,并给出了引文。由于我构建的知识库只包含十几篇文献,因此此处的引文较少。有网友测试发现,NotebookLM的一个项目中,可以上传近百篇文献。如果你的文献库质量比较高,此处回答的质量也会更高。
播客音频:在“笔记本助手”(Notebook guide)处,可以让NotebookLM生成一段双人对话的播客音频,以对话的形式,递进式展示文献库的内容,我们来听听看:
https://notebooklm.google.com/notebook/ec155384-6270-4568-a3fe-862a1c7b1a66/audio
一个字,绝!对话人声自然,提问不浮于表面,回答有深度。甚至可以当听力材料(目前只支持英文)。大家一定要自己试试!(感受一下美式英语的exactly冲击!)
NotebookLM Plus
在最近的更新中(2024年12月),谷歌推出了NotebookLM Plus,可以团队使用,大大增加了单个项目的容量,同时扩展了上下文的长度,并可以自定义回答方式。如果您有此需求并恰好财力雄厚,不妨联系销售订阅试试。
观点发现类引文搜索 Scopus AI
在写作中,我们常常需要了解同一研究问题下不同学者们的观点,在深度阅读外,可以借助AI引擎先行快速了解。在这里,我推荐一下近期在使用的Elsevier构建的Scopus AI:https://www.sciencedirect.com/ai (可能需要权限认证)。
以 How do housing prices affect fertility rates? 为例进行提问:
⬆️ AI很快给出了回答,可以发现,其首先回答了房价与生育率之间的负相关关系,在接下来的回复中,其展示了房价影响生育率的异质性或渠道。
Scopus AI解决了大模型推荐文献或撰写综述的两大痛点:
- 精确的引文获取:通用的大语言模型在撰写综述时,常常杜撰文献,而Scopus AI的回答基于大量真实文献,可以给出引文来源。比如点击下面的 (Du, Hui & Chen, 2024),就会跳出原文信息,并可一键直达:
- 观点支持类文献搜索:如果在撰写综述时,需要寻找明确支持某一观点的文献,比如“房价上涨降低了生育率”,AI引文可以迅速找到支持的文献。
Scopus AI不仅收录了Elsevier的文献,其他出版平台的文献也有收录。
与Scopus AI相似的平台还有一些,但我试用下来发现它们要么体验不佳,要么没有权限,要么需要钞能力。所以,现阶段比较推荐Scopus AI。
号外
- 最近一个月赶了一篇论文,更新暂停了一下,后面争取正常更新。
- 国内也有大厂在做类NotebookLM的产品,但试用下来效果一般。
- ChatGPT的Projects功能,和NotebookLM类似,都支持多文档索引回复,但我试了一下发现效果一般,首先是GPT4o降智问题,回答质量比较差,其次是单个Project目前最多支持20个文档,数量太少了。
- 目前有一些大厂和创业公司,开展了AI自动全流程科研项目,即AI自己收集文献、做实验、撰写论文和投稿,知识生产的自动化正在路上。
- 最近咬牙开通了一个月的ChatGPT Pro,可以使用o1Pro模型,非常强大!大家的课题组如经费充足,可以试试。这个比招RA的成本低。
- 大家有关于AI在科研方面的经验,欢迎分享给我!谢谢!