这个问题我们难以完全根除,但可以尽量降低其发生率。目前,我们的主要措施是运用技术手段进行信息筛选。

21世纪经济报道:为了使AI提供的搜索结果更加精确,有哪些高效的技术方法可以使用?

刘勋表示,对于准确性和权威性的评估需综合考虑多角度因素,目前较为通行的做法是结合“模型”与“人工”两种方法。

在大模型领域,我们构建了一套防御性的模型体系;在互联网信息被纳入我们的数据库之前,该模型会首先评估其可信度。例如,若有人在投资者社区雪球上发布帖子,声称某产品为李开复所发布,并且整个内容均为虚构,我们的大模型便能识别出这一情况,从而大幅减少其影响力。

然而,仍存在一些信息是大模型无法辨识的。以大S离世为例,有人传闻汪小菲曾安排专机将遗体送回我国台湾地区,甚至其母亲张兰还在抖音上对该消息表示了支持。众多用户都深信不疑,即便是大模型也无法准确判断。在这种情况下,就需要人工进行干预。一旦我们核实某则消息已被官方媒体明确辟谣,确认其为虚假信息,便会主动将其删除。

翁柔莹表示,在初步获得相关结论后,我们将对结果进行重新排列。这一过程将采用谷歌EEAT的四个维度——专业性、经验、权威性以及可信度——对每项结果进行评分。最终,通过加权评分机制,对搜索结果进行新一轮的排序。

21世纪经济报道提到,关于AI搜索的筛选准则,我们通过实际测试了解到,某些阅读量不高却内容全面的自媒体文章,在常规搜索引擎中排名并不靠前,然而AI却能捕捉并引用这些内容。这种现象背后的原因又是什么呢?

刘勋表示,当前我们最为重视的评估标准是“语义相关性”,其核心理念在于确保输出的信息中必须包含对用户提问的解答。

大家可能会疑惑,为何直接在搜索引擎中输入一段长句难以得到有效回应。过去,若将此类长篇内容输入搜索框,往往难以找到相关资料,这是因为传统的搜索引擎主要依赖关键词匹配。然而,AI搜索引擎的技术框架有所不同,它采用的是“语义搜索”的方式,即通过自然语言的理解来匹配搜索结果。

在处理用户提出的问题时,大模型可能会一次性获取30至50页面的网页信息。我们一般会采用1至10分的评分标准来对这些内容的质量进行评定。这些内容被分为四个不同的等级,得分越高,意味着网页内容越能全面地解答用户的问题,甚至还能提供额外的信息。

我们并非AI产品的核心,而是为其提供联网搜索功能的API接口,换句话说,我们并不掌握最终的输出决策权。AI产品会依据语义的相关性进行进一步的筛选,并在众多候选网页中挑选出若干条内容,以进行总结。

21世纪经济报道指出,即便接入的是相同的搜索API接口,不同的人工智能产品在最终输出的回复准确度上仍存在差异。

刘勋表示,实际上AI产品所依托的信息渠道并不单一,我们仅仅是众多来源中的一员。以豆包为例,它不仅整合了今日头条、抖音等字节跳动集团的信息资源,还纳入了我们这类第三方提供的数据。这种技术操作被称为“多路召回”,即从多个内容库中同时提取信息。在多路召回完成之后,对于排序和优先展示哪些内容,则是AI制造商自主决定的。

通常情况下,AI企业倾向于首先展示其生态体系内的资源,因为这些资源不仅拥有更高的可信度,而且在其自建平台上更便于实现流量转换及生态的完整闭环。

GEO在兴起,低质量内容涌入

21世纪经济报道提到,长期以来,人们对传统搜索引擎存在诸多不满,诸如广告泛滥、优质内容被封闭在“围墙花园”中不对外共享等问题。那么,这些问题是否会对AI搜索技术产生影响呢?贵公司又是如何应对这些挑战的呢?

翁柔莹表示,目前的情况尚可接受。首先,广告问题并非源于其内容,而是源于搜索引擎公司决定在用户界面嵌入广告,从而引发了您所提到的问题。我们的目标是打造一个服务于AI的搜索引擎,在商业运作上并未采用竞价排名的模式。

其次,信息质量不佳、优质内容未能充分开放,这背后主要是技术层面的原因。传统搜索引擎依赖关键字进行搜索做网站搜索排名,在此架构下,低质量内容能够通过某些手段提升自己的排名,例如,只需支付费用便能使内容出现在搜索结果的前列。

21世纪经济报道提到,在21世纪,随着竞价排名商业模式的兴起,搜索引擎优化(SEO)已经壮大成为了一个规模庞大的行业。随后,随着人工智能的普及,诞生了一种名为生成引擎优化(GEO)的新服务,其目的是让网页内容更易于被AI所引用。这个趋势,你是否有所留意?

翁柔莹指出,关键在于准确预判用户可能提出的问题,并以此为依据撰写内容,如此一来,内容在搜索引擎中的排名将显著提升。

自然,无论是地理信息系统(GEO)还是传统搜索引擎优化(SEO),优质内容都是根基所在。在此基础上,若内容结构明确且提供确切回答,便更易于被人工智能搜索引擎检索并引用。

已有部分从事SEO服务的公司转向从事GEO业务,然而我们暂无计划跟随这一趋势。原因是,我们认识到大型模型最迫切需求的是最高权威性和精确性的内容来源。若GEO技术允许低质量内容混入做网站搜索排名,可能会进一步恶化AI的幻觉问题,因此我们并不提倡低质量内容的增多。

事实上,我们更倾向于构建一种全新的内容协作体系。以往,大家是通过付费来获取搜索结果的高位,而我们期待未来能够实现一种反转:无需购买排名,而是对优质内容给予奖励。只要您能向我们提供内容丰富、组织有序、值得信赖的素材,我们便愿意实行内容分成或采取其他激励措施进行合作。这正是我们正在尝试探索的新模式。

刘勋提到,确保内容质量是我们的核心宗旨。然而,国内人工智能领域正经历迅猛的发展,AI技术的最终表现形式,特别是在面向终端用户的领域,其具体面貌在接下来的两到三年内仍充满变数。我们期待随着行业格局的逐渐清晰,能够构建一套完善且明确的内容合作体系。

21世纪经济报道指出,目前众多AI的回答实际上源自其他AI的创造,这种“AI引用AI”的现象日益普遍。那么,目前是否存在一些切实可行的应对措施呢?

翁柔莹表示,我们持续致力于信息过滤工作的推进。首先,我们着手清除涉及黄赌毒等违法和违规的信息;其次,当前我们着重投入的领域是辨别和阻断由AI生成的信息,特别是那些具有“投毒”性质的AI生成内容。

此类内容具有两个显著特点:首先,其结构、用词和语义风格与人类作品存在较大差异,我们能够通过训练一套特定的大规模模型来辨别,就如同论文查重软件一般;其次,它们常常包含不实的细节。以某一事件为例,网络上有可能存在多达十篇的真实报道,然而AI生成的文章中可能掺杂了虚构的成分,我们则可以通过相互比对的方法来去除这些不实信息。

21世纪经济报道指出,我们关注到了一个延迟现象。先前,有媒体报道称全国秋粮收购量达到了3.45亿吨,但当时人工智能系统未能找到“秋粮收购3.45亿吨”这一数据的来源。直至次日,随着整体报道数量的增加,AI系统才收录了这一信息。那么,这一现象背后的原因究竟是什么呢?

刘勋指出,与传统搜索引擎的架构相仿,一旦我们捕获到网页,数据便需经历多道处理工序,诸如原始信息的提取、对违规内容的识别、内容的净化以及结构的整理,方能被纳入索引库。这一整个过程耗费时间,目前我们能够达到的最短数据处理时间大约为半小时,这主要是由技术条件所决定的。

未来AI的搜索调用量可能是人类的5~10 倍

21世纪经济报道:在众多合作伙伴中,有很多是国内知名的互联网企业,它们不仅拥有一支技术精湛的团队,还积累了丰富的网络运营经验。那么,这些企业在寻求与博查合作时,最迫切的需求究竟是什么呢?

翁柔莹:最核心的需求就是搜索质量。

实际上,不论是大型互联网企业还是规模较小的厂商,在进行AI搜索研发时,都需面对一套全新的技术体系。行业先驱微软,正是从其必应搜索引擎出发,率先将“语义搜索”技术应用于AI领域,为其用户提供搜索服务。直至2023年5月,随着更多平台接入必应并实现联网搜索功能,这一技术架构才逐渐受到广泛关注。推翻数十年的技术沉淀、重建整个架构,其难度与所需成本均相当巨大,因此整体进展速度相对较慢。

此外,部分客户缺乏搜索引擎的相关技术,他们仅能进行站内搜索,并不能实现全网信息的检索,所以期望借助我们的力量来填补他们在从无到有的能力建设上的空缺。

这些客户过去常常使用微软必应的搜索API进行接入。然而,必应面临两个主要问题:首先,数据跨境传输存在安全隐患和合规风险;其次,其价格相对较高。鉴于博查的目标是针对必应,因此他们倾向于选择我们提供的国产替代方案,以确保数据的安全性和可控性。

21世纪经济报道:能否谈谈提供人工智能搜索服务的相关技术及其费用问题?这项服务的进入门槛主要存在于哪些方面?

刘勋提到,进行搜索引擎开发的首要环节是建立一个“索引库”,这相当于内容的基础数据库。以谷歌为例,其索引库的规模高达万亿级别,而必应的规模稍逊一筹。即便是在国内搜索引擎刚刚起步的阶段,其索引库的规模也至少需要达到百亿条数据。

这一数据规模究竟有何含义?目前,我们能够处理百亿级别的数据实时查询,并且要求响应时间达到毫秒级,这背后需要构建一个极为庞大的基础设施。仅就服务器而言,我们部署的数量介于1万至2万台。此外,维持这一系统运行的成本同样十分高昂,最低的“门槛”便是每月需要投入数千万元。

尤为关键的是,我们的技术体系是围绕着内容的关联性来构建的,其中不包含任何广告的干扰,这对于人工智能搜索来说,是最根本的需求。对于那些传统的搜索引擎企业,若它们意图转型进入AI搜索的API领域,那么它们就必须放弃现有的基于关键字的搜索架构,并重新构建一套向量索引系统。此外,若要提供一项不受广告干扰的API服务,这无疑将对其现有的商业模式和盈利模式造成冲击。

21世纪经济报道提问:博查预计的盈利周期大约是多久?对于接下来的技术改进和商业战略布局,博查有何具体计划?

刘勋表示,现阶段我们并不急于追求盈利,而是更重视推动整个AI生态的进步。待国内AI应用生态达到成熟阶段,届时我们将着手进行商业化的转化。

在全球范围内,人类主动进行的搜索活动总量大约介于100亿次至200亿次,涵盖了谷歌、必应和微信等众多平台。然而,我们预测,随着AI技术的发展,其搜索需求将显著增长,远超当前的人类搜索量级。

以提问类似模型为例,大型模型在处理问题时,会将其分解为若干个子问题并启动搜索。特别是诸如Manus这类人工智能体,在执行复杂任务时,常常需要多次调用搜索服务接口。据我们预测,未来AI的搜索调用次数可能是人类的五至十倍,甚至更多。

换言之,未来搜索功能将如同地图和支付功能一般,成为人工智能应用不可或缺的核心组件,为此买单的则是那些高级的AI应用。因此,我们期待着国内人工智能应用生态的蓬勃发展。

我们一直以来都将谷歌和必应视为竞争对手,期望在明年至少缩小到谷歌一半的水平——即拥有5000亿条索引库。然而,接下来的主要挑战在于基础设施建设。我们目前将资源分散于各大云服务提供商,而成本和限制因素仍旧集中在所谓的“三驾马车”上:算法、算力和数据。因此,我们必须推动基础设施的进一步发展,以支撑下一阶段的扩张和突破。