Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据
创始人
2024-08-21 14:15:19
0次
近日，Meta 悄悄地发布了一款新的网络爬虫，用于搜索互联网并收集大量数据，为其人工智能模型提供支持。
据三家追踪网络抓取器的公司称，Meta 新网络爬虫机器人 Meta External Agent 于上月推出，类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章中的文本或在线讨论组中的对话。
根据使用档案历史记录显示，Meta 确实在 7 月底更新了一个面向开发者的公司网站，其中一个标签显示了新爬虫的存在，但 Meta 至今还没有公开宣布其新爬虫机器人。
Meta 的 Llama 是最大的 llm 之一，虽然该公司没有透露最新版本的模型 Llama 3 使用的训练数据，但其初始版本的模型使用了由 Common Crawl 等其他来源收集的大型数据集。
今年早些时候，Meta 的联合创始人、首席执行官马克・扎克伯格 (Mark Zuckerberg) 在一次财报电话会议上曾吹嘘说，公司的社交平台已经积累了一套用于人工智能训练的数据集，甚至“超过了 Common Crawl”。
新爬虫的存在表明 Meta 庞大的数据库可能已经不够用了，因为该公司继续致力于更新 Llama 和扩展 Meta AI，通常需要新的和高质量的培训数据来不断改进功能。
来自 Dark Visitors 的数据显示，全球近 25% 的最受欢迎的网站现在已屏蔽了 GPTBot，但只有 2% 的网站屏蔽了 Meta 的新爬虫机器人。
来源：凤凰网科技
相关内容
热门资讯
2024云栖大会|阿里云升级无...
北京商报讯（记者魏蔚）9月20日，阿里云无影AI云电脑在2024云栖大会上展出，该版本基于最新的终端...
MWC2025荣耀多款AI技术...
人民财讯3月6日电，2025世界移动通信大会（MWC 2025）上，荣耀MagicBook Pro ...
原创 2...
#春日生活好物种草季#近年来，笔记本电脑市场迎来技术爆发期，尤其在手机厂商跨界入局后，轻薄本在性能、...
AMD锐龙AI 9 HX 37...
2024年6月3日，AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
5个AI模特生成软件推荐
当前AI模特生成软件市场提供了多样化的解决方案，以下是几款备受推崇的工具： 触站AI：强烈推荐！...
骁龙本这么猛？联想YOGA A...
在人人都是自媒体的时代，一部手机可以解决出镜拍摄问题，而商务出差、大量码字、图像处理等需求用笔记本则...
摩尔线程发布AI算力笔记本MT...
钛媒体App 12月20日消息，摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
2023年CentOS与Ubu...
CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域，CentOS与Ubuntu...
苹果macOS 15.1：允许...
苹果公司在其最新的macOS 15.1版本中，推出了一项引人注目的新功能——允许用户将Mac App...
原创 华...
在2024年这个被誉为"AI元年"的关键时刻，随着生成式AI的流行，各家手机厂商都在积极备战AI手机...