Meta发布Sapiens视觉模型，让 AI 分析和理解图片/视频中人类动作
创始人
2024-08-24 15:14:15
0次
IT之家 8 月 24 日消息，Meta Reality 实验室最新推出了名为 Sapiens 的 AI 视觉模型，适用于二维姿势预估、身体部位分割、深度估计和表面法线预测 4 种以人为中心的基本视觉任务。
这些模型的参数数量各不相同，从 3 亿到 20 亿不等。它们采用视觉转换器架构，任务共享相同的编码器，而每个任务有不同的解码器头。
- 二维姿势预估：这项任务包括检测和定位二维图像中人体的关键点。这些关键点通常与肘、膝和肩等关节相对应，有助于了解人的姿势和动作。
- 身体部位分割：这项任务将图像分割成不同的身体部位，如头部、躯干、手臂和腿部。图像中的每个像素都被归类为属于特定的身体部位，这对虚拟试穿和医学成像等应用非常有用。
- 深度估计：这项任务是估算图像中每个像素与摄像头的距离，从而有效地从二维图像中生成三维图像。这对增强现实和自动驾驶等应用至关重要，因为在这些应用中，了解空间布局非常重要。
- 表面法线预测：这项任务是预测图像中表面的方向。每个像素都会分配一个法向量，表示表面朝向的方向。这些信息对于三维重建和了解场景中物体的几何形状非常有价值。
Meta 公司表示该模型可原生支持 1K 高分辨率推理，并且非常容易针对个别任务进行调整，只需在超过 3 亿张野生人类图像上对模型进行预训练即可。
即使在标注数据稀缺或完全是合成数据的情况下，所生成的模型也能对野生数据表现出卓越的泛化能力。
IT之家附上参考地址
相关内容
热门资讯
原创 2...
#春日生活好物种草季#近年来，笔记本电脑市场迎来技术爆发期，尤其在手机厂商跨界入局后，轻薄本在性能、...
AMD锐龙AI 9 HX 37...
2024年6月3日，AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛？联想YOGA A...
在人人都是自媒体的时代，一部手机可以解决出镜拍摄问题，而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐
当前AI模特生成软件市场提供了多样化的解决方案，以下是几款备受推崇的工具： 触站AI：强烈推荐！...
2023年CentOS与Ubu...
CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域，CentOS与Ubuntu...
苹果macOS 15.1：允许...
苹果公司在其最新的macOS 15.1版本中，推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹...
前言 IQUNIX在做好看的桌面产品上，一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华...
想在竞争残酷的市场中发力，必须要带来一些激进的卖点，但是随着功能特性的提升，硬件也必须要进行给力才可...
原创 华...
在2024年这个被誉为"AI元年"的关键时刻，随着生成式AI的流行，各家手机厂商都在积极备战AI手机...