视觉生产技术

定义和分类

视觉生产定义

视觉生产就是通过一个/一系列视觉过程，产出新的视觉表达。这里的产出是指人或机器能够感知的图像视频，而不是标签或者特征并且必须是新的视觉表达，和输入的不一样。在过去，这个过程大多数是由人工来实现，但是现在我们希望通过AI技术，来产生一系列新的图像

视觉生产分类

• 生成:从0到1
• 拓展从1到N
• 摘要:从N到1
• 升维:从An到An+1
• 增强/变换:从A到B
• 插入/合成: A+B=C
• 擦除: A-B=C

  视觉生产-通用基础框架

请求(Request)

输入：参数 素材 草案 成品 案例

分发(Dispatch)

生产类型：

1. 通用生成(General)
2. 素材合成(Assemble）
3. 照图生图(Imitate)
4. 视频摘要(Summary）
5. 编辑变换(Edit)
6. 视觉拓展(Extend)

服务(Service)

视觉生产引擎：

• 生成引擎：模型+知识
• 搜索引擎：素材+案例

响应(Response)

输出：素材 成品 案例

视觉生产-五个关键维度

• 可用：带来用户/商业价值
• 可控：提供用户预期的抓手
• 多样：保证结果的丰富性
• 合理：合乎语义/内容逻辑
• 可看：满足视觉/美学表现

精细理解

分割抠图

1. 识别:知道是什么

人的识别、物的识别

2. 检测：识别+知道在哪儿

缺陷检测 多目标检测

3. 分割:识别+检测 知道每一个像素是什么

全景分割 病灶分割

难点：数据严重不足,标注成本高

思路：

1、复杂问题拆解:粗mask估计+精准matting

2、丰富数据样本:设计图像mask统一模型

视觉生成

照图生图

参考原图,将风格、布局等信息学习并迁移到目标致据上。

个性化设计

多元化设计风格,结合商品品类、投放场景、目标客群的差异进行订制化设计.

Al实现场景设计能力

场景智能美工 ** **IN:营销场景+原始素材 OUT:营销图片调用方式: API

场设计初始化100-200张输入	人工还原机器学习JPG- PSD	最终输出样式PNG
	模板创作机器人
	图片合成机器人

视频生成-框架流程

场景选择、关联商品、素材准备、参数设置-》视频算法（编辑器支持微调）-》渲染合成-》投放、上传

编辑器支持微调：

视频植入

• 应用场景:广告植入
• 业务流程:分镜检测
• 视频理解：广告位检测、跟踪、遮挡检测
• 素材匹配:场景标签
• 光影渲染:边缘走样、阴影、高光、装饰
• 核心挑战:位置、透视、尺寸、遮挡、时间

视频摘要

视觉编辑

视频内容擦除

• 应用:字幕、台标、广告、场景文字、人体相关内容的擦除
• 核心挑战和亮点:粗定位、精分割、像素填充、在线训练

视频植入

植入位检测与定位

视觉增强

• 单点核心技术:人脸增强、去噪音、通用场景超分、LDR升HDR、倍频、去划痕
• 复合应用技术:人脸修复、标清转高清、LDR-HDR互转、4K重生、老片修复、端上实时增强
• 核心挑战:分辨率、帧率、色彩

风格迁移

• 图像区域重要度分析：

• • Self Attention GAN–m知元离区域的特征相关性
• • 特征层计算, 1x1卷积,降低计算开销

• 多笔触融合

• • 强注意力区域采用细拉度笔链,保证细节
• • 弱注意力区域采用粗粒度等触,充分风恰化

颜色拓展

• 算法指标:高时效性、高合理性、高扩展度
• 输入:给定目的色系、给定参考图、AUTO
• 输出:目标图片

视觉制造

实体设计制造

1. 效率低:多次打样,多次沟通(服装设计平均30天
2. 协同差:设计、营销、生成脱节、倒置
3. 定制难:无法实现柔性生产

核心逻辑

服装几何生成

视觉迁移及融合

多样拓展性

视觉开放平台

定位

1. 聚合阿里巴巴视觉(国像/视频/3D图形)原能力,以云上API方式统一提供服务;

2. 建设视觉智能API开放平台,高效管理视觉!法能力生命周期,提供相应效率工具；

3. 基于平台上的API能力,建设双向进入和使机制,扩大开发者生态,打造行业用户心智；

4. 建设和运营阿里视觉平台品牌,扩大影响力,得能力提供者和使用者欢赢

一站式能力选择

1. 规模化:将在平台荟萃数百个AP能力;
2. 多样化:针对多种媒体(图像、视频、3D)多种对象的多个能力;
3. 细粒度:原子化、被集成,解决细粒度的具体问题
4. 场景化:有价值,能实用,针对特定场景特定优化的能力。