作家 | ZeR0剪辑 | 漠影

智东西10月15日报说念，当天，火山引擎在视频云本领大会上发布大模子捕快视频预处理决议，助力惩办视频大模子捕快的本钱、质料、性能等方面的本领挑战。该本领决议现已应用于豆包视频生成模子。

火山引擎还发布并开源了迁徙端后处领路决决议BMF lite版块。BMF lite支捏端侧大模子接入和算子加快，愈加轻量、通用。

同期，火山引擎推出跨言语同声复刻直播决议、多模态视频领路与生成决议、对话式AI及时交互决议和AIG3D&大场景重建决议，从视频的分娩端、交互端到花消端，全链路融入AI才智。

前年推出的字节自研视频编解码芯片，经过抖音集团里面的推论考据，在同等视频压缩效率下，本钱精真金不怕火了95%以上，还在2024MSU天下编码器大赛中一举夺得最好ASIC编码器。该芯片将于近期认真对外洞开测试，招募首批种子用户，共同探索营业价值的可复制性。

火山引擎也与出海前锋联袂，从趋势、本领、玩法等角度共同探索出海新增长机遇。火山引擎视频云国外业务负责东说念主梁建在会上发布了出海全景图。

火山引擎总裁谭待在致辞时谈说念，倾盆而来的本领波浪带来前所未有的挑战：1）生成式AI带动视频数据指数级增长，对盘算效力建议严峻考验；2）多模态媒体处理需求日益突显，对音视频处理的分娩端、交互端、花消端建议了全新条目；3）若何让本领应用确切落地并带下世纪业务价值，是面前必须面对的问题。

应答这些挑战，火山引擎视频云基于抖音确切业务推论和与行业客户共创，正积极探索大模子AI与视频本领的深度交融；在本领底座层面，依托自研的算力编解码本领和多媒体处理框架，勇猛于优化本钱并提高盘算效率；在处理链路层面，结合大模子和AI本领，全面优化了分娩交互和花消链路，以打造更智能、更交互、更千里浸的用户体验；在业务增长层面，与抖音平台生态紧密联动，构建从内容分发到变现的全链条业务增长模式。

抖音集团视频架构负责东说念主王悦共享了一组来自商场调研机构的数据：视频是云业务中增长最快的职责负载之一；到2026年，视频在数据中心基础设施中的占比将从10%增长到20%~25%；到2024~2030年，商场边界瞻望将达千亿好意思元。

他谈说念，AI视频时间面对三重挑战：一是盘算效力，生成式AI本领大幅镌汰视频生成的门槛，导致视频数据以惊东说念主的20倍速增长；二是编解码极限，编解码本领的智能化升级正鼓动与AI/大模子本领的深度交融，不仅提高了编解码效率，况且为用户带来了愈加优质的视频体验；三是框架瓶颈，需要构建更遍及、更生动的多媒体处理框架，答允日多模态/跨模态预捕快处理需求。

王悦告示，火山引擎前年推出的自研视频编解码芯片得回显耀阐扬，在抖音集团里面推论考据中终局了效率的显耀提高和本钱的大幅镌汰，在同等视频压缩效率下，本钱精真金不怕火了95%以上。火山引擎也将初度认真对外洞开测试，招募首批种子用户，共同探索营业价值的可复制性。该芯片的BVE1.2编码器，在2024MSU天下编码器大赛中初度亮相就以其优异的编解码性能和糊涂率的大幅最初，夺得最好ASIC编码器。

在智能编解码的算法层，火山引擎的图像视频压缩本领也得回了冲破性阐扬，其自研编解码本领BVC升级到更高效的第二代，并交融了深度学习本领，推出了传统-智能羼杂编解码惩办决议。

该决议在充分领路传统编码本领和深度学习压缩本领各自旨趣的基础上，将二者有机的交融成一体。传统编码框架加入了非对称四叉树鉴识等创新本领，智能编码模块则引入了基于深度学习的环路滤波、自适合变采样等本领。这种结合极大提高了编解码的效率，该决议在第六届深度学习图像压缩挑战赛的高码率和低马力两个压缩赛说念上均得回了主不雅和客不雅的双料主张冠军。

在框架层面，火山引擎自研视频处理框架BMF自前年开源以来，在助力AI初创技俩落地和迁徙端开源层面贬抑演进，当天进一步发布并开源迁徙端后处领路决决议BMF lite版块。

BMF lite具有更轻量、更通用、更高效、更前沿等特色，比如它莫得第三方依赖，具有轻量化的结构假想、多平台长入的接口样貌、Kernel交融决议等，支捏端侧大模子接入和算子加快、算法间复用资源。

当今BMF lite已平凡应用于抖音各业务上，每天行状超10亿名用户，处理视频图片万亿次。

由于端侧对功耗和内存相配明锐，火山引擎要点开发基于跨平台资源复用的算法包框架假想，全体对外将采用跨平台的数据结构假想，适配安卓、iOS、Web、PC等平台，复用推敲的算法实例，不同算法可复用算子及数据资源。这个决议针对点播和直播后处理的场景收益暴露。

在模块算法层面，火山引擎这次开源对外输出了超分、降噪、大模子文生图算法才智，及第的模子是开源的，将在一些抖音践诺落地的工程优化决议应用到模子加快中。火山引擎也同步开源了基于GPU加快的7种常用基础图像算子才智，并充分扩充了客户端的一些异构才智，包括DSP、NPU、端侧GPU。

对捕快视频进行预处理是保险大模子捕快后果的伏击前提。预处理过程可长入视频的数据现象、提高数据质料、终局数据圭臬化、减少数据量以及处理标注信息，从而使模子能更高效地学习视频中的特征和学问，提高捕快后果和效率。

跟着视频生成模子兴起，捕快大模子的处理框架面对诸多挑战：发轫是本钱挑战，超大边界视频捕快数据集导致盘算和处理本钱激增；其次是质料挑战，视频样本数据质料狼籍不皆，处理链路要领多、工程复杂，数据样本待分类、分段和清洗；三是性能挑战，触及多种异构算力资源的调动和部署。

借助英特尔CPU等资源，火山引擎大模子捕快视频预处理决议依托于自研多媒体处理框架BMF，能灵验应答模子捕快的算力本钱挑战。该决议还在算法和工程方面进行了调优，不错对海量视频数据高质料预处理，短时期内终局处理链路的高效协同，提高模子捕快效率。

BMF通过和豆包大模子团队融合，对海量视频数据进行了预处理。基于火山引擎视频处理平台和BMF框架，火山引擎短时期内分娩了饱和多高质料的视频素材用于模子捕快，也有劲复旧了视频生成大模子的上线与调优。

火山BMF大模子捕快视频预处理决议应答本钱挑战，使用了海量的潮汐资源和雅致化混部调动；应答质料及性能挑战，使用30+种算子对视频进行了多维度分析和筛选，运用DMF框架生动调动将复杂的算子处理历程生动部署在多种资源上，终局了快速的性能调优；应答协同挑战，运用BMF动态模块性情，终局插件化解耦、多言语开发，比拟传统框架将迭代效率提高了数倍。

英特尔大数据高档首席工程师程从超共享说，大模子和生成式AI时间面对高算力、高质料数据集、改善形色复杂性、构建开源生态等方面的挑战。视频转码性能对CPU的盘算才智明锐，CPU的频率、核数和cache的大小都很伏击。频繁视频处理的节点都是数据中心里性能较为高端的行状器。

英特尔不祥为不同的视频处理遴荐最稳健的平台，比如一机多卡高密度GPU可答允编解码密度和本钱需求，CPU和GPU决议的生动建树不祥凭据具体应用来分派资源，至强CPU可终局视频质料最优、编码生动、剖判可靠。

三、多项“音视频+AI”本领决议，助力企业全链路适配AIGC

火山引擎视频云团队为字节最初提供音视频本领，并通及其山引擎行状外部客户。

Bytedance Research负责东说念主李航谈说念，豆包视频生成模子PixelDance在捕快过程中采用了火山引擎大模子捕快视频预处理决议，充分运用了多半潮汐资源，为模子捕快提供了有劲复旧。

火山引擎视频云团队提供的点播惩办决议还为PixelDance分娩的视频提供了从剪辑、上传、转码、分发、播放的全生命周期一站式行状，让模子的营业化应用有了保险。

豆包视频生成模子PixelDance于9月24日发布，该模子采用DiT架构，通过高效的DiT交融盘算单位和全新假想的扩散模子捕快方法，冲破了多主体通顺的复杂交互、多镜头切换的内容一致性坚苦。当今，豆包视频生成模子已通及其山引擎面向企业开启邀测。

PixelDance1.4新版块有四大特色：1、能生成东说念主物的复杂诱骗动作；2、能生成复杂的多主体交互；3、能一次性生成多镜头视频；4、领有超强的运镜限制才智。

其中枢本领包括大边界扩散生成模子、高压缩比&高归附性视频编码解码模子、精确视频形色模子、大边界公开视频数据处理管线等。

火山引擎视频云负责东说念主Yongyuan谈说念，在AI视频时间，东说念主和AI交互变得愈加动态和生动，这条目处理链路愈加智能和交互。

会上，火山引擎发布了跨言语同声复刻直播决议、多模态视频领路与生成决议、对话式AI及时交互决议和AIG3D&大场景重建决议，从视频的分娩端、交互端到花消端，全链路融入AI才智。

在分娩端，跨言语同声复刻直播决议不祥优化同传直播，终局愈加精确的字幕识别、更快输出并带有当然断句，还通过臆造东说念主本领休养口型，支捏6国以上的言语输出；多模态视频领路与生成决议不祥应用于短剧、赛事、磨真金不怕火等场景；多模态电商素材生成决议可生成图文、阐发、AIGC视频和3D模子。

在交互端，依托豆包大模子和火山引擎视频云自研的多项算法，对话式AI及时交互决议使得东说念主与AI的交互愈加当然，提供了智能对话和当然言语处理的遍及才智、忘形真东说念主的当然生动音色，也支捏声息复刻，可终局毫秒级东说念主声检测和打断反应，能过滤90%噪声，精确识别打断意图，并通过流式处理将端到端反应延时镌汰至1秒。

在花消端，AIG3D决议使3D构建更方便；大场景重建决议具有高效渲染速率，支捏二次创作，可低本钱生成直播配景，使场景重建更确切；6DoF直播决议提供及时3D模子渲染、低延时6DoF并能镌汰汇集本钱，让空间体验更千里浸。

举例，火山引擎通过AI生成3D内容和大场景重建决议，为山西高平二郎庙金代戏台和北京正乙祠两座稀疏的历史建筑生成了3D数字钞票，并以臆造直播间的样貌应用于抖音戏曲直播场景。

抖音洞开平台开发者运营负责东说念主李建男共享了AI新产能助力业务增长的三个要津词——创建新场景、制造新体验、塑造新产能。她共享了一些数据：AI智能体将直播间变现效率提高了36%；生成式AI大大镌汰创作门槛，带动图片、视频、故事、IP、办公、学习等优质内容量级增长200%；引入AI创作用具能带动视频投稿量、平均W数、内容丰富度的灵验增长。

李建男追忆说念，通过三方模子引入数据场景洞开，不祥终局垂类深度支捏，带动踪迹窜改率提高，从而提高营销后果，这对行状商是一个相配好的机遇，可带动行状商营业价值提高，进而带来更多精确语料，进一步初始本领进步，终局更好的模子捕快后果提高。

生成式AI为视频化社会带来了改进性变化，不仅能提高内容创作后果，还丰富了交互体验。在AIGC、多模态等本领的共同鼓动下，用户体验在多个维度上履历着久了调动。

与此同期，AI+视频也给底层本领的效力化、编解码的智能化、处理框架的平凡化带来新挑战。看成AI视频时间智能底座的构建商，火山引擎但愿让多媒体处理框架的部署愈加边界化、普惠化，进一步限制算力本钱和提高盘算效率，鼓动编解码与智能本领更好交融巨臀 波多黎各 女神，从而提高最终的体验后果。