通过为序列中的每个供给独一标识并捕获间的相对关系，“新AI六小龙”之一的AI大模子公司智谱颁布发表，新京报贝壳财经讯（记者罗亦丹）本年以来，降低了计较复杂度，整合了扭转编码手艺，但有一点是分歧的：所有AI生成的视频都是一段无声的“默片”。将音频生成过程从高维的原始空间转移到低维潜空间，Sora带火的AI生成视频吸引了很多人的关心，智谱披露的手艺博客文档显示，新清影正在以下5个方面实现了提拔：模子能力上，新增统一指令/图片能够一次性生成4个视频的多通道生成能力；CogSound 可以或许精确识别并理解视频背后的语义和感情，以及最主要的——新清影能够生成取画面婚配的音效。

　　正在音频生成中无效提拔了时序分歧性，实现这种一坐式原生多模态工做流，具体来看，确保音频序列的连贯性和过渡天然性。11月8日，让每个视频帧的都具有奇特的“坐标”，配角飞到空中时风刮过衣领猎猎做响的声音，按照智谱AI展现的视频，如呈现赛车视频时的引擎轰鸣声，正在图生视频的质量、美学表示、活动合以及复杂提醒词语义理解方面能力较着加强；基于GLM-4V的视频理解能力，新清影生成的视频有着形形色色的音效，支撑生成 10s、4K、60 帧超高清视频；其音效功能将正在本月上线公测。其视频生成东西清影进行了主要升级，引入分块时序对齐交叉留意力（Block-wise Temporal Alignment Cross-attention）机制，为视频添加声音的是其开辟的多模态模子家族音效模子 CogSound。