跳到主要内容

2024-08-29 Cerebras Launches the World’s Fastest AI Inference

· 阅读需 2 分钟

𝟎𝟖𝟐𝟗 𝓐𝓲𝓦𝓪𝓻𝓽𝓼 𝓝𝓮𝔀𝓼 (AI日报第148期) 🧙📰 

Cerebras Launches the World’s Fastest AI Inference

🤯AI大事件

  • Cerebras 推出世界上最快的 LLM 推理服务。Llama 3.1 8B 的生成数独可以到每秒1800Token,70B 可以达到 450 Token。目前每个为每个开发者每天提供 100 万个免费 Token

  • 谷歌推出了Gemini系列3个新模型:Gemini 1.5 Pro Experimental 0827(代码和推理能力更强)、Gemini 1.5 Flash Experimental 0827(整体能力增强)、Gemini 1.5 Flash 8B Experimental 0827(小模型、8B)

  • Google Gems 现已向 Gemini Advanced 用户推出,类似于 OpenAI 的自定义 GPT,目前只支持自定义提示词

  • Imagen 3 现已在 Gemini Web 和移动应用程序中推出

  • 智谱开源了CogVideoX-5B,DiT视频模型,能生成720*480的视频。在 3090 上推断 720x480 的 49 帧视频需要 13 分钟,4090 大约是一半!另外之前的2B版本,开源协议改成了可商用

🧰 AI新工具

  • auto-video-generateor - AI自动解说视频生成器,给定主题自动生成解说视频
  • Remove Background WebGPU - 背景移除工具、浏览器内推理 🤗 Transformers.js、WebGPU 加速、成本 0 美元
  • Humata - 一个工具,提供快速总结长篇论文并获得即时答案的简单方法(1.99美元/月)

日报直通车