标签：缓存
AI赚钱副业~AI生成影视解说，半个月涨粉变现3.5W+！
这两年大家都在感叹生活不易，然而我想说的是，机会还是有的，但问题不在于有没有，而在于你是否能够认准机会，然后抓住它。 接触过很多咨询项目的人，发现...
免训练加速DiT！Meta提出自适应缓存新方法，视频生成快2.6倍
一水 发自 凹非寺量子位 | 公众号 QbitAI现在，视频生成模型无需训练即可加速了？！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的...
vLLM这一年的新特性以及后续规划（总结版!）
大会预告12月5日-6日，2024中国生成式AI大会（上海站）举办。将邀请50+位嘉宾围绕大模型、AI Infra、端侧生成式AI、AI视频生成和具身智能等议题进行同台分享...
强化学习训练一两个小时，100%自主完成任务：机器人ChatGPT时刻真来了？
机器之心报道 编辑：Panda、佳琪把平均成功率从 50% 拉到了 100%。最近，AI 的进步有目共睹，现在这些进步已经开始传递到机器人领域。强大的 AI 技术也能帮助...
OpenAI DevDay公布五项重大创新，AI实时语音的时代来了！成本比GPT-3降低近1000倍！
OpenAI在昨天的DevDay上，公布了五项重大创新：实时API、提示词缓存、模型蒸馏、视觉微调、新广场玩法。 这些新能力似乎预示了OpenAI的战略重心的变化——加大...
奥特曼：自认比o1聪明请举手🤚到o2还这么想么🤨？｜OpenAI开发者日
梦晨 发自 凹非寺量子位 | 公众号 QbitAI奥特曼：认为自己比o1更聪明的请举手。（台下一些人举手）奥特曼：到了o2你们还会这么想么？（汗流浃背了） 这一幕，...
OpenAI DevDay：Realtime 实时多模态 API、缓存折扣、视觉微调，全是利好开发者的
OpenAI在昨天的DevDay上，公布了五项重大创新：实时API、提示词缓存、模型蒸馏、视觉微调、新广场玩法。 这些新能力似乎预示了OpenAI的战略重心的变化——加大...
处于多事之秋的OpenAI，决定拯救开发者预算｜甲子光年
今年DevDay很低调，但也有四项创新。作者｜苏霍伊 编辑｜王博高管离职、苹果退出融资磋商，对于OpenAI来说，这无疑是动荡的一周。但OpenAI仍在坚持说服开发者...
Kimi 背后的长文本大模型推理实践：以 KVCache 为中心的分离式推理架构
演讲嘉宾｜唐飞虎 编辑 ｜蔡芳芳 策划 ｜AICon 全球人工智能开发与应用大会 在不久前举办的 AICon 全球人工智能开发与应用大会上，月之暗面高级研发工程师、...
不花一分钱！GPT-4o微调限时免费开放，每日附赠百万训练token
一水 发自 凹非寺量子位 | 公众号 QbitAI一觉醒来，OpenAI又上新功能了： GPT-4o正式上线微调功能。 并且官方还附赠一波福利：每个组织每天都能免费获得100万...
成本直降90%、延迟缩短80%！Anthropic将API玩出了新花样，网友：应该成为行业标配
编译 | 核子可乐、Tina Anthropic 在其 API 上引入了新的提示词缓存机制，可将长提示的成本降低多达 90%，并将延迟降低 80%。 提示词缓存功能能够记住 API ...
大模型降价又来新玩家——Claude，长文本缓存功能，最高节省 90% 成本
Claude 深夜上新重磅功能——API 长文本缓存。 新版 API 可以「记住」一整本书或整个代码库，不需要再重复输入了。 这样一来，不仅处理长文本的延时更低，更是...
成本降低90%！Claude上新Gemini同款提示词缓存，一次性记住整个代码库
克雷西 发自 凹非寺量子位 | 公众号 QbitAIClaude深夜上新重磅功能——API长文本缓存。 新版API可以“记住”一整本书或整个代码库，不需要再重复输入了。 这样一...
苹果让大模型学会偷懒：更快吐出第一个token，准确度还保住了
机器之心报道 机器之心编辑部偷懒才能更好地工作。Llama 3.1 刚刚发布，你是否已经尝试了呢？就算你的个人计算机是最近的顶尖配置，运行其中最小的 8B 版本可...
月之暗面Kimi引擎是怎么炼成的？底层推理系统方案深度揭秘（二）
直播预告 | 7月5日晚7点，「智猩猩机器人新青年讲座」第10讲正式开讲，北京通研院研究员贾宝雄博士主讲，主题为《具身智能视角下的三维场景理解、生成与交互...
Kimi论文自曝推理架构，80%流量都靠它承担
克雷西 发自 凹非寺量子位 | 公众号 QbitAI月之暗面和清华KVCache.ai团队的最新论文，首次揭秘了Kimi背后的推理架构！ 要知道Kimi是国产大模型的当红炸子鸡，...
12
粤公网安备 44011502001135号