博客

开发者工具使用指南、技术科普与最佳实践。

全部 AI Agent AI IDE AI 编程助手 AI安全 AI工程化 AI编程 AI编程助手 AI编程工具 AI编辑器 Agent Anthropic Base64 CI/CD CSP CSS Cache ChromaDB Claude Claude Code Copilot Cursor DevOps Embedding Function Calling GitHub Copilot GitLab HTTPS IDE IDE插件 INT4 JSON KV Cache LLM LLM安全 LLM应用开发 LLM部署 LM Studio LangChain Llama MCP MLX Markdown Node.js Ollama PagedAttention Production Prompt Injection PromptInjection Prompt注入 Qdrant RAG RAG安全 React SEO SSL Security Transformer TypeScript URL Unicode Unix VS Code WebGPU WebLLM Web安全 Web开发 Windsurf XML XSS llama.cpp transformers.js vLLM 代码审查代码编辑器代码规范代码重构写作前端向量数据库向量检索图片在线工具安全实战实战经验密码工程实践幻觉开发工具开发效率开发者体验开发者工具开源模型性能优化推理优化提效提示注入提示词插件搜索引擎效率效率工具数据库数据格式文本处理文档时间戳本地推理本地部署格式化检索检索优化检索增强检索增强生成正则表达式流量浏览器推理渗透测试生产力生产实践生产环境生产部署知识库端侧AI 端侧推理类型系统编码编程编程助手网站速度计算机基础设计证书语义搜索踩坑经验量化防御方案防御架构隐私保护颜色

标签：#推理优化 · 清除筛选

算法与原理·2026-08-21

KV Cache 到底是什么？面试被问住之后我翻了源码

Transformer 推理优化的基础，但很多人只背了八股文。从源码讲清楚 KV Cache 的原理、显存开销、PagedAttention，以及什么时候不用 KV Cache。

TransformerKV CachePagedAttention推理优化

AI技术·2026-08-10

LLM 推理优化实战：把响应时间从 2s 降到 200ms 的全过程

用 Llama 3 8B 做的聊天机器人项目，通过量化、Flash Attention、Speculative Decoding 等优化，最终延迟降低 91%。

LLM推理优化Llama量化

显示第 1-2 篇，共 2 篇