AI
霍州比特人博客的 AI 版块:本地跑大模型的命令与模型选择、Prompt 模板、RAG 分块策略、向量库选型、结构化输出、量化模型与自建知识库的实践记录。
TOP可复用的 Prompt 模板与参数取舍
把 Prompt 当代码管:给出角色、任务、输入、约束、输出格式、示例六段式模板,双花括号占位注入、messages 结构与温度取值,以及用回归用例防止模型升级后行为漂移。
TOPOllama 常用命令与本地模型选择
整理 Ollama 从安装、环境变量到 pull/run/ps/show 的常用命令,给出按显存倒推的模型与 Q4_K_M 量化选择表,并记录 num_ctx 静默截断、层被 offload 到 CPU 等实战踩坑。
自建知识库的维护成本与增量更新
算清自建知识库的真实成本:10 万 chunk 的向量体积、embedding 重建耗时、人力标注,给出按内容 hash 做增量更新、collection 版本化灰度、监控空结果率与孤儿 chunk 的脚本。
小显卡跑 GGUF:Q4_K_M 量化取舍
拆解 GGUF 与 Q4_K_M 命名(K-quant 分块、S/M/L 混合精度),按显存给出 3B/7B/14B 量化选择表,附 huggingface-cli 下载与 llama.cpp -ngl 分层命令。
用 AI 做代码审查的检查清单
给出一份可直接贴进 prompt 的 AI 代码审查清单,覆盖正确性、安全、性能、可维护性与测试五类,规定严重级别加文件行号的输出格式,并说明喂 diff、降噪与幻觉行号的处理。
AI 生成内容的幻觉校验清单
把 AI 生成内容的幻觉拆成事实编造、伪造引用、过时信息、不存在的包名四类,给出证据回查、HTTP HEAD 校验 URL、允许说不知道,以及把校验塞进 CI 的可执行脚本。
上下文窗口 num_ctx 与长文档处理
解释 Ollama num_ctx 默认 2048 或 4096 会静默截断长文档的问题,给出显式设置方法、KV cache 显存估算、RAG 与 map-reduce 路线,以及层被挪到 CPU 变慢等踩坑。
结构化输出:JSON mode 与约束解码
结构化输出分三层:提示词给 schema、开 JSON mode 或 grammar 约束解码、出参用 Pydantic 校验重试,附 json_schema 与 Ollama format 配置。
中文 embedding 模型效果对比与选型
横向对比 bge-m3、bge-large-zh-v1.5、m3e、text-embedding-v3 等中文 embedding 模型的维度、上下文长度与检索效果,给出调用代码、bge 检索指令前缀与换模型必须重建索引的取舍。
AI 编程助手的能力边界与落地规矩
划清 AI 编程助手能放手做与必须人工把关的边界:样板代码、单测、正则可交给它,鉴权加密、金额并发、安全校验自己兜底,附带 .cursorrules 项目约定写法与验证闭环。
向量库选型:sqlite-vec/FAISS
对比 sqlite-vec、FAISS、Chroma 三种向量库的部署形态、元数据过滤、持久化与规模上限,给出各自最小可用代码,并按单机嵌入、原型验证、百万级检索三种场景给出选型判断。
RAG 最小实现与中文分块策略
用几十行 Python 写出可跑的 RAG 最小实现:切块、embedding、余弦检索、拼上下文,重点讲中文分块的 chunk_size 与 overlap、按标题递归切,以及 top_k、阈值、rerank 与命中率评估。