距离 2027 年 丁未羊 年春节还有 — 天 · KEEP BUILDING ·
ai / 4

AI

霍州比特人博客的 AI 版块:本地跑大模型的命令与模型选择、Prompt 模板、RAG 分块策略、向量库选型、结构化输出、量化模型与自建知识库的实践记录。

AI 实践,Ollama,RAG,向量数据库,Prompt,大模型,AI 编程 大模型与 AI 工程实践

TOP可复用的 Prompt 模板与参数取舍

把 Prompt 当代码管:给出角色、任务、输入、约束、输出格式、示例六段式模板,双花括号占位注入、messages 结构与温度取值,以及用回归用例防止模型升级后行为漂移。

[list:tags]

TOPOllama 常用命令与本地模型选择

整理 Ollama 从安装、环境变量到 pull/run/ps/show 的常用命令,给出按显存倒推的模型与 Q4_K_M 量化选择表,并记录 num_ctx 静默截断、层被 offload 到 CPU 等实战踩坑。

[list:tags]

自建知识库的维护成本与增量更新

算清自建知识库的真实成本:10 万 chunk 的向量体积、embedding 重建耗时、人力标注,给出按内容 hash 做增量更新、collection 版本化灰度、监控空结果率与孤儿 chunk 的脚本。

[list:tags]

小显卡跑 GGUF:Q4_K_M 量化取舍

拆解 GGUF 与 Q4_K_M 命名(K-quant 分块、S/M/L 混合精度),按显存给出 3B/7B/14B 量化选择表,附 huggingface-cli 下载与 llama.cpp -ngl 分层命令。

[list:tags]

用 AI 做代码审查的检查清单

给出一份可直接贴进 prompt 的 AI 代码审查清单,覆盖正确性、安全、性能、可维护性与测试五类,规定严重级别加文件行号的输出格式,并说明喂 diff、降噪与幻觉行号的处理。

[list:tags]

AI 生成内容的幻觉校验清单

把 AI 生成内容的幻觉拆成事实编造、伪造引用、过时信息、不存在的包名四类,给出证据回查、HTTP HEAD 校验 URL、允许说不知道,以及把校验塞进 CI 的可执行脚本。

[list:tags]

上下文窗口 num_ctx 与长文档处理

解释 Ollama num_ctx 默认 2048 或 4096 会静默截断长文档的问题,给出显式设置方法、KV cache 显存估算、RAG 与 map-reduce 路线,以及层被挪到 CPU 变慢等踩坑。

[list:tags]

结构化输出:JSON mode 与约束解码

结构化输出分三层:提示词给 schema、开 JSON mode 或 grammar 约束解码、出参用 Pydantic 校验重试,附 json_schema 与 Ollama format 配置。

[list:tags]

中文 embedding 模型效果对比与选型

横向对比 bge-m3、bge-large-zh-v1.5、m3e、text-embedding-v3 等中文 embedding 模型的维度、上下文长度与检索效果,给出调用代码、bge 检索指令前缀与换模型必须重建索引的取舍。

[list:tags]

AI 编程助手的能力边界与落地规矩

划清 AI 编程助手能放手做与必须人工把关的边界:样板代码、单测、正则可交给它,鉴权加密、金额并发、安全校验自己兜底,附带 .cursorrules 项目约定写法与验证闭环。

[list:tags]

向量库选型:sqlite-vec/FAISS

对比 sqlite-vec、FAISS、Chroma 三种向量库的部署形态、元数据过滤、持久化与规模上限,给出各自最小可用代码,并按单机嵌入、原型验证、百万级检索三种场景给出选型判断。

[list:tags]

RAG 最小实现与中文分块策略

用几十行 Python 写出可跑的 RAG 最小实现:切块、embedding、余弦检索、拼上下文,重点讲中文分块的 chunk_size 与 overlap、按标题递归切,以及 top_k、阈值、rerank 与命中率评估。

[list:tags]