See also the main item: /LLM-.
架构 e.g. RAGFlow, Langchain GraphRAG.
【个人知识库/自建知识库】RAG+AI 工作流+Agent：LLM 框架该如何选择，全面对比 MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐。/ 知识库大横评，总有一款适合你： MaxKB.cn , AnythingLLM, Dify.ai, FastGPT, RAGFlow. by cnblogs / 腾讯云 2024.08 (bak)
Perplexica ：一个基于 AI 的搜索引擎，它是 Perplexity AI 的开源替代品。
架构比较
https://docs.qq.com/sheet/DVU1WVEFuUUJIV1dz?tab=BB08J2
https://www.igisv.com/rag_opensource/ (2024.08) LangChain, LangChain-Chatchat, RAGFlow by 英飞流 InfiniFlow 2024.04, QAnything by 网易有道 2024.01
ref: RAG vs. Agent 落地案例示意： https://blog.csdn.net/2301_76161259/article/details/144403055
See also:
OpenCV Yolo Image Labelling
#
roboflow online python lib chaiwenda/ImgLabel python HumanSignal/label-studio, replacing HumanSignal/labelImg (archived 2024.02) MakeSense.ai 特性/工具 LabelImg VoTT Labelme CVAT 支持的标注类型 边界框 边界框、多边形、点、区域等 边界框、点、线、多边形、自由形状等 边界框、多边形、点、轨迹、骨架、线等 自动化标注 无 支持（集成模型推理） 无 支持（集成 OpenVINO 等模型） 用户界面 简单、直观 现代化界面，但配置较复杂 基础的用户界面 功能强大但学习曲线陡峭 操作系统支持 Windows, Mac, Linux Windows, Mac, Linux Windows, Mac, Linux Web 应用，跨平台 文件格式支持 Pascal VOC, YOLO, CSV 等 Pascal VOC, COCO, YOLO, TFRecord 等 JSON（可导出至多种格式） COCO, Pascal VOC, YOLO, TFRecord, MOT 等 资源占用 低 较高（特别是集成模型时） 低 高（适合在服务器环境下运行） 团队协作 不支持 不支持 不支持 支持多人协作，任务分配，审核流程等 自动化功能 无 半自动化标注，依赖集成模型 无 半自动化标注，依赖集成模型 定制化能力 基本不支持 支持一定程度的集成 高度可定制（开源） 高度可定制（开源） 部署难度 低（安装简单） 中等（需配置模型推理） 低（安装简单） 高（需要在服务器上部署） 适用场景 小型项目，轻量级标注 复杂标注任务，自动化标注需求 需要灵活标注类型，支持自定义属性 大规模项目，多用户协作，自动化标注需求 ref: cnblogs (bak)
...
See also (all LLM related posts & content):
/LLM-notebook /LLM-benchmark: LLM Model benchmarks metrics & leaderboards /AI-Tools for online/handy AI tools for specific purposes, e.g. PowerPoint Slides, text2pic 文生图/视频平台, text2music 文生音乐平台, 数字人/虚拟主播平台 etc. /AI-Chat 个人/团队自用 (可配置)(桌面) 对话 APP/系统 和 定制化对话客服服务系统 /MCP for MCP servers’ aggregation platforms (MCP 聚合平台网站) (inc. Google A2A). /LLM-skills for skills’ aggregation platforms (skills 聚合平台网站) Routers/模型服务提供商 (MaaS, model as a service providers): /llm-routers API translator: NewAPI OneAPI backends: vLLM /llm-workflow: LLM WorkFlow /rag-agent-frameworks /chatglm /fastchat-vicuna /llamaindex llama factory /ollama llama.
...
public: 2025-04-19
See also the main item: /LLM-.
【DOing , not finished】
see also:
手把手带你实现：基于 Langchain 和 chatglm-6b 构建本地知识库的自动问答应用 9.5 min pytorch 入门 20 - 本地知识库 LLM 对话系统（langchain-ChatGLM 项目）- 源码分析（完结喽） - 跟小鱼儿一起学习 pytorch 官网入门教程 37min 利用 LangChain 和国产大模型 ChatGLM-6B 实现基于本地知识库的自动问答 1.4min Github 地址：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui ModelScope 在线体验：https://modelscope.cn/studios/AI-ModelScope/LangChain-ChatLLM/summary OpenI 地址： https://openi.pcl.ac.cn/Learning-Develop-Union/LangChain-ChatGLM-Webui Install Env
#
ref: imClumsyPanda/langchain-ChatGLM (tested on 22.04)
Public
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - echo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.
...
public: 2025-04-19
See also the main item: /LLM-.
Official GitHub.
Follow this CSDN blog for the 1st time run: CSDN, (bak 2023-04-18).
Note about timing (on Tesla V100 16G):
convert_llama_weights_to_hf.py for LLAMA-7B uses <10min. python -m fastchat.model.apply_delta for LLAMA-7B uses <10min. GPTQ-for-LLaMA for LLAMA-13B to 4bit .pt uses 0.75 hour. Vicuna GPTQ Models (量化模型) Comparison & WebUI Tutorial. ref: medium
See also FastChat for WebUI & RESTful API: FastChat GitHub Home.
...
public: 2025-04-19
See also the main item: /LLM-.
类似/相关： haystack
ref: LlamaIndex 原理与应用简介（不同场景下的架构逻辑） by bilibili 字节字节
LlamaIndex 的核心功能
#
知识库问答示例 总体流程： 载入数据，切分 构建 index ·持久化 index ·查询与生成 Data connectors:APIs,pdf,ppt,docx,markdown,image,audio,video,tables… Index:list,vector store,tree,keyword table,Pandas,SQL 存储，与各类向量数据库的对接。0.6 版本之后更加复杂，分成 doc,indexi 和 vector3 三块存储 Query:.各种对应 index 的查询与结果生成，主要分成 retrieve（召回）和 synthesize（整合生成）两部分 Query 结果中的 extra_info,支持引用展示 Post process:召回的“后处理”，例如关键词过滤，重排序等 定制化，包括 LLM,prompt,embedding,存储等 Optimizers,优化调用，节省 token 与 Query 相关的特性与场景
#
Vector Index - 常用于 QA
#
Tree Index - 多个知识库的场景(自底向上用 Prompt & synthesis 的方法递归生成 parent nodes)
#
Keyword Table Index - 常用于问题比较短，有很多专有词的场景（Keywords 也是通过 prompt 生成）
#
DEFAULT_KEYWORD_EXTRACT_TEMPLATE_TMPL = ( "Some text is provided below.
...
public: 2025-04-19
See also the main item: /LLM-.
Windows, Linux, MacOS 可执行程序直接运行，自动下载模型权重，且不需要网络代理。 腾讯开发者, (bak).
注意：ollama run llama2之后，在 npm run dev （chatbot）前，需要ollama run mistral，否则提示'model 'mistral:latest' not found, try pulling it first。
想要运行什么模型，就在文件夹内直接用ollama run <MODEL>，例如：ollama run llama2:latest 或 ollama run qwen ollama run gemma。 模型有了之后，再npm run dev，根据提示进入网页 localhost:3000 就可以选择模型了。 to allow listening on all network interfaces:
#
One time (nix): export OLLAMA_HOST=0.0.0.0:11434 && ollama run ... (Mac: launchctl setenv OLLAMA_HOST 0.0.0.0:11434)
Always (nix): vim /etc/systemd/system/ollama.
...