See also the main item: /LLM.
AI Agent Platforms / Workflow Platforms
模型 可控性 费用 用户量、社区 一句话介绍 本地部署 LangChain MIT 社区(Star70k+) 代码构建链式工作流，集成多类工具 PromptFlow (微软) MIT Azure 集成 微软开源工具，调试部署复杂 AI 链 Node-RED Apache 2 物联网/开发者领域主流 可视化流程编排，插件扩展 AI 节点, 界面有待提高. n8n.io ~开源 (in comp. only) 免费 社区(star40k+) ≈ 半开源 Coze. 开源自动化平台，可扩展节点 支持 ComfyUI GPL 3 社区(star25k+) 开源 AI 绘画工作流,支持高精度参数自定义 Flowise Apache 2 社区(star16k+) 低代码拖拽搭建 AI 工作流 支持 Dify Apache 2- (NO workspaces) 基础功能免费,定制模型收费 千万级用户 直观 AI 工作流可视化构建,可定制,插件需定制 支持 Make.
...
See also the main item: /LLM.
docker run -d -p 3000:8080 -e OPENAI_API_BASE_URLS="https://api.siliconflow.cn/v1/" -e OPENAI_API_KEY=<my_api_key> -v open-webui:/path/to/docker-v-data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ps: tried --env HTTPS_PROXY="http://192.168.50.107:1080" which does not help downloading speed from docker-hub.
Official github
Flux 画图
See also (all LLM related posts & content):
AI-Tools for online/handy AI tools for specific purposes, e.g. PowerPoint Slides, text2pic 文生图/视频平台, text2music 文生音乐平台, 数字人/虚拟主播平台 etc. MCP for MCP servers’ aggregation platforms (MCP 聚合平台网站) (inc. Google A2A). /llm-benchmark: LLM Model benchmarks metrics & leaderboards routers (model providers): OpenRouter.ai gemini 2.5 pro: free account 50~1000 requests/day requesty.ai gemini 2.5 pro: no limit SiliconFlow.cn 硅基流动 API translator: NewAPI OneAPI backends: vLLM /llmflow: LLM WorkFlow /rag-agent-frameworks /chatglm /fastchat-vicuna /llamaindex llama factory /ollama llama.
...
See also the main item: /LLM.
PowerPoint Slides Tools
#
Gamma （可用中文） 提示: 格式不完全兼容 MS PowerPoint, 导出 pptx 可能导致元素缺失. 可以导出 PDF 以保留所有元素. Kimi 已下线直接生成 ppt 文件功能, 目前只能生成网页版文字直接显示 或 markdown (含 MathML，可以用 snip.mathpix.com 渲染 ) text2pic 文生图/视频平台
#
通译万像（图片） 字节跳动即梦 （视频、图片） Vidu 快手可灵(视频)，快手可图 Kolors（图片） 腾讯元宝 [需调整] Midjourney [演示用了英文提示词] Pixverse （视频） Luma （视频） ninjatools.ai （视频、图片） Google VideoFx (Beta) & Google Cloud Vertex AI Studio/Workbench. Model name: Veo 2 XXX Dall.E （图片） XXX Runway （视频） text2music 文生音乐平台
#
Suno 豆包音乐 [普遍带电音] SkyMusic [（]普遍带电音] 数字人/虚拟主播平台
#
updated: 2024 Dec.
...
public: 2025-04-19
See also the main item: /LLM.
【DOing , not finished】
see also:
手把手带你实现：基于 Langchain 和 chatglm-6b 构建本地知识库的自动问答应用 9.5 min pytorch 入门 20 - 本地知识库 LLM 对话系统（langchain-ChatGLM 项目）- 源码分析（完结喽） - 跟小鱼儿一起学习 pytorch 官网入门教程 37min 利用 LangChain 和国产大模型 ChatGLM-6B 实现基于本地知识库的自动问答 1.4min Github 地址：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui ModelScope 在线体验：https://modelscope.cn/studios/AI-ModelScope/LangChain-ChatLLM/summary OpenI 地址： https://openi.pcl.ac.cn/Learning-Develop-Union/LangChain-ChatGLM-Webui Install Env
#
ref: imClumsyPanda/langchain-ChatGLM (tested on 22.04)
Public
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - echo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.
...
public: 2025-04-19
See also the main item: /LLM.
Official GitHub.
Follow this CSDN blog for the 1st time run: CSDN, (bak 2023-04-18).
Note about timing (on Tesla V100 16G):
convert_llama_weights_to_hf.py for LLAMA-7B uses <10min. python -m fastchat.model.apply_delta for LLAMA-7B uses <10min. GPTQ-for-LLaMA for LLAMA-13B to 4bit .pt uses 0.75 hour. Vicuna GPTQ Models (量化模型) Comparison & WebUI Tutorial. ref: medium
See also FastChat for WebUI & RESTful API: FastChat GitHub Home.
...
public: 2025-04-19
See also the main item: /LLM.
类似/相关： haystack
ref: LlamaIndex 原理与应用简介（不同场景下的架构逻辑） by bilibili 字节字节
LlamaIndex 的核心功能
#
知识库问答示例 总体流程： 载入数据，切分 构建 index ·持久化 index ·查询与生成 Data connectors:APIs,pdf,ppt,docx,markdown,image,audio,video,tables… Index:list,vector store,tree,keyword table,Pandas,SQL 存储，与各类向量数据库的对接。0.6 版本之后更加复杂，分成 doc,indexi 和 vector3 三块存储 Query:.各种对应 index 的查询与结果生成，主要分成 retrieve（召回）和 synthesize（整合生成）两部分 Query 结果中的 extra_info,支持引用展示 Post process:召回的“后处理”，例如关键词过滤，重排序等 定制化，包括 LLM,prompt,embedding,存储等 Optimizers,优化调用，节省 token 与 Query 相关的特性与场景
#
Vector Index - 常用于 QA
#
Tree Index - 多个知识库的场景(自底向上用 Prompt & synthesis 的方法递归生成 parent nodes)
#
Keyword Table Index - 常用于问题比较短，有很多专有词的场景（Keywords 也是通过 prompt 生成）
#
DEFAULT_KEYWORD_EXTRACT_TEMPLATE_TMPL = ( "Some text is provided below.
...
public: 2025-04-19
See also the main item: /LLM.
Windows, Linux, MacOS 可执行程序直接运行，自动下载模型权重，且不需要网络代理。 腾讯开发者, (bak).
注意：ollama run llama2之后，在 npm run dev （chatbot）前，需要ollama run mistral，否则提示'model 'mistral:latest' not found, try pulling it first。
想要运行什么模型，就在文件夹内直接用ollama run <MODEL>，例如：ollama run llama2:latest 或 ollama run qwen ollama run gemma。 模型有了之后，再npm run dev，根据提示进入网页 localhost:3000 就可以选择模型了。 to allow listening on all network interfaces:
#
One time (nix): export OLLAMA_HOST=0.0.0.0:11434 && ollama run ... (Mac: launchctl setenv OLLAMA_HOST 0.0.0.0:11434)
Always (nix): vim /etc/systemd/system/ollama.
...
Notes on Prompt Engineering
1.两个基本原则 指令清晰具体 具体方法： 1.[输入]：清晰分隔输入的语义不同的各部分 例如可以用：```，""，<>，，<\tag>等。注：不同模型对于某些符号的反应可能有特殊情况，例如转义符 \ 。 2.[处理]：要求 if-else 条件 3.[处理]：提供问答示例 针对想要达到的目标，例如格式、风格等，直接提供示例给模型作参考。 4.[输出]：要求输出结构化。例如 json 等。可以详细地描述给模型想要的具体结构。 5.迭代：一遍一遍试，而不是企图一步到位。刚开始的生成结果可能不合适，可以提示模型在哪些方面改进，例如理解输入材料时的关注重点（数据 vs. 情感 etc.？）、输出对应听众的习惯（美学 vs. 功能；热情 vs. 冷静 etc.）、输出长度、输出格式的细节（json 层次、key 名、 value 类型）等。 6.注意“提取(Extract)” vs. “概括(Summarize)” 的区别；“整合(synthesize)多个文本” vs. “概括(summarize)单一文本”的区别。
要求模型思考 具体方法： 1.[输入]：把指令拆分为带有序号的小步骤。 2.[处理]：指定判断步骤，避免被判断指令询问的输入内容的可能错误部分带歪。
2.其他 纯文本 Prompt 一般格式 1.声明扮演角色 2.简洁的任务描述（例如命令/要求/步骤等）（按照时间顺序） 3.对于任务的详细说明 4.对于输入的内容的格式的详细说明 5.对于输出的内容的格式的详细说明 6.输入的内容
调用 API 可以使用非纯文本，要结合 API 允许的情况。例如 OpenAI 的 ChatGPT 接口 openai.ChatCompletion.create() 可以接受 messages 作为历史记录，其中除了 AI 本身 assistant，还可以有 system 告诉 assistant 是扮演什么角色，然后 user 再提问。
...