See also the main item: /llm.
Coding, Programming
#
baseline: 人类专家 97%.
SWE-bench leaderboard: top: 33% Claude 3.7 sonnet. 侧重于实际应用， 由普林斯顿大学开发，真实 GitHub Issue 修复，需跨文件编辑、通过单元测试 measured in ELO rating a dataset that tests systems’ ability to solve GitHub issues automatically, contains 2,294 Issue-Pull Request pairs from 12 popular Python repositories. Evaluation is performed by unit test verification using post-PR behavior. BigCodeBench leaderboard on HF, leaderboard github.io: top Gemini-Exp-1206 ~ Deepseek 40%. 侧重于实际应用 更侧重复杂 API 调用全新生成代码 （AI 独立解决问题的能力） 由 BigCode 项目创建，扩展自 Stack Overflow（ODEX 数据集） 包括两个主要部分：BigCodeBench-Complete（基于详细文档字符串的代码补全）和 BigCodeBench-Instruct（基于自然语言指令的代码生成） measured in ELO rating 使用 Pass@1 和 “校准的 Pass@1” 为每个任务提供了复杂的、面向用户的指令，包括清晰的功能描述、输入/输出格式、错误处理和已验证的交互示例。避免逐步的任务指令，相信有能力的 LLM 应该能够从用户的角度以开放的方式理解和解决任务。我们通过测试用例验证特定功能 BigCodeBench 基准测试从 139 个库和 7 个域中调用多个函数调用作为工具，用于 1140 个细粒度任务。为了严格评估 LLMs，每个任务包含 5.
...
See also the main item: /LLM.
AI Agent Platforms / Workflow Platforms
模型 可控性 费用 用户量、社区 一句话介绍 本地部署 LangChain MIT 社区(Star70k+) 代码构建链式工作流，集成多类工具 PromptFlow (微软) MIT Azure 集成 微软开源工具，调试部署复杂 AI 链 Node-RED Apache 2 物联网/开发者领域主流 可视化流程编排，插件扩展 AI 节点, 界面有待提高. n8n.io ~开源 (in comp. only) 免费 社区(star40k+) ≈ 半开源 Coze. 开源自动化平台，可扩展节点 支持 ComfyUI GPL 3 社区(star25k+) 开源 AI 绘画工作流,支持高精度参数自定义 Flowise Apache 2 社区(star16k+) 低代码拖拽搭建 AI 工作流 支持 Dify Apache 2- (NO workspaces) 基础功能免费,定制模型收费 千万级用户 直观 AI 工作流可视化构建,可定制,插件需定制 支持 Make.
...
See also the main item: /LLM.
docker run -d -p 3000:8080 -e OPENAI_API_BASE_URLS="https://api.siliconflow.cn/v1/" -e OPENAI_API_KEY=<my_api_key> -v open-webui:/path/to/docker-v-data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ps: tried --env HTTPS_PROXY="http://192.168.50.107:1080" which does not help downloading speed from docker-hub.
Official github
Flux 画图
See also:
OpenCV Yolo Image Labelling
#
roboflow online python lib chaiwenda/ImgLabel python HumanSignal/label-studio, replacing HumanSignal/labelImg (archived 2024.02) MakeSense.ai 特性/工具 LabelImg VoTT Labelme CVAT 支持的标注类型 边界框 边界框、多边形、点、区域等 边界框、点、线、多边形、自由形状等 边界框、多边形、点、轨迹、骨架、线等 自动化标注 无 支持（集成模型推理） 无 支持（集成 OpenVINO 等模型） 用户界面 简单、直观 现代化界面，但配置较复杂 基础的用户界面 功能强大但学习曲线陡峭 操作系统支持 Windows, Mac, Linux Windows, Mac, Linux Windows, Mac, Linux Web 应用，跨平台 文件格式支持 Pascal VOC, YOLO, CSV 等 Pascal VOC, COCO, YOLO, TFRecord 等 JSON（可导出至多种格式） COCO, Pascal VOC, YOLO, TFRecord, MOT 等 资源占用 低 较高（特别是集成模型时） 低 高（适合在服务器环境下运行） 团队协作 不支持 不支持 不支持 支持多人协作，任务分配，审核流程等 自动化功能 无 半自动化标注，依赖集成模型 无 半自动化标注，依赖集成模型 定制化能力 基本不支持 支持一定程度的集成 高度可定制（开源） 高度可定制（开源） 部署难度 低（安装简单） 中等（需配置模型推理） 低（安装简单） 高（需要在服务器上部署） 适用场景 小型项目，轻量级标注 复杂标注任务，自动化标注需求 需要灵活标注类型，支持自定义属性 大规模项目，多用户协作，自动化标注需求 ref: cnblogs (bak)
...
See also (all LLM related posts & content):
AI-Tools for online/handy AI tools for specific purposes, e.g. PowerPoint Slides, text2pic 文生图/视频平台, text2music 文生音乐平台, 数字人/虚拟主播平台 etc. MCP for MCP servers’ aggregation platforms (MCP 聚合平台网站) (inc. Google A2A). /llm-benchmark: LLM Model benchmarks metrics & leaderboards routers (model providers): OpenRouter.ai gemini 2.5 pro: free account 50~1000 requests/day requesty.ai gemini 2.5 pro: no limit SiliconFlow.cn 硅基流动 API translator: NewAPI OneAPI backends: vLLM /llmflow: LLM WorkFlow /rag-agent-frameworks /chatglm /fastchat-vicuna /llamaindex llama factory /ollama llama.
...
public: 2025-04-19
See also the main item: /LLM.
【DOing , not finished】
see also:
手把手带你实现：基于 Langchain 和 chatglm-6b 构建本地知识库的自动问答应用 9.5 min pytorch 入门 20 - 本地知识库 LLM 对话系统（langchain-ChatGLM 项目）- 源码分析（完结喽） - 跟小鱼儿一起学习 pytorch 官网入门教程 37min 利用 LangChain 和国产大模型 ChatGLM-6B 实现基于本地知识库的自动问答 1.4min Github 地址：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui ModelScope 在线体验：https://modelscope.cn/studios/AI-ModelScope/LangChain-ChatLLM/summary OpenI 地址： https://openi.pcl.ac.cn/Learning-Develop-Union/LangChain-ChatGLM-Webui Install Env
#
ref: imClumsyPanda/langchain-ChatGLM (tested on 22.04)
Public
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - echo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.
...
public: 2025-04-19
See also the main item: /LLM.
Official GitHub.
Follow this CSDN blog for the 1st time run: CSDN, (bak 2023-04-18).
Note about timing (on Tesla V100 16G):
convert_llama_weights_to_hf.py for LLAMA-7B uses <10min. python -m fastchat.model.apply_delta for LLAMA-7B uses <10min. GPTQ-for-LLaMA for LLAMA-13B to 4bit .pt uses 0.75 hour. Vicuna GPTQ Models (量化模型) Comparison & WebUI Tutorial. ref: medium
See also FastChat for WebUI & RESTful API: FastChat GitHub Home.
...
public: 2025-04-19
See also the main item: /LLM.
类似/相关： haystack
ref: LlamaIndex 原理与应用简介（不同场景下的架构逻辑） by bilibili 字节字节
LlamaIndex 的核心功能
#
知识库问答示例 总体流程： 载入数据，切分 构建 index ·持久化 index ·查询与生成 Data connectors:APIs,pdf,ppt,docx,markdown,image,audio,video,tables… Index:list,vector store,tree,keyword table,Pandas,SQL 存储，与各类向量数据库的对接。0.6 版本之后更加复杂，分成 doc,indexi 和 vector3 三块存储 Query:.各种对应 index 的查询与结果生成，主要分成 retrieve（召回）和 synthesize（整合生成）两部分 Query 结果中的 extra_info,支持引用展示 Post process:召回的“后处理”，例如关键词过滤，重排序等 定制化，包括 LLM,prompt,embedding,存储等 Optimizers,优化调用，节省 token 与 Query 相关的特性与场景
#
Vector Index - 常用于 QA
#
Tree Index - 多个知识库的场景(自底向上用 Prompt & synthesis 的方法递归生成 parent nodes)
#
Keyword Table Index - 常用于问题比较短，有很多专有词的场景（Keywords 也是通过 prompt 生成）
#
DEFAULT_KEYWORD_EXTRACT_TEMPLATE_TMPL = ( "Some text is provided below.
...
public: 2025-04-19
See also the main item: /LLM.
Windows, Linux, MacOS 可执行程序直接运行，自动下载模型权重，且不需要网络代理。 腾讯开发者, (bak).
注意：ollama run llama2之后，在 npm run dev （chatbot）前，需要ollama run mistral，否则提示'model 'mistral:latest' not found, try pulling it first。
想要运行什么模型，就在文件夹内直接用ollama run <MODEL>，例如：ollama run llama2:latest 或 ollama run qwen ollama run gemma。 模型有了之后，再npm run dev，根据提示进入网页 localhost:3000 就可以选择模型了。 to allow listening on all network interfaces:
#
One time (nix): export OLLAMA_HOST=0.0.0.0:11434 && ollama run ... (Mac: launchctl setenv OLLAMA_HOST 0.0.0.0:11434)
Always (nix): vim /etc/systemd/system/ollama.
...