docker run -d -p 3000:8080 -e OPENAI_API_BASE_URLS="https://api.siliconflow.cn/v1/" -e OPENAI_API_KEY=<my_api_key> -v open-webui:/path/to/docker-v-data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ps: tried --env HTTPS_PROXY="http://192.168.50.107:1080" which does not help downloading speed from docker-hub.
Official github
Flux 画图
See also backends:
/rag-agent-frameworks /chatglm /fastchat-vicuna /llamaindex /ollama SiliconFlow.cn 硅基流动 See also frontends:
HuggingChat GPT4ALL LibreChat /open-webui localAI See also API translator:
NewAPI OneAPI See also datasets etc.:
Chinese NLP Data: 四大名著现代汉语版、古汉语版 See also multi-agent frameworks (below).
Interesting APPs
#
Some simple examples/demos.
语音聊天机器人：【Open WebUI+Ollama/vLLM+CosyVoice+Whisper】终极个人聊天互动机器人-环境部署及成果展示 简单多模态：ollama+open-webui_知识库+多模态+文生图功能详解 Fine-tune vs. RAG vs. Prompt
#
Fine-tune ≈ Learn a course RAG ≈ open-book examination Prompt ≈ ? Several Tools to Run the LLM’s Model (itself)
#
本地大模型启动 openai 服务的 N 种方式, vllm, fastchat, llama factory, llama.
...
Notes on Prompt Engineering
1.两个基本原则 指令清晰具体 具体方法： 1.[输入]：清晰分隔输入的语义不同的各部分 例如可以用：```，""，<>，，<\tag>等。注：不同模型对于某些符号的反应可能有特殊情况，例如转义符 \ 。 2.[处理]：要求 if-else 条件 3.[处理]：提供问答示例 针对想要达到的目标，例如格式、风格等，直接提供示例给模型作参考。 4.[输出]：要求输出结构化。例如 json 等。可以详细地描述给模型想要的具体结构。 5.迭代：一遍一遍试，而不是企图一步到位。刚开始的生成结果可能不合适，可以提示模型在哪些方面改进，例如理解输入材料时的关注重点（数据 vs. 情感 etc.？）、输出对应听众的习惯（美学 vs. 功能；热情 vs. 冷静 etc.）、输出长度、输出格式的细节（json 层次、key 名、 value 类型）等。 6.注意“提取(Extract)” vs. “概括(Summarize)” 的区别；“整合(synthesize)多个文本” vs. “概括(summarize)单一文本”的区别。
要求模型思考 具体方法： 1.[输入]：把指令拆分为带有序号的小步骤。 2.[处理]：指定判断步骤，避免被判断指令询问的输入内容的可能错误部分带歪。
2.其他 纯文本 Prompt 一般格式 1.声明扮演角色 2.简洁的任务描述（例如命令/要求/步骤等）（按照时间顺序） 3.对于任务的详细说明 4.对于输入的内容的格式的详细说明 5.对于输出的内容的格式的详细说明 6.输入的内容
调用 API 可以使用非纯文本，要结合 API 允许的情况。例如 OpenAI 的 ChatGPT 接口 openai.ChatCompletion.create() 可以接受 messages 作为历史记录，其中除了 AI 本身 assistant，还可以有 system 告诉 assistant 是扮演什么角色，然后 user 再提问。
...