跳转至

Dify 上的 Ollama 不支持 Rerank 模型

在 Dify Cloud 平台调用各大平台的大模型 API 一直都没发现这个问题,随着开始折腾本地化使用,才发现 Ollama 部署大模型虽然方便,但是 RAG 中 Dify 知识库混合检索,需要 Rerank 模型时,这一点上,Ollama 居然是不支持 Rerank 模型的。
rag-pipelines

Dify Cloud 的系统模型设置,在接入了阿里云百炼的通义千问 API Key 后,Rerank 模型会默认显示通义千问的 gte-rerankgte-rerank-v2dify-cloud-rerank

本地部署 Ollama + Dify,在 Dify 选择 Ollama 模型供应商,发现 Ollama 只支持 LLM 和 Text Embedding,不支持 Rerank 模型。 dify-local-ollama-models

看到有提到使用 Xinference 平台来部署 Rerank 模型的,特意去看了一下 Xorbits Inference,发现的确是除了 LLM 和 Text Embedding 还支持 Rerank、Speech2text、TTS。 dify-xorbits-inference

参考资料