Dify 上的 Ollama 不支持 Rerank 模型
在 Dify Cloud 平台调用各大平台的大模型 API 一直都没发现这个问题,随着开始折腾本地化使用,才发现 Ollama 部署大模型虽然方便,但是 RAG 中 Dify 知识库混合检索,需要 Rerank 模型时,这一点上,Ollama 居然是不支持 Rerank 模型的。
Bio & IT 技术私房菜。
这作者关于生物信息学、互联网 IT、运维开发、软件安装部署、测评使用等方向的文章集合,大部分为原创。
本节点的所有文章均来源于个人在 GitHub 的 “Digital-Garden” 仓库讨论区。
基于 GitHub Actions + 一系列 Python script 实现每天同步更新与部署。
这部分的文章内容仅仅代表我的个人观点,由于技术的更新,如果你发现有些内容已经失效或者错误,欢迎在评论区指出来,我希望我的文章能被别人整理能被修改,因为文章会有错误,也会需要时常更新。
为什么我不在微信公众号上写文章 - 陈皓
最重要的是,我希望我的文章和观点是有讨论的,希望我的文章能被指正和批评,最好是引发讨论和思辨,这样才会让我们每一个人都可以在交流中成长。很多时候,文章本身并没有什么太大的价值,而引发的讨论和思辨才更有价值,这是我认为文章传播最正确的姿势。
在 Dify Cloud 平台调用各大平台的大模型 API 一直都没发现这个问题,随着开始折腾本地化使用,才发现 Ollama 部署大模型虽然方便,但是 RAG 中 Dify 知识库混合检索,需要 Rerank 模型时,这一点上,Ollama 居然是不支持 Rerank 模型的。
在 Python-3.6.9 中测试 Cheetah
包的时候遇到了找不到 libpython3.6m.so.1.0
静态库,记录一下填坑。
事情起因是在 R 语言中调用 png
包的 readPNG
读取 png 图片的时候,碰到了错误:libpng error: Incompatible libpng version in application and library。
> library(png)
> p1 = readPNG("/bioinfo/polyA/circos.png")
Error in readPNG("/bioinfo/polyA/circos.png") :
libpng error: Incompatible libpng version in application and library
In addition: Warning messages:
1: In readPNG("/bioinfo/polyA/circos.png") :
libpng warning: Application was compiled with png.h from libpng-1.6.37
2: In readPNG("/bioinfo/polyA/circos.png") :
libpng warning: Application is running with png.c from libpng-1.2.49
>
这个问题,其实在 《RamiGO 安装及库依赖解决备忘》曾经遇到过,当时的解决方法,在现在看起来其实是并不完善的。所以,在问题解决前,我们先来看看这个问题到底是怎么导致的。