Qualquer coisa LLM

O Anything LLM é o aplicativo de IA tudo-em-um para desktop e Docker com recursos completos de RAG e Agente de IA. Pode configurar o Anything LLM utilizando o nó GaiaNet como backend do LLM.

Recomenda-se iniciar um nó sem quaisquer instantâneos, como este.

Passos

Em primeiro lugar, temos de adicionar o nó GaiaNet como modelo de conversação LLM e modelo de incorporação.

• Ir para Definições
• Escolha Local AI como o fornecedor LLM na secção LLM inference (Inferência LLM). Em seguida, copie e cole o URL de base da API do nó GaiaNet no URL de base do LocalAI. O modelo de bate-papo e o modelo de incorporação, juntamente com seu nó, serão carregados automaticamente. Escolha aqui o modelo de conversação e introduza o comprimento do contexto. Lembre-se de clicar em Salvar alterações para que as alterações tenham efeito.

• Em seguida, vá para a secção Preferências de incorporação e escolha LocalAI como o fornecedor de incorporação. Em seguida, copie e cole o URL de base da API do nó GaiaNet no URL de base do LocalAI. O modelo de chat e o modelo de incorporação, juntamente com o nó, serão carregados automaticamente. Escolha o modelo de incorporação aqui e insira o comprimento máximo do bloco de incorporação. Não se esqueça de clicar em Salvar alterações para que as alterações tenham efeito.

As operações acima descritas fazem do nó GaiaNet o backend LLM.

Em segundo lugar, vamos configurar a fonte de dados. Pode carregar um ficheiro ou utilizar os conectores de dados fornecidos pelo Anything LLM.

Ao mover uma fonte de dados para o espaço de trabalho, o Anything LLM chamará a API de incorporação do nó GaiaNet para dividir e calcular as incorporações para sua documentação, o que pode levar alguns minutos.

É isso mesmo. Quando a incorporação estiver concluída, volte ao seu espaço de trabalho e faça uma pergunta.

Pode consultar o start-llamaedge.log para verificar o que acontece.