Qualquer coisa LLM

O Anything LLM é o aplicativo de IA tudo-em-um para desktop e Docker com recursos completos de RAG e Agente de IA. Você pode configurar o Anything LLM usando o nó Gaia como back-end do LLM.

Recomenda-se iniciar um nó sem quaisquer instantâneos, como este.

Passos

Em primeiro lugar, temos de adicionar o Nó Gaia como modelo de conversação LLM e modelo de incorporação.

• Ir para Definições
• Escolha Local AI como o fornecedor de LLM na secção LLM inference (inferência LLM). Em seguida, copie e cole o URL de base da API do nó Gaia no URL de base da LocalAI. O modelo de chat e o modelo de incorporação, juntamente com o nó, serão carregados automaticamente. Escolha aqui o modelo de conversação e introduza o comprimento do contexto. Lembre-se de clicar em Salvar alterações para que as alterações tenham efeito.

• Em seguida, vá para a secção Embedding Preference (Preferências de incorporação) e escolha LocalAI como o fornecedor de incorporação. Em seguida, copie e cole o URL de base da API do nó Gaia no URL de base do LocalAI. O modelo de chat e o modelo de incorporação, juntamente com o nó, serão carregados automaticamente. Escolha o modelo de incorporação aqui e insira o comprimento máximo do bloco de incorporação. Não se esqueça de clicar em Salvar alterações para que as alterações tenham efeito.

As operações acima descritas fazem do nó Gaia o backend do LLM.

Em segundo lugar, vamos configurar a fonte de dados. Pode carregar um ficheiro ou utilizar os conectores de dados fornecidos pelo Anything LLM.

Quando move uma fonte de dados para o espaço de trabalho, o Anything LLM chama a API de incorporação do nó Gaia para dividir e calcular as incorporações para a sua documentação, o que pode demorar alguns minutos.

É isso mesmo. Quando a incorporação estiver concluída, volte ao seu espaço de trabalho e faça uma pergunta.

Pode consultar o start-llamaedge.log para verificar o que acontece.