Construir uma base de conhecimentos utilizando a ferramenta Web Gaia

Gaia desenvolveu uma ferramenta para criar ficheiros instantâneos de colecções vectoriais, para que todos possam criar facilmente a sua própria base de conhecimentos.

Aceder aqui: https://tools.gaianet.xyz/

Segmentar o ficheiro de texto

Primeiro, copie o texto não formatado para um ficheiro txt. Depois, siga as duas regras para dividir o seu conteúdo, ou seja, juntar conteúdos semelhantes.

• Cada título e conteúdo relacionado constituem um bloco. Não há linhas em branco num bloco.
• Utilizar uma linha em branco para reconhecer diferentes blocos.

Depois disso, guarde-o como um ficheiro txt.

Por exemplo, a fonte é a seguinte.

Depois de formatado, terá o seguinte aspeto.

O que é uma cadeia de blocos?
Uma cadeia de blocos é uma estrutura de base de dados distribuída e criptograficamente segura que permite aos participantes da rede estabelecer um registo fiável e imutável de dados transaccionais sem a necessidade de intermediários. Uma cadeia de blocos pode executar uma variedade de funções para além da liquidação de transacções, tais como contratos inteligentes. Os contratos inteligentes são acordos digitais incorporados em código e podem ter formatos e condições ilimitados. As cadeias de blocos provaram ser soluções superiores para coordenar dados de forma segura, mas são capazes de muito mais, incluindo tokenização, conceção de incentivos, resistência a ataques e redução do risco de contraparte. A primeira cadeia de blocos foi a cadeia de blocos Bitcoin, que foi o culminar de mais de um século de avanços na criptografia e na tecnologia de bases de dados.

O que é software de cadeia de blocos?
O software de cadeia de blocos é como qualquer outro software. O primeiro deste género foi o Bitcoin, que foi lançado como software de fonte aberta, tornando-o disponível para qualquer pessoa utilizar ou alterar. Há uma grande variedade de esforços em todo o ecossistema da cadeia de blocos para melhorar o software original da Bitcoin. O Ethereum tem o seu próprio software de cadeia de blocos de código aberto. Alguns softwares de blockchain são proprietários e não estão disponíveis ao público.

Gerar o ficheiro de instantâneo

1. Visite este URL: https://tools.gaianet.xyz/, carregue o ficheiro txt preparado acima.
2. Editar o seu nome de utilizador . Nota: Não inclua espaços ou caracteres especiais no dbname.
3. Selecionar o modelo de incorporação, sugerimos a utilização de nomic-embed-text-v1.5.f16.
4. Clique no botão "Make RAG" e aguarde.

Quando terminar, o chatbot apresentará as informações de configuração do Nó Gaia. Trata-se de um formato JSON, como se segue.

{
  "embedding": "https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf",
  "embedding_ctx_size": 768,
  "snapshot": "https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot"
}

Atualizar a configuração do nó

Executar o seguinte

gaianet config \
  --snapshot https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot \
  --embedding-url https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf \
  --embedding-ctx-size 768

e depois

gaianet init
início da gaianet

Diverte-te!