Um dos maiores inconvenientes em relação ao uso de ferramentas de IA generativa, está no fato de que elas rodam nas nuvens e exigem uma conexão com a Internet. Por isto, existem certos riscos em relação a privacidade dos dados processados por elas. Para amenizar estes riscos, muitas iniciativas designadas para rodar estas ferramentas de forma local, estão sendo bancadas por várias instituições. A AMD é uma delas e para não perder o “timing”, a empresa resolveu “arregaçar as mangas” e lançar a sua própria IA generativa…
“GAIA is a generative AI application designed to run local, private LLMs on Windows PCs and is optimized for AMD Ryzen AI hardware (AMD Ryzen AI 300 Series Processors). This integration allows for faster, more efficient processing – i.e. lower power- while keeping your data local and secure. On Ryzen AI PCs, GAIA interacts with the NPU and iGPU to run models seamlessly by using the open-source Lemonade (LLM-Aid) SDK from ONNX TurnkeyML for LLM inference. GAIA supports a variety of local LLMs optimized to run on Ryzen AI PCs…”
— by TechPowerUp.
Eis o GAIA, um projeto open-source que permite rodar modelos de linguagem grande (LLMs) localmente em PCs com Ryzen AI e unidades de processamento neural (NPUs), oferecendo um processamento eficiente e privado para tarefas como respostas a perguntas, resumos e raciocínio complexo, sem depender de servidores na nuvem (obviamente, utilizando as suas badaladas APUs para entregar os resultados desejados). O GAIA usa o SDK Lemonade da TurnkeyML para realizar inferências em LLMs, aproveitando a NPU e a GPU integrada para maximizar o desempenho.
O GAIA inclui diferentes agentes para diversas funções, de acordo com as necessidades dos usuários. O Chaty é um chatbot baseado em LLM para conversas interativas, mantendo o histórico das conversas para um maior engajamento. Já o Clip funciona como um sistema de recuperação de informações, permitindo buscar vídeos no YouTube e responder perguntas sobre eles. Por fim, o Joker é um gerador de piadas que utiliza técnicas de recuperação para criar respostas humorísticas. Se porventura desejaram, os desenvolvedores também podem fazer contribuições, adicionando novos agentes à plataforma.
A ferramenta é compatível com modelos populares como Llama e derivados do Phi, ajustados para diferentes tipos de aplicação. Para utilizá-la, os usuários podem escolher entre duas versões de instalação: o GAIA Installer, que funciona em qualquer PC com Windows, mas com variações de desempenho, e o GAIA Hybrid Installer, otimizado para PCs com Ryzen AI, que utiliza a NPU e a iGPU para processamento mais rápido. Com o GAIA, teremos como benefícios a privacidade (os dados são mantidos localmente), a redução da latência de conexão (já que ela é desnecessária) e uma performance otimizada (com o uso de NPUs).
Uma pena, que foi designada para rodar inicialmente no Windows… &;-D