Microsoft e Nvidia estão facilitando a execução de modelos de IA no Windows

A Microsoft e a Nvidia querem ajudar os desenvolvedores a executar e configurar modelos de IA em PCs com Windows. Durante o evento Microsoft Ignite na quarta-feira, Microsoft anunciou Windows AI Studio: um novo hub onde os desenvolvedores podem acessar e modificar modelos de IA para atender às suas necessidades.

O Windows AI Studio permite que os desenvolvedores acessem ferramentas e modelos de desenvolvimento do Azure AI Studio existente e de outros serviços como o Hugging Face. Ele também fornece “configuração de espaço de trabalho guiada” de ponta a ponta com uma interface de usuário para configuração de modelo e instruções para ajustar vários modelos de linguagem pequena (SLMs), como Phi da Microsoft, Llama 2 da Meta e Mistral.

O Windows AI Studio também permite que os desenvolvedores testem o desempenho de seus modelos usando modelos Prompt Flow e Gradio. A Microsoft afirma que lançará o Windows AI Studio como uma extensão do Visual Studio Code nas “próximas semanas”.

A Nvidia, da mesma forma, Atualizações reveladas Ao TensorRT-LLM, que a empresa lançou inicialmente para Windows como uma forma de executar grandes modelos de linguagem (LLMs) com mais eficiência em GPUs H100. No entanto, esta atualização mais recente traz o TensorRT-LLM para PCs que executam GPUs GeForce RTX séries 30 e 40 com 8 GB ou mais de RAM.

Além disso, a Nvidia em breve tornará o TensorRT-LLM compatível com a API de bate-papo da OpenAI por meio de um novo wrapper. Isso permitirá que os desenvolvedores executem LLMs localmente em seus computadores, o que é ideal para aqueles interessados ​​em armazenar dados privados na nuvem. A Nvidia diz que o próximo lançamento do TensorRT-LLM 6.0 adicionará inferência até cinco vezes mais rápida, bem como suporte para os novos modelos Mistral 7B e Nemotron-3 8B.

Tudo isso faz parte do objetivo da Microsoft em criar Padrão de desenvolvimento de “episódio híbrido”., que supostamente permitirá o desenvolvimento de IA por meio da nuvem e localmente em dispositivos. Com este conceito, os desenvolvedores não precisam depender apenas de seus próprios sistemas para impulsionar o desenvolvimento de IA, pois podem acessar os servidores em nuvem da Microsoft para aliviar a carga de suas máquinas.