A NVIDIA está dominando absolutamente a conversa sobre IA da maneira certa - suas GPUs têm desempenho imediato e são a melhor escolha para profissionais e empresas que desejam se interessar por IA de consumo. Mas apenas esta semana, a Intel e a AMD otimizaram suas pilhas de software para obter acelerações massivas em IA generativa, o que fez com que o RTX 7900 XTX da AMD obtivesse maior desempenho por dólar do que um NVIDIA RTX 4080 em IA generativa (especificamente difusão estável com A111/Xformers). Considerando que a difusão estável representa a grande maioria da IA ​​generativa não-SaaS no momento - este é um marco importante e, finalmente, oferece alguma competição para a NVIDIA.

AMD 7900 XTX alcança iterações mais altas por segundo por dólar em difusão estável (Automatic111 com DirectML) do que NVIDIA RTX 4080 (xformers)

Nota: O ajuste para GenAI, assim como o ajuste para desempenho de mineração de criptografia, terá milhagem variando significativamente, dependendo do modelo/configuração que está sendo usado. Este artigo é sobre a configuração mais comum do A111 Xformers (você pode obter uma contagem do desempenho médio por GPU aqui: https://vladmandic.github.io/sd-extension-system-info/pages/benchmark.html ), mas há * são* otimizações de boutique hiper ajustadas onde a NVIDIA RTX 4080 é ainda mais rápida.

Usar Microsoft Olive e DirectML em vez do caminho PyTorch resulta no AMD 7900 XTX passando de míseras 1,87 iterações por segundo para 18,59 iterações por segundo! Você pode ler o guia detalhado da AMD aqui . Esse nível de desempenho no Automatic111 é muito próximo da abordagem baseada em SHARK para Stable Diffusion e definitivamente coloca a empresa no mapa em relação à IA generativa. Acontece que também faz com que o 7900 XTX ofereça um desempenho GenAI ligeiramente superior por dólar (em difusão estável / A111) do que o comparativo RTX 4080 - pelo menos aos preços atuais.

A NVIDIA RTX 4080 mais barata que encontrei na Newegg (em 19/08/2023) foi a MSI Ventus GeForce RTX 4080 16GB (link arquivado da WBM aqui ) e a AMD Radeon 7900 XTX mais barata que encontrei na Newegg foi a MSI Gaming Radeon RX 7900 XTX 24GB (link arquivado WBM aqui). Antes de analisarmos os números, quero mencionar a ressalva de que, ao contrário da NVIDIA, o caminho AMD exige que o usuário seja um pouco mais experiente em tecnologia (o caminho AMD usa Microsoft Olive em vez de PyTorch e a maioria dos instaladores automáticos provavelmente não instalará as dependências necessário para isso automaticamente) - portanto, se a conveniência for um fator para você - a NVIDIA ainda é o caminho a seguir. Mas profissionais e pequenas empresas geralmente podem contornar um problema de configuração inicial se a base de custo for boa o suficiente e parece ser o caso aqui.

Como podemos ver, o silício AMD está finalmente começando a brilhar no GenAI a ponto de oferecer maior valor em comparação com o 4080 em Stable Diffusion A111. O AMD 7900 XTX oferece 18,59 iterações por segundo, fazendo com que os usuários paguem US$ 52,1 por it/s, enquanto a NVIDIA RTX 4080 obtém 19,41 iterações por segundo, fazendo com que os usuários paguem US$ 56,6 por it/s. Se os usuários optarem pela implementação SHARK menos comum, eles podem aumentar a proposta de valor até apenas $ 46,6 por it/s para o Radeon 7900 XTX. Portanto, é oficial - a AMD é oficialmente uma concorrente para consumidores interessados ​​em IA generativa.

Isso também significa que, com um pouco mais de atenção da AMD, eles podem ser um concorrente formidável das ambições de IA da NVIDIA. A maioria das pessoas não estará executando LLMs fora de seu porão, mas GenAI e SLMs/ULMs estarão absolutamente em todos os lugares nos próximos 12 meses e farão parte de muitos fluxos de trabalho de produtividade. Como a Intel e a AMD se posicionam em um mercado no qual a NVIDIA tem uma grande vantagem - determinará como elas se sairão em um mundo que será dominado pela IA.