10/01/2025
Czy można obniżyć koszty obsługi AI?
Na wstępie uprzedzam, że dzisiaj będzie dużo liczb, ale bez nich nie da się porozmawiać na temat AI i elektryczności. Czy poniższe wartości są małe, czy duże, pozostawiam Ci do oceny. PS linki do źródeł na dole.
Globalnie wysokie wykorzystania AI?
Jednym z argumentów przeciwko Sztucznej Inteligencji jest jej impakt na środowisko. Chodzi o konkretne serwerownie i centra danych, które umożliwiają dostęp do narzędzi AI dla użytkowników. Serwerownie, które obsługują social media, e-commerce, czy strony internetowe są widocznie w porządku. Ja akurat jestem przeciwny cofnięciu czasu do rzeczywistości sprzed 30.11.2022, kiedy tylko korporacje wykorzystywały AI na swoich serwerowniach.
Według danych z University of Cembridge rocznie wydobycie i obsługa bitcoina do 154,15 TWh (więcej niż Polska). Wydobycie złota rocznie to jedynie 130 TWh. Z drugiej strony wszystkie lodówki, oświetlenia i telewizory tylko w USA to 224 TWh. Centra danych to 200 TWh, a 250 TWh to globalna sieć transmisji danych. I to są dane z 2018 / 2019 / 2020 roku, które są już nieaktualne.
W kontraście, opierając się o dane z artykułu Business Insidera, dzienna obsługa najpopularniejszego ChataGPT to 0,0005 TWh, czyli rocznie 0,182 TWh (czyli ok 12h globalnej obsługi bitcoina). Dodatkowo, według wspomnianego artykułu, do 2027 roku roczna obsługa samej infrastruktury AI wyniesie między 85 TWh, a 134 TWh (mniej niż Polska). Chętnie bym jeszcze porównał to z obsługą social mediów w 2024, ale nie znalazłem tych danych.
Zaczynamy 2025, rok agentów AI.
W każdym razie AI, jak każda technologia (też ta nowa) potrzebuje prądu. I jeśli będzie się rozwijać to będzie potrzebować tego prądu więcej. Wyniki Amazona, Alphabetu czy Microsoft pokazują, że zapotrzebowanie na wypożyczanie ich wirtualnych maszyn jest jeszcze bardziej dochodowe w dobie rewolucji AI. I wiele osób, czy firm dalej będzie korzystać z ich rozwiązań, bo są dla ich skali i potrzeb po prostu wygodne, czy opłacalne. Ale dla wszystkich, którzy chcą optymalizować koszty (własne i globalne), czy po prostu potrzebują prywatności danych, została zaprezentowana w tym tygodniu świetna alternatywa.
Już w styczniu 2025 przywitał nas nowościami od NVIDII - otóż Jen-Hsun Huang kilka dni temu ogłosił, że w maju tego roku do sprzedaży trafi NVIDIA Project DIGITS w cenie 3000 $. W skrócie, superkomputer, który pozwala używać lokalnie modeli do 200 mld parametrów. A jak twój agent AI, czy dowolny model AI (txt to img, vid to vid, czy np LLAMA 3.1 z 405 mld parametrów) potrzebuje więcej mocy obliczeniowej, po prostu połączysz ze sobą dwa superkomputery.
Na pewno kupię po premierze i liczę, że wejście tego superkomputera spowoduje globalny spadek zużycia usług w chmurze.
Can’t wait!
autor: Marek Variera Mardosewicz
https://lnkd.in/eapJve6t
https://lnkd.in/dhJZdUP7