Czym właściwie jest nowa wersja modelu Gemma?
Gemma to rodzina modeli sztucznej inteligencji, które Google udostępniło jako open source. Oznacza to że każdy może pobrać ten program i uruchomić go na własnym komputerze bez pytania o zgodę u nikogo. Nowy członek tej rodziny nosi nazwę Gemma 412B, gdzie liczba oznaczająca parametry wewnątrz mózgu modelu decyduje o jego inteligencji.
Więcej parametrów zazwyczaj przekłada się na większą wiedzę i lepsze rozumowanie. Jednak dotychczas modele z tak dużą liczbą ustawień wymagały ogromnych serwerów w oddalonych centrach danych. W tym przypadku Google zastosowało podejście całkowicie odmienne od wszystkich poprzednich rozwiązań.
Model ten został zaprojektowany specjalnie do działania bezpośrednio na Twoim laptopie domowym lub biurowym. Firma technologiczna twierdzi że aby go uruchomić wystarczy około 16 GB pamięci operacyjnej, co mają już większość nowoczesnych maszyn dostępnych w sklepach.
Wynika z tego że nie potrzebujesz specjalistycznego sprzętu ani drogiego komputera graficznego. Jest to inteligentny asystent który żyje na Twojej maszynie offline i jest wolny od zewnętrznych ograniczeń chmurowych oraz konieczności ciągłego łączenia się z siecią.
Licencja Apache 20 przyznana temu modelowi ma ogromne znaczenie praktyczne. Oznacza ona że posiadasz pełne prawa do używania go w prawdziwej pracy biznesowej i nie tylko do zabaw czy testów domowych. Możesz więc polegać na jego wynikach nawet gdy stawka jest wysoka.
Jakie zmiany techniczne wprowadziło Google?
Większość modeli AI które potrafią analizować obrazy lub słuchać dźwięku posiada dodatkowe moduły tłumaczące na początku przetwarzania danych. Obraz przechodzi przez jeden filtr a dźwięk przez inny zanim trafi do głównego układu.
Ten dodatkowy krok spowalnia działanie całego systemu i zużywa więcej pamięci niż jest to konieczne. W najnowszej wersji modelu Google usunęło te dodatkowe tłumacze w procesie nazywanym bez kodera.
Oznacza to po prostu że obraz i dźwięk trafiają bezpośrednio do głównego układu przetwarzania danych bez pośredniego kroku przejściowego. Mniej części oprogramowania oznacza mniej czekania na odpowiedzi oraz mniejszy footprint zajmowany przez model w pamięci komputera.
To cały trik który sprawia że ten potężny mózg mieści się na zwykłym laptopie od samego początku instalacji. Dzięki temu uzyskujesz natywne wsparcie dla tekstu obrazów dźwięku i wideo bez żadnych dodatkowych konwersji wstępnych.
Co model Gemma 412B potrafi robić?
Najbardziej zaskakującą funkcją jest zdolność tego modelu do przetwarzania pętli audio na poziomie pełnowymiarowym. Przed tą aktualizacją tylko bardzo małe modele krawędziowe miały taką możliwość i to często z ograniczeniami.
Teraz model o średniej wielkości może słuchać dźwięku bezpośrednio Twoim własnym komputerze bez wysyłania nagrań do zewnętrznych serwerów. Pozwala to na prywatność rozmów które nie są udostępniane nikomu poza Twój sprzęt.
Użyłem tego modelu do transkrypcji pełnej rozmowy coachingowej AI Profit Boardroom bezpośrednio na moim własnym laptopie bez wysyłania do żadnej chmury. Ale nie tylko zapisał słowa ale też oznaczył kto mówił co jest funkcją nazywaną dyaryzacją.
W efekcie otrzymywałem czyste notatki które precyzyjnie wskazywały że dana osoba zadała konkretne pytanie a Julian odpowiedział na to w sposób merytoryczny. Następnie zamieniłem te notatki w prosty podsumowanie dla członków grupy którzy nie mogli wziąć udziału w rozmowie na żywo.
Cała ta sprawa wydarzyła się offline na jednej maszynie bez żadnego ryzyka utraty danych podczas przesyłu. To rozwiązanie idealne dla firm które dbają o bezpieczeństwo swoich wewnętrznych spotkań i rozmów pracowników.
Dlaczego wydajność jest tak wysoka?
Google twierdzi że Gemma 412B osiąga wyniki zbliżone do ich znacznie większego modelu z dwadzieścia sześć miliardami parametrów w standardowych testach. Przy tym zużywa mniej niż połowę pamięci jaką wymagałby ten gigantyczny odpowiednik.
Otrzymujesz więc mózg dużego modelu w małym rozmiarze co pozwala na oszczędność zasobów komputerowych. Jest to kluczowe dla użytkowników którzy nie mają dostępu do najnowszego sprzętu serwerowego czy profesjonalnych kart graficznych.
Korzyści z pracy offline
Praca w trybie offline daje poczucie bezpieczeństwa i niezależności od infrastruktury zewnętrznej. Nie musisz martwić się o awarie łącza internetowego ani o przerywanie sesji podczas ważnych rozmów biznesowych.
Porównanie z innymi rozwiązaniami
Inne modele AI często wymagają stałego połączenia i są monitorowane przez pracowników korporacji. Ten model daje Ci pełną kontrolę nad tym co przetwarzasz wewnątrz Twojego sprzętu bez żadnych śladów na zewnętrznych serwerach.
Podsumowanie
Nie pomijaj tej informacji bo to jest dziki postęp w dziedzinie dostępu do sztucznej inteligencji. Google cicho opublikowało coś czego większość ludzi całkowicie przeoczyła i to zmienia to co w rzeczywistości może zrobić mały komputer.
Jeśli szukasz narzędzia które działa szybko prywatnie i bez internetu Gemma 412B jest właśnie tym rozwiązaniem. Zapraszam do przetestowania go na własnym sprzęcie i odkrycia potencjału który kryje się pod maską tej nowej aktualizacji.