Większość osób korzysta z popularnych chatbotów AI, takich jak ChatGPT, Gemini czy Claude. To bardzo wygodne rozwiązania, ale mają jedną wadę, która z pewnością drażni niejedną osobę. Są nią limity. Taki ChatGPT potrafi wyłączyć się w trakcie pisania kodu i kazać czekać do kolejnego dnia, aż limit zostanie zresetowany. Ważne jest też to, że takim narzędziom jak ChatGPT nie warto powierzać wrażliwych danych, ponieważ dostęp do informacji, które do nich przesyłamy, ma producent modelu LLM. Najczęściej jest to duża amerykańska korporacja.
Jest na to sprytne rozwiązanie, które może zastosować praktycznie każdy. Jest nim self-hostowanie AI. Polega ono na tym, że model działa na twoim osobistym komputerze lub firmowym serwerze. To, jak inteligentny będzie taki model, zależy już od mocy obliczeniowej sprzętu.
Do tego służy platforma Ollama, z której w prosty sposób można pobrać i uruchomić dowolny model open-source na własnym sprzęcie. Potrzebny jest jeszcze program do komunikacji z pobranym modelem. Dwa takie programy to:
Odysseus
- stworzony przez YouTubera PewDiePie. Wyróżnia się prostotą instalacji i obsługi dzięki funkcji Cookbook, która rozwiązuje największe problemy osób nietechnicznych: brak wiedzy o tym, który model wybrać, oraz skomplikowaną instalację. Dzięki tej funkcji Odysseus analizuje twój komputer i podaje listę najlepszych modeli, które będą działały na twoim sprzęcie. Następnie wybrany model (lub kilka modeli) instalujesz jednym kliknięciem. Dzięki temu uzyskujesz pełnię możliwości bez ryzyka zawieszenia komputera.Dla większości osób będzie to prawdopodobnie najlepszy punkt wejścia do świata self-hostowanego AI. Jego największe zalety to:
- Inteligentny start i konfiguracja (Cookbook) - system automatycznie analizuje twój komputer, dobiera modele dopasowane do sprzętu i umożliwia ich instalację jednym kliknięciem, bez ręcznej konfiguracji.
- Zaawansowane funkcje pracy i analizy (Deep Research + pliki + narzędzia) - umożliwia prowadzenie wieloetapowych analiz, pracę na plikach na żywo z użytkownikiem (jak asystent) oraz korzystanie z dodatkowych narzędzi takich jak internet czy inne zasoby kompurtera, dzięki czemu wykracza poza zwykłego chatbota.
- Automatyzacja codziennej pracy (poczta elektroniczna + asystent AI) - integruje się z codziennymi zadaniami, w tym komunikacją e-mail, pozwalając wykorzystywać AI jako realnego asystenta pracy, a nie tylko narzędzie do rozmowy.
Open WebUI - stworzone przez Tima J. Baeka. Narzędzie to jest bardziej ukierunkowane na pracę zespołów i firm niż na prywatny użytek. Wynika to z rozbudowanego systemu zarządzania użytkownikami, rolami i uprawnieniami. Dzięki wysokiemu poziomowi personalizacji sprawdzi się również w rękach bardziej zaawansowanych użytkowników.
Jego największą zaletą jest zaawansowany RAG, czyli sposób przechowywania i wyszukiwania dużych ilości danych przy niewielkim zużyciu pamięci oraz kontekstu modelu AI.
Posiada również wiele pomocnych funkcji, takich jak:
- Stałe bazy wiedzy - zamiast za każdym razem przesyłać te same dokumenty, można dodać je raz i korzystać z nich we wszystkich rozmowach. To szczególnie przydatne w firmach pracujących na dużej liczbie procedur, ofert lub dokumentów.
- Filtrowanie (Filters) - pozwala tworzyć własne procesy określające, co dzieje się z promptem lub odpowiedzią modelu, zanim trafi ona do użytkownika. Przykładowo można automatycznie tłumaczyć prompty na język angielski, a odpowiedzi AI z powrotem na język polski. Dzięki temu model pracuje w swoim „ojczystym” języku, a użytkownik otrzymuje odpowiedź po polsku.
- Projekty i Skills – projekty pomagają uporządkować pracę. Dzięki nim wszystkie rozmowy dotyczące np. kampanii marketingowej znajdują się w jednym miejscu i można łatwo do nich wrócić. Skills pozwalają tworzyć własne stałe polecenia, które można wywołać w dowolnym momencie rozmowy. Przykładowo model może automatycznie podsumować dyskusję, wyciągnąć najważniejsze wnioski i wygenerować dokumentację w formacie Markdown.
Dzięki dużej i aktywnej społeczności program stale się rozwija, a ewentualne błędy są szybko wykrywane i naprawiane.
Rozmawiając o sztucznej inteligencji, często skupiamy się na możliwościach modeli, zapominając o tym, że aby korzystać z nich w codziennej pracy, często trzeba płacić setki złotych miesięcznie. Rzadko też się mówi o prywatności i bezpieczeństwie danych przekazywanych modelom AI. Self-host AI rozwiązuje ten problem: Odysseus sprawdza się w codziennym użytku, a Open WebUI w środowisku firmowym.To pokazuje, że nie musimy wybierać wyłącznie spośród popularnych rozwiązań oferowanych przez Big Techy, istnieją również inne możliwości.
Większość osób korzysta z popularnych chatbotów AI, takich jak ChatGPT, Gemini czy Claude. To bardzo wygodne rozwiązania, ale mają jedną wadę, która z pewnością drażni niejedną osobę. Są nią limity. Taki ChatGPT potrafi wyłączyć się w trakcie pisania kodu i kazać czekać do kolejnego dnia, aż limit zostanie zresetowany. Ważne jest też to, że takim narzędziom jak ChatGPT nie warto powierzać wrażliwych danych, ponieważ dostęp do informacji, które do nich przesyłamy, ma producent modelu LLM. Najczęściej jest to duża amerykańska korporacja.
Jest na to sprytne rozwiązanie, które może zastosować praktycznie każdy. Jest nim self-hostowanie AI. Polega ono na tym, że model działa na twoim osobistym komputerze lub firmowym serwerze. To, jak inteligentny będzie taki model, zależy już od mocy obliczeniowej sprzętu.
Do tego służy platforma Ollama, z której w prosty sposób można pobrać i uruchomić dowolny model open-source na własnym sprzęcie. Potrzebny jest jeszcze program do komunikacji z pobranym modelem. Dwa takie programy to:
Jest na to sprytne rozwiązanie, które może zastosować praktycznie każdy. Jest nim self-hostowanie AI. Polega ono na tym, że model działa na twoim osobistym komputerze lub firmowym serwerze. To, jak inteligentny będzie taki model, zależy już od mocy obliczeniowej sprzętu.
Do tego służy platforma Ollama, z której w prosty sposób można pobrać i uruchomić dowolny model open-source na własnym sprzęcie. Potrzebny jest jeszcze program do komunikacji z pobranym modelem. Dwa takie programy to:
Odysseus - stworzony przez YouTubera PewDiePie. Wyróżnia się prostotą instalacji i obsługi dzięki funkcji Cookbook, która rozwiązuje największe problemy osób nietechnicznych: brak wiedzy o tym, który model wybrać, oraz skomplikowaną instalację. Dzięki tej funkcji Odysseus analizuje twój komputer i podaje listę najlepszych modeli, które będą działały na twoim sprzęcie. Następnie wybrany model (lub kilka modeli) instalujesz jednym kliknięciem. Dzięki temu uzyskujesz pełnię możliwości bez ryzyka zawieszenia komputera.
- stworzony przez YouTubera PewDiePie. Wyróżnia się prostotą instalacji i obsługi dzięki funkcji Cookbook, która rozwiązuje największe problemy osób nietechnicznych: brak wiedzy o tym, który model wybrać, oraz skomplikowaną instalację. Dzięki tej funkcji Odysseus analizuje twój komputer i podaje listę najlepszych modeli, które będą działały na twoim sprzęcie. Następnie wybrany model (lub kilka modeli) instalujesz jednym kliknięciem. Dzięki temu uzyskujesz pełnię możliwości bez ryzyka zawieszenia komputera.Dla większości osób będzie to prawdopodobnie najlepszy punkt wejścia do świata self-hostowanego AI. Jego największe zalety to:
- Inteligentny start i konfiguracja (Cookbook) - system automatycznie analizuje twój komputer, dobiera modele dopasowane do sprzętu i umożliwia ich instalację jednym kliknięciem, bez ręcznej konfiguracji.
- Zaawansowane funkcje pracy i analizy (Deep Research + pliki + narzędzia) - umożliwia prowadzenie wieloetapowych analiz, pracę na plikach na żywo z użytkownikiem (jak asystent) oraz korzystanie z dodatkowych narzędzi takich jak internet czy inne zasoby kompurtera, dzięki czemu wykracza poza zwykłego chatbota.
- Automatyzacja codziennej pracy (poczta elektroniczna + asystent AI) - integruje się z codziennymi zadaniami, w tym komunikacją e-mail, pozwalając wykorzystywać AI jako realnego asystenta pracy, a nie tylko narzędzie do rozmowy.
Jego największą zaletą jest zaawansowany RAG, czyli sposób przechowywania i wyszukiwania dużych ilości danych przy niewielkim zużyciu pamięci oraz kontekstu modelu AI.
Posiada również wiele pomocnych funkcji, takich jak:
- Stałe bazy wiedzy - zamiast za każdym razem przesyłać te same dokumenty, można dodać je raz i korzystać z nich we wszystkich rozmowach. To szczególnie przydatne w firmach pracujących na dużej liczbie procedur, ofert lub dokumentów.
- Filtrowanie (Filters) - pozwala tworzyć własne procesy określające, co dzieje się z promptem lub odpowiedzią modelu, zanim trafi ona do użytkownika. Przykładowo można automatycznie tłumaczyć prompty na język angielski, a odpowiedzi AI z powrotem na język polski. Dzięki temu model pracuje w swoim „ojczystym” języku, a użytkownik otrzymuje odpowiedź po polsku.
- Projekty i Skills – projekty pomagają uporządkować pracę. Dzięki nim wszystkie rozmowy dotyczące np. kampanii marketingowej znajdują się w jednym miejscu i można łatwo do nich wrócić. Skills pozwalają tworzyć własne stałe polecenia, które można wywołać w dowolnym momencie rozmowy. Przykładowo model może automatycznie podsumować dyskusję, wyciągnąć najważniejsze wnioski i wygenerować dokumentację w formacie Markdown.
