Mentre l’IA generativa si evolve e accelera l’industria, una community di appassionati di IA sta sperimentando modi per integrare questa potente tecnologia nei workflow di produttività comune.
Le applicazioni che supportano i plug-in della community offrono agli utenti la possibilità di esplorare il modo in cui i modelli linguistici di grandi dimensioni (LLM) possono migliorare una serie di workflow. Utilizzando i server di inferenza locali alimentati dalla libreria software llama.cpp di NVIDIA RTX-accelerated, gli utenti dei PC RTX AI possono integrare facilmente gli LLM locali.
In precedenza, abbiamo visto come gli utenti possono sfruttare Leo AI nel browser web Brave per ottimizzare l’esperienza di navigazione. Oggi, invece, vediamo Obsidian, una popolare app per scrivere e prendere appunti, basata sul linguaggio di markup Markdown, utile per gestire registrazioni complesse e collegate tra loro per più progetti. L’applicazione supporta plug-in sviluppati dalla community che apportano funzionalità aggiuntive, tra cui alcuni che consentono agli utenti di collegare Obsidian a un server di inferenza locale come Ollama o LM Studio.
Per collegare Obsidian a LM Studio è sufficiente abilitare la funzionalità di server locale in LM Studio facendo clic sull’icona “Developer” nel pannello di sinistra, caricando qualsiasi modello scaricato, abilitando la levetta CORS e facendo clic su “Start”. Prendere nota dell’URL di completamento della chat dalla console di log “Developer” (“http://localhost:1234/v1/chat/completions” per impostazione predefinita), poiché i plug-in avranno bisogno di questa informazione per connettersi.
Quindi, avviate Obsidian e aprite il pannello “Impostazioni”. Fare clic su “Plugin della community” e poi su “Sfoglia”. Esistono diversi plug-in della community relativi agli LLM, ma le due opzioni più popolari sono Text Generator e Smart Connections.
Text Generator è utile per generare contenuti nel vault di Obsidian, come appunti e riassunti su un argomento di ricerca.
Smart Connections è utile per porre domande sul contenuto del vault, come ad esempio la risposta a una difficile domanda di trivia precedentemente salvata anni fa.
Per Text Generator, aprire le impostazioni e selezionare “Custom” per “Provider profile” e incollare l’intero URL nel campo “Endpoint”. Per Smart Connections, configurare le impostazioni dopo aver avviato il plug-in. Nel pannello delle impostazioni sul lato destro dell’interfaccia, selezionare “Custom Local (OpenAI Format)” per la piattaforma del modello. Quindi, inserire l’URL e il nome del modello (ad esempio, “gemma-2-27b-instruct”) nei rispettivi campi come appaiono in LM Studio.
Una volta compilati i campi, i plug-in funzioneranno. L’interfaccia utente di LM Studio mostrerà anche le attività registrate, se gli utenti sono curiosi di sapere cosa sta succedendo sul lato server locale.
I plug-in Text Generator e Smart Connections utilizzano l’intelligenza artificiale generativa in modi interessanti.
Ad esempio, immaginiamo che un utente voglia pianificare una vacanza nella destinazione fittizia di Lunar City e fare un brainstorming di idee su cosa fare lì. L’utente inizierebbe una nuova nota, intitolata “Cosa fare a Lunar City”. Poiché Lunar City non è un luogo reale, la richiesta inviata al LLM dovrà includere alcune istruzioni aggiuntive per guidare le risposte. Facendo clic sull’icona del plug-in Text Generator, il modello genererà un elenco di attività da svolgere durante il viaggio.
Obsidian, tramite il plug-in Text Generator, chiederà a LM Studio di generare una risposta e a sua volta LM Studio eseguirà il modello Gemma 2 27B. Con l’accelerazione GPU RTX nel computer dell’utente, il modello può generare rapidamente un elenco di cose da fare.
Oppure, supponiamo che molti anni dopo un amico dell’utente vada a Lunar City e voglia sapere dove andare a mangiare. L’utente potrebbe non ricordare i nomi dei posti in cui ha mangiato, ma può controllare gli appunti nel suo vault (il termine di Obsidian per indicare una raccolta di appunti) nel caso in cui abbia scritto qualcosa.
Piuttosto che cercare manualmente tutti gli appunti, l’utente può usare il plug-in Smart Connections per fare domande sul suo archivio di appunti e altri contenuti. Il plug-in utilizza lo stesso server LM Studio per rispondere alla richiesta e fornisce le informazioni pertinenti trovate negli appunti dell’utente per agevolare il processo. Il plug-in utilizza una tecnica chiamata
Smart Connections utilizza la retrieval-augmented generation e una connessione a LM Studio per consentire agli utenti di interrogare le loro note.
Questi sono esempi divertenti, ma dopo aver trascorso un po’ di tempo con queste funzionalità, gli utenti possono vedere i reali benefici e miglioramenti nella produttività quotidiana. I plug-in di Obsidian sono solo due modi in cui i community developer e gli appassionati di IA stanno sfruttando l’IA per potenziare l’esperienza del PC.
La tecnologia NVIDIA GeForce RTX per PC Windows può eseguire migliaia di modelli open-source che gli sviluppatori possono integrare nelle loro applicazioni Windows.
