Der Ein­satz von Lar­ge Lan­guage Models (LLMs) kann bei vie­len wie­der­keh­ren­den Geschäfts­pro­zes­sen wie der Inter­pre­ta­ti­on von Daten, beim Ver­fas­sen von geschäft­li­chen Tex­ten, beim Pro­gram­mie­ren oder der Kon­fi­gu­ra­ti­on von regu­lä­ren Aus­drü­cken von enor­mer Hil­fe sein.

Anbie­ter im Inter­net wie Ope­nAI mit ChatGPT und ande­re bie­ten dafür enorm nütz­li­che Diens­te, die aller­dings mit poten­zi­el­len Risi­ken ver­bun­den sind:

• Wählt man sei­ne Anfra­gen unge­schickt, ist es mög­lich, dass man Kun­den­da­ten ver­öf­fent­licht.
• Unter Umstän­den kann man gar nicht ver­mei­den, dass Geschäfts­in­for­ma­tio­nen in den Anfra­gen ange­ge­ben wer­den.
• Die Diens­te sind nur online ver­füg­bar.

Ich habe ChatGPT befragt, wie ich es ver­mei­de, sen­si­ble Daten zu gefähr­den und trotz­dem LLMs ein­zu­set­zen. Als Ant­wort habe ich vie­le gute Tipps bekom­men und wur­de unter ande­rem auf die Ver­füg­bar­keit von loka­len LLMs hin­ge­wie­sen.

Ein emp­feh­lens­wer­tes Werk­zeug mit ein­fa­cher Bedien­bar­keit ist dabei GPT4All, das man auf Win­dows, Mac und Linux instal­lie­ren kann. (Ein ande­res Werk­zeug wäre Oll­ama, das sich eher an Pro­gram­mie­rer rich­tet). GPT4All (und Oll­ama) füh­ren LLMs lokal auf dem eige­nen Com­pu­ter aus. Dadurch ent­steht kein Risi­ko für die eige­nen Daten.

Natür­lich kom­men die loka­len Model­le auch mit Nach­tei­len:

• Die bes­ten Model­le sind nicht ver­füg­bar, son­dern wer­den von den Anbie­tern für eige­ne Diens­te zurück­be­hal­ten.
• Die Modell­aus­füh­rung ist enorm spei­cher- und rechen­in­ten­siv. Älte­re Rech­ner kom­men leis­tungs­mä­ßig an ihre Gren­zen und man muss teil­wei­se viel Geduld auf­brin­gen, bis man eine Ant­wort bekommt.

Nach­dem man GPT4All instal­liert hat, muss man ein Model instal­lie­ren (optio­nal auch meh­re­re). Dafür bie­tet GPT4All ein ein­fa­ches Inter­face mit einer lan­gen Lis­te von Model­len.

Die Aus­wahl fällt dabei nicht leicht. Aber hier­für lässt sich wie­der ChatGPT ein­set­zen. Dort kann man fra­gen, wel­ches Modell für die jewei­li­ge Fra­ge­stel­lung am bes­ten geeig­net wäre und man erhält pas­sen­de Emp­feh­lun­gen. Die Model­le sind zügig her­un­ter­ge­la­den und instal­liert und ste­hen anschlie­ßend auf dem eige­nen Com­pu­ter zur Ver­fü­gung. Dann steht dem gefahr­lo­sen Expe­ri­men­tie­ren nichts mehr im Wege.

Klei­ner Tipp: Braucht man Hil­fe bei der Bedie­nung, fragt man ein­fach ChatGPT oder die loka­len Model­le sel­ber.