ComfyUI / LLM local installation

2021 hab ich mir (nach langer Zeit) einen Spiele-PC gekauft (von ALDI). Hab mir privat die PCs immer selbst aufgebaut, aber Wasserkühlung ? Und der hatte die RTX3090 mit 24GB VRAM drin :slight_smile: .

Damals schon ein bisschen mit Stable Diffusion zur Bildgenerierung rumgespielt, war aber alles sehr mühsam.

Jetzt noch mal reingeguckt und ComfyUI gefunden.

Lokal installiert und …

Die Nächte waren sehr kurz die letzte Woche. Fühlt sich fast so an, wie mit 17 am C64 zu sitzen und den letzten Bug im Spaghetti-Code, den ich verzapft hab, zu finden :zany_face:

Was die grafische Darstellung in ComfyUI auch zeigt ist, was mir vorher gar nicht klar war: Das LLM verarbeitet nicht die wörtliche Texteingabe (ChatGPT, Gemini, Grok, usw.) , sondern ein Modul “übersetzt” in eine Art Muster, das verarbeitet wird, das dann wieder “zurückübersetzt” wird, egal ob Text, Bild, Video, Sound.

Nächste Idee war dann: auf der RTX3090 läuft auch ein lokales Text-LLM wie Mistral 7B . Hmm, könnte man da ein Textadventure Infocom-style drumrum bauen, aber erstmal die Steuersachen vor Jahresende fertigmachen steht an :squinting_face_with_tongue:

Sorry, wenn ich etwas gehyped rüberkomme

4 „Gefällt mir“

3blue1brown’s Video (immer gut) kann hier vielleicht ein bisschen mehr Klarheit schaffen, was im LLM zwischen in- und output eigentlich vor sich geht - angenehm kurzgefasst:

2 „Gefällt mir“

Normalerweise gehe ich solche Dinge mit der Haltung “leben und leben lassen” an. Ich würde mir so einen Post durchlesen, ablehnend mit dem Kopf schütteln und “weitergehen". Aber wenn ich da die Vergleiche zu Zeiten des C64 und die Idee “Infokom” ähnliche Adventure mit KI/LLm etc. basteln zu wollen, kann ich das nicht einfach umkommentiert lassen.

Ganz ehrlich, You do you in your silent Kämmerlein. Aber ich hoffe nicht, dass du irgendwann wirklich mal Credit für ein von KI ausgespucktes Endprodukt haben möchtest. Applaus fürs eintippen vom Prompts bekommst du von mir jedenfalls nicht.

Sorry, ja, etwas emotionalem geladener Post meinerseits.

ups. Erstmal vielen Dank für Deinen Post (nicht ironisch gemeint!) Warum danke? War mir nicht klar , daß das so verstanden werden könnte.

Was mich interessiert, ist die Technik zu verstehen , die gerade aktuell ist (in meinem fortgeschrittenen Alter) , nicht Credit fürs Eintippen von Prompts zu bekommen. Die Technik verstehe ich über ein GUI wie Comfy leichter.

Ein lokal laufendes LLM könnte m.E. eine Bereicherung für ein Textadventure sein, Wiederspielwert, usw.

Aber gut, “leben und leben lassen”

Viel Spaß noch beim Arbeiten mit Deinem Taschenrechner.

Sorry, auch meinerseits ein etwas emotional geladener Post.

2 „Gefällt mir“

Ich kann mich @Neon_Autumn nicht anschließen. LLMs sind eine Bereicherung für viele Aufgaben und ein Werkzeug wie jedes andere. Wer hier den Untergang des Abendlandes fürchtet, der sollte auch keine Fotos machen (die armen Maler) und keine PKW verwenden (Was soll aus den ganzen Kutschern und Gäulen werden?).

ComfyUI ist ein unglaubliches Werkzeug, das zur Zeit Dinge möglich macht, die vor ein paar Monaten noch als unmöglich galten oder nur mit dem Budget eines Hollywood-Studios machbar war. Die Tatsache, dass man das zuhause mit seiner Maschine machen kann, sehe ich als Gelegenheit für Hobbyisten und Interessierte sich hier die Tools zu Nutze zu machen, die auch bei großen Produktionen mittlerweile Gang und Gäbe sind.

Wie bei jedem Werkzeug sollte man wissen, was man tut. Die Gefahren für Leib und Leben sind im Vergleich zu einer - sagen wir Drehbank - glücklicherweise gering. Daher ist es gut, dass einem diese Werkzeuge offen stehen. Man kann - und sollte - sich informieren, welche Modelle man nutzt und auf Basis welcher Daten diese zustande gekommen sind. Da kann jeder seine eigene informierte Entscheidung treffen, genauso wie jeder bestimmen kann ob er 2024 noch eine neue Ölheizung braucht oder ob jemand findet, dass Last Christmas wirklich ein gutes Weihnachtslied ist.

2 „Gefällt mir“

Ich verstehe euren Ansatz, teile ihn aber nicht.

Ich kann jetzt endlos ausholen und darüber berichten wie generative KI für das Verbreiten von Falschmeldungen, für flächendeckende Betrugsmaschen und der Bereicherung von Kreativlosen in den sozialen Netzwerken missbraucht wird. Soziale Netzwerke die neuerdings nicht nur mit künstlich generierten Content, sondern auch mit von Bots erschaffenen Kommentaren überflutet werden.

Ich kann die kreativen Berufe auflisten die schon heute weiter in den Hintergrund rücken, weil immer mehr Firmen iher Spots und Texte von LLMs erstellen lassen. Oder von Streamingdiensten, die eh zu wenig an ihre Musiker zahlen und neuerdings auch noch KI Alben promoten.

Ich kann von meiner Uni erzählen, die kaum noch Plätze in den Geisteswissenschaften belegt und die vor Ki-generierten Hausarbeiten langsam kapituliert.

Ich könnte jetzt auch detailiert auf Maschine Learning und dem Kopieren kreativer menschlicher Errungenschaften eingehen und den immer mächtiger werdenden Big Tech Firmen.
Und von Ressourcenverbrauch und Folgen für die Umwelt will ich gar nicht erst anfangen.

Aber, You do you, nutzt es halt. Wir reden in ein paar Jahren nochmal. Und vergesst nicht, dass ihr die Großen noch größer macht und dass alles was ihr damit “erschafft” das Produkt echter kreativer Köpfe ist. Auch wenn die Illusion perfekt ist, ihr erschafft hier nichts eigenes.

Nur weil uns heute alles auf dem Silbertablett serivert wird, heißt das nicht, dass kritisches Hinterfragen Schnee von Gestern ist.

und zu “Untergang des Abendlandes” sage ich jetzt mal lieber nichts.

2 „Gefällt mir“

Ich würde das gerne mit dir diskutieren. Ich arbeite in einem dieser kreativen Berufe und ich glaube nicht, dass ich verlernt habe Dinge kritisch zu hinterfragen.

Wenn es nach dir geht ist in ein paar Jahren nochmal reden wohl zu spät, dann leben wir alle schon John Conner Style in einem Bunker unter mehreren Metern von menschlichen Schädeln. Ich glaube aber, dass wir an einem Punkt sind, wo wir lernen können, wozu diese Werkzeuge in der Lage sind und sie zu unseren Werkzeugen machen können. Ich halte es für einen Fehler alles was aus der KI-Ecke kommt als Teufelszeug abzutun und zu hoffen, dass diese - wie ich finde - ignorante Haltung etwas daran ändern wird. Die Kluft wird dadurch nur noch wachsen.

Was @marvit vor hat ist doch genau das Gegenteil von dem, was du prophezeist: Er unterstützt eben erstmal nicht weiter die Großen sondern versucht mit bereits existierender Hardware bei sich zu Hause besser zu verstehen, wie die KI funktioniert. Meiner Ansicht nach ist genau das der Weg aus der Dystopie, die du herauf beschwörst und dich weigerst etwas dagegen zu tun.

Ich habe vor kurzem erst wieder die Neuromancer Reihe gelesen und - abgesehen davon, dass es wirklich fantastische Büche sind - festgestellt, wie passend diese für unsere aktuelle Zeit sind. Nicht weil uns eine solche Zukunft droht oder wir uns gar bereits in einem solchen Szenario befinden, sondern weil es uns auch Unterschiede und Wege aufzeigt…

6 „Gefällt mir“

Außerdem lese ich im Eröffnungsbeitrag, dass der Thread-Ersteller nicht einfach ein klassisches Text-Adventure vom Computer schreiben lassen will, sondern die AI darin einbinden.
Anstatt die Dialoge zu schreiben könnte man die Charaktere, die Orte und den Plot beschreiben. Der Benutzer hat dann völlige Handlungsfreiheit und kann alles in diesem Setting tun und wird nicht darin limitiert, dass der Autor des Spiels eine Handlungsoption nicht vorgesehen hat.

Das ließe sich mit den heute verfügbaren LLMs sicher ganz gut und einfach umsetzen.

3 „Gefällt mir“

Also ich kann an meinem Post nichts finden das Hinweise auf dystopische Verhältnisse erkennen lässt. Ich habe auch nicht gesagt, dass ich Ki Grundsätzlich verufele. Es geht ja nicht darum, dass LLMs existieren. Es geht mir auch nicht darum, dass ich denke, dass sie die Weltherrschaft an sich reissen könnte (Wobei einige kluge Köpfe dieses Szenario untersucht und als alles andere als abwegig erachten).

Es geht mir vielmehr darum, dass negativen Auswirkungen auf unterschiedliche Bereiche unserer Zusammenlebens und darüber hinaus bereits eingetreten sind. Wir sehen das Thema allerdings offensichtlich aus unterschiedlichen Perspektiven. In meinem Umfeld und in unseren Forschungsgruppen ist der Schaden aus ökonmischer Sicht, für eine breite Masse an Menschen, bereits spürbar. Ich habe in meinem vorherigen Post bereits etliche Punkte aufgezählt und mag sie nicht wiederholen.

Festzuhalten ist, dass alles sein Für und WIeder hat. Die Frage ist also nicht: Ist das Gut oder ist es Schlecht ? Vielmher stellt sich die Frage: Was überwiegt, Schaden oder Nutzen ?

Kann etwas positives aus solchen mächtigen Tools entstehen ? Absolut.

Kann das Tool missbraucht werden und das Machtgefälle zwischen Allgemeinheit und BigTech bzw. Regierungen und Mächtigen verstärken ? Ganz klares Ja. Und das ist der Trend. Stichwort: Aktuelle Entwicklun in der gängigen sozialen Medien. Ziel ist, so wie mit anderen technologischen “Errungenschaften,” Abhängigkeit zu generieren.

Wir stehen an einem Scheideweg, das ist offensichtlich. Nur um noch einmal das Beispiel mit der Uni aufzugreifen. Studierende nutzen LLMs um ihre Texte schreiben zu lassen. Das geht über “Das ist nur ein Werkzeug” hinaus. Dass der Mensch, der dafür bekannt ist den Weg des geringsten Widerstandes zu gehen, hat Google, Open Ai etc. dabei geholfen eine so schnell und erfolgreiche Verbreitung zu erreichen.

Aber wie entfernen uns vom eigentlichen Inhalt. Mein Hottake zu Comfy Ui bzw. Stable Diffusion zu nutzen, verbraucht unmengen an Ressourcen und du hast nicht mal was eigenes geschaffen. Die alte “Wasser kommt nicht aus dem Hahn” Debatte.

1 „Gefällt mir“

@marvit Schaut interessant aus! Wie zeitaufwändig und kompliziert war das Installieren? Muss mir das mal anschauen.

Dann müssen die Unis dieses verstaubte Prüfungsinstrument eben weiterentwickeln. Da sitzen doch eigentlich genug kluge Leute. Haben wir an unserer Schule mit Projektarbeiten (schriftlicher Teil ist ähnlich einer Hausarbeit) auch geschafft. Die Anzahl an Hausarbeiten, die ich damals schreiben durfte, fand ich wenig hilfreich. Ich unterstellte den Profs auch, dass sie aus den Dutzenden(?) Hausarbeiten pro Semester auch keinen großen Gewinn ziehen und auch nicht jedes Zitat und jede Quelle gründlich prüfen.

Nun versagen demokratische Kräfte beim Umgang mit und Einsatz von sozialen Medien aber nicht erst seit KI. Als einsame Ausnahme sehe ich hier nur Frau Reichinek. Wahrscheinlich stehen bei zu vielen demokratischen Kräften die kapitalistischen Interessen doch an erster Stelle. Da würde ich die Auswüchse von KI auf Social Media dann aber eher als Symptom eines sowieso kranken Systems sehen. (Damit möchte ich die Bedrohung unserer Demokratie durch KI und Social Media übrigens nicht abtun.)

4 „Gefällt mir“

@Tristram-Tourist Installation ist pretty straight forward: GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.

für Windows und NVIDIA GPUs. Download and click.

Die eigentliche Arbeit beginnt danach: Was ist ein checkpoint, ein LoRA, ein VAE, usw. ?

Gibt aber reichlich Anleitungen dazu. Für mich ist, wie gesagt, eher der Weg das Ziel. Was ich hier über die Arbeitsweise von LLMs lerne ist einfach spannend

1 „Gefällt mir“

Absolut. Ich habe gegen Ende meines Studium als Assistent für einen Professor gearbeitet, der das damals meiner Ansicht nach genau richtig gemacht hat: In der Prüfung waren alle Hilfsmittel erlaubt inkl. Laptop und Mobiltelefon - was erst mal zu großem Unverständnis und Widerstand beim Prüfungsamt geführt hat. Jeder Mensch ist anders und lernt auch anders. Einer hat keine Probleme 200 Seiten auswendig zu lernen, kann das gelernte aber nur schwer anwenden, ein anderer hingegen scheitert schon an seiner Matrikelnummer, kann sich jedoch in 5 Minuten Recherche ein neues Thema aneignen, wie kein anderer. Wenn die Studenten also denken, dass sie ihre begrenzte Prüfungszeit mit Google verbringen und damit zum Ziel kommen, dann ist das ihre Entscheidung und kann genauso eine Lösung sein, wie das auswendig Lernen von Dingen, von denen man 90% gar nicht gebraucht hätte (wenn man die Aufgaben vorher gekannt hätte). Das Feedback der Studierenden war eindeutig: Die Prüfung war nicht weniger schwer als die in anderen Vorlesungen, aber später im Beruf sitzt auch niemand da und lernt Bücher auswendig, sondern jeder muss das Wissen für seinen Aufgabenbereich so parat haben, dass er damit seine Aufgaben erledigen kann - wie er das tut, danach kräht kein Hahn mehr…

2 „Gefällt mir“