Petals

Petals ist ein kostenloser, dezentraler KI-Chatbot und virtueller Assistent, der große Sprachmodelle kollaborativ über ein Peer-to-Peer-Netzwerk ausführt. Er ermöglicht Benutzern das Ausführen von Modellen wie LLaMA und BLOOM durch gemeinsame Nutzung von Rechenressourcen, wodurch die Hardwareanforderungen reduziert werden. Zielgruppe sind Forscher und Hobbyisten, die einen einzigartigen Ansatz für verteilte Inferenz bietet, der den Zugang zu großen Modellen ohne teure GPUs ermöglicht, mit Fokus auf gemeinschaftsgetriebenes Rechnen.