Petals

Petals ist ein kostenloser, dezentraler KI-Chatbot und virtueller Assistent, der große Sprachmodelle kollaborativ über ein Peer-to-Peer-Netzwerk ausführt. Es ermöglicht Benutzern, Modelle wie LLaMA und BLOOM auszuführen, indem Rechenressourcen geteilt werden, wodurch die Hardwareanforderungen reduziert werden. Es richtet sich an Forscher und Hobbyisten und bietet einen einzigartigen Ansatz für verteilte Inferenz, der den Zugang zu großen Modellen ohne teure GPUs ermöglicht, mit Fokus auf gemeinschaftsgetriebenes Rechnen.