Vor kurzem ist ein sehr interessantes Dokument mit dem Titel: „We Have No Moat“ von einer Google Forscherin im Discord geleakt worden. In diesem Artikel macht die Forscherin darauf aufmerksam, dass weder Google noch Open AI das Wettrennen, um die technologische Vorherrschaft im Bereich der generativen KI/LLM gewinnen könnten. Sie verdeutlicht, dass während sich Google und Open AI ein Wettrennen liefern, eine dritte Fraktion – die Open Source Community – in aller Stille beide Player anfängt zu überholen. 

Und nicht nur das. Die Open Source Community hat bereits Probleme gelöst, die für beide Unternehmen als „große offene Probleme“ galten. 

„But the uncomfortable truth is, we aren’t positioned to win this arms race and neither is OpenAI. While we’ve been squabbling, a third faction has been quietly eating our lunch.

I’m talking, of course, about open source. Plainly put, they are lapping us. Things we consider “major open problems” are solved and in people’s hands today“

Dies ist natürlich insbesondere für die Monetarisierung dieser Technologie und die Entwicklung neuer Produkte und Geschäftsmodelle der Konzerne ein Problem. Denn ein Nutzer wird natürlich für eine Applikation nicht zahlen, wenn er sie kostenlos bekommt und sie sogar noch selbst an seine speziellen Bedürfnisse anpassen kann. Insbesondere, wenn die Technologie sogar noch „besser“ und „günstiger“ ist.

„Open-source models are faster, more customizable, more private, and pound-for-pound more capable. They are doing things with $100 and 13B params that we struggle with at $10M and 540B params. (…) These models are used and created by people who are deeply immersed in their particular subgenre, lending a depth of knowledge and empathy we cannot hope to match.

Aus diesem Grund rät die Forscherin dazu die Open Source Community nicht zu bekämpfen, denn „Directly Competing With Open Source Is a Losing Proposition“

Vielmehr sollte man sich an die „Open Source Realität“ anzupassen, in dem man beispielsweise kleine Modelle freigibt. Denn die einzige Firma , die bisher von der Open Source Community profitiert habe, sei paradoxerweise Meta, deren Model geleakt und von der Community weiter entwickelt wurde. 

„Paradoxically, the one clear winner in all of this is Meta. Because the leaked model was theirs, they have effectively garnered an entire planet’s worth of free labor. Since most open source innovation is happening on top of their architecture, there is nothing stopping them from directly incorporating it into their products.“

So rät sie schlußendlich, dass sich Google an die Gegebenheiten anpassen und eine Führerschaft in der Open Source Community aufbauen solle. Dies bedeutet natürlich auch mit den Entwicklern zu kooperieren anstatt sie zu ignorieren.

„This probably means taking some uncomfortable steps, like publishing the model weights for small ULM variants. This necessarily means relinquishing some control over our models. But this compromise is inevitable. We cannot hope to both drive innovation and control it.“

Wird Open Source der Vorreiter werden, oder werden die geplanten Regulierungen dies verhindern?