Forum - Gagner de l'argent sur internet

Gagner de l'argent sur Internet, c'est possible !
Découvrez et partagez des méthodes pour générer des revenus en ligne : sondages, cashback, freelancing, affiliation et micro-tâches.

Vous n'êtes pas connecté.

#1 Aujourd'hui 09:22:05

bonplanman
Membre

La limite de 2000 tokens des petits modèles locaux, c'est un piège à merde

J'ai pas mal de monde qui se promène avec un 7B ou un 13B model sur leur PC en pensant qu'ils vont automatiser their entire workflow. Sauf que unless you're doing simple text classification, you hit the context limit way faster than you think. I just tried to chain three tools together for a data cleaning task using a local LLM and it completely fell apart because it forgot what the second step was.
People keep saying "just use a smaller model for the intermediate steps" but honestly, the quality drops off a cliff and you end up with garbage output that you have to redo manually. So the whole "efficiency" argument goes out the window. If you want actual reliable automation, you're still stuck paying for API tokens to handle the heavy lifting, or you need a setup that costs more than the service you're trying to replace.
Does anyone actually have a working pipeline where the local model handles more than just the trivial stuff without breaking the chain? Because from where I'm standing, it's all just marketing fluff until they fix the context window issues on consumer hardware.

Hors ligne

Utilisateurs enregistrés en ligne dans ce sujet: 0, Invité(s): 1
[Bot] ClaudeBot

Pied de page

Propulsé par FluxBB
Modifié par Visman Traduit par N-Studio18