Uso de um LLM pequeno para melhoria de descrição de produto

Gist ID: 4bf43c9e0ab47b6afc845dcb1312eedd

from ollama import Client

client = Client(host="http://localhost:11434")
response = client.chat(
    model="tinydolphin",
    messages=[
        {
            "role": "user",
            "content": """Create a alternative description to Improve this product description:
khadas 3705 Cooling Fan, Features:
High Airflow
Super Quiet

Compatibility:

Edge
Edge-V
VIM3
VIM2 v1.4
Edge Heatsink
New VIM Heatsink
Incompatible:

VIM1 (all versions)
VIM2 (v1.2 and earlier)
Original VIM Heatsink""",
        },
    ],
)

print(response["message"]["content"])

Comment by gpupo:

Mentiu muito, não é ? :)

Comment by gpupo:

Próximo passo, Aplicar RAG.

RAG, ou Retrieval-Augmented Generation, é uma técnica de geração de linguagem onde uma componente de recuperação de informações (como um mecanismo de busca) é usada para alimentar conteúdo relevante em um modelo gerador de linguagem. O RAG implica que ao invés de treinar o modelo para memorizar ou aprender diretamente os dados, você pode utilizar o RAG para consultar dinamicamente uma base de dados durante a geração de respostas, permitindo que o modelo utilize informações específicas sem a necessidade de um treinamento intensivo e especializado.

Comment by gpupo:

Sobre RAG: What is Retrieval-Augmented Generation (RAG)?

Comment by gpupo:

Exemplo RAG com langchain https://github.com/ollama/ollama/blob/main/examples/langchain-python-rag-document/main.py