00-ADR-EARS/gbr_llm/bkp20260610/duckdb | Wiki

Modelagem matemática

-- Extensão JSON para metadados arbitrários (estrelas do github, dependências)
INSTALL json;
LOAD json;

-- Tabela central de conhecimento do ecossistema Gleam
CREATE TABLE gleam_knowledge_nodes (
    id UUID PRIMARY KEY,

    -- Metadados de Indexação
    node_type VARCHAR, -- 'function', 'type', 'module', 'package_readme'
    package_name VARCHAR,
    module_name VARCHAR,
    identifier VARCHAR, -- Nome da função ou tipo
    signature VARCHAR,  -- A assinatura do tipo em Gleam (ex: fn(Int) -> String)

    -- O Conteúdo Bruto (para exibição final)
    raw_content TEXT,

    -- 🧠 A Essência Matemática (Quantização)

    -- Fase 1 (1-bit QJL): Usado para Filtragem Bruta (Candidate Retrieval)
    -- O DuckDB possui o tipo BIT para cadeias de bits.
    -- Comparamos isso usando a Distância de Hamming, que é processada via hardware (instruções POPCNT)
    qjl_projection BIT,

    -- Fase 2 (3-bit PolarQuant): Usado para Re-rank de precisão
    -- Como o DuckDB não tem um tipo "3-bit", empacotamos os raios e ângulos
    -- em um array de bytes pequenos (UTINYINT) ou um BLOB binário.
    polar_embedding BLOB,

    -- Metadados Dinâmicos (JSON)
    metadata JSON
);

-- Índices B-Tree tradicionais para buscas mistas (ex: buscar só no pacote 'lustre')
CREATE INDEX idx_package ON gleam_knowledge_nodes(package_name);
CREATE INDEX idx_node_type ON gleam_knowledge_nodes(node_type);