Korzystanie z Lucene do wyszukiwania adresów e-mail

Nikt nie dał satysfakcjonującej odpowiedzi, więc zaczęliśmy grzebać w dokumentacji Lucene i odkryliśmy, że możemy to osiągnąć za pomocą niestandardowych analizatorów i Tokenizerów.

Odpowiedź jest taka: Utwórz WhitespaceAndAtSymbolTokenizer i WhitespaceAndAtSymbolAnalyzer, a następnie odtworzyć indeks za pomocą tego analizatora. Gdy to zrobisz, Szukaj "@gmail.com " zwróci wszystkie adresy gmail, ponieważ jest postrzegane jako osobne słowo dzięki Tokenizerowi, który właśnie stworzyliśmy.

Oto kod źródłowy jest bardzo prosty:

class WhitespaceAndAtSymbolTokenizer : CharTokenizer
{
    public WhitespaceAndAtSymbolTokenizer(TextReader input)
        : base(input)
    {
    }

    protected override bool IsTokenChar(char c)
    {
        // Make whitespace characters and the @ symbol be indicators of new words.
        return !(char.IsWhiteSpace(c) || c == '@');
    }
}


internal class WhitespaceAndAtSymbolAnalyzer : Analyzer
{
    public override TokenStream TokenStream(string fieldName, TextReader reader)
    {
        return new WhitespaceAndAtSymbolTokenizer(reader);
    }
}

IndexWriter index = new IndexWriter(indexDirectory, new WhitespaceAndAtSymbolAnalyzer());
index.AddDocument(myDocument);

Podczas wyszukiwania należy również użyć analizatora:

IndexSearcher searcher = new IndexSearcher(indexDirectory);
Query query = new QueryParser("TheFieldNameToSearch", new WhitespaceAndAtSymbolAnalyzer()).Parse("@gmail.com");
Hits hits = query.Search(query);