Jak mogę wykryć kodowanie / kodowanie pliku tekstowego

Jeśli chcesz wykryć kodowanie nie-UTF (tj. brak BOM), w zasadzie sprowadzasz się do heurystyki i analizy statystycznej tekstu. Możesz rzucić okiem na Artykuł Mozilli na temat wykrywania uniwersalnych znaków (ten sam link, z lepszym formatowaniem przez Wayback Machine ).

Czy próbowałeś C# port dla Mozilla Universal Charset Detector

Przykład z http://code.google.com/p/ude/

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

nie możesz wykryć strony kodowej

Biorąc pod uwagę rozsądną ilość tekstu, możliwe jest nawet wykrycie język.

Oto kolejny , który właśnie znalazłem za pomocą Google:

Wiem, że jest bardzo późno na to pytanie i to rozwiązanie nie spodoba się niektórym( ze względu na jego stronniczość anglocentryczną i brak badań statystycznych/empirycznych), ale działało bardzo dobrze dla mnie, szczególnie przy przetwarzaniu przesłanych danych CSV: {]}

Http://www.architectshack.com/TextFileEncodingDetector.ashx

Zalety:

• wbudowane wykrywanie BOM
• domyślne / awaryjne kodowanie konfigurowalne
• całkiem wiarygodne (z mojego doświadczenia) dla zachodnioeuropejskie pliki zawierające egzotyczne dane (np. Francuskie nazwy) z mieszaniną plików w stylu UTF-8 i Latin-1 - w zasadzie większość środowisk amerykańskich i zachodnioeuropejskich.

Uwaga: To ja napisałem tę klasę, więc oczywiście weź to z przymrużeniem oka! :)

Notepad++ posiada tę funkcję po wyjęciu z pudełka. Wspiera również jego zmianę.

Szukając innego rozwiązania, znalazłem, że

Https://code.google.com/p/ude/

Potrzebowałem podstawowej detekcji kodowania, opartej na 4 pierwszych bajtach i prawdopodobnie wykrywaniu znaków XML - więc pobrałem przykładowy kod źródłowy z Internetu i dodałem nieco zmodyfikowaną wersję

Http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

Napisane dla Javy.

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

It ' s enough to odczytam prawdopodobnie pierwsze 1024 bajty z pliku, ale Ładuję cały plik.

Jeśli ktoś szuka rozwiązania na 93,9%. To mi działa:

public static class StreamExtension
{
    /// <summary>
    /// Convert the content to a string.
    /// </summary>
    /// <param name="stream">The stream.</param>
    /// <returns></returns>
    public static string ReadAsString(this Stream stream)
    {
        var startPosition = stream.Position;
        try
        {
            // 1. Check for a BOM
            // 2. or try with UTF-8. The most (86.3%) used encoding. Visit: http://w3techs.com/technologies/overview/character_encoding/all/
            var streamReader = new StreamReader(stream, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true), detectEncodingFromByteOrderMarks: true);
            return streamReader.ReadToEnd();
        }
        catch (DecoderFallbackException ex)
        {
            stream.Position = startPosition;

            // 3. The second most (6.7%) used encoding is ISO-8859-1. So use Windows-1252 (0.9%, also know as ANSI), which is a superset of ISO-8859-1.
            var streamReader = new StreamReader(stream, Encoding.GetEncoding(1252));
            return streamReader.ReadToEnd();
        }
    }
}

Zrobiłem coś podobnego w Pythonie. Zasadniczo, potrzebujesz wiele przykładowych danych z różnych kodowań, które są podzielone przez przesuwane dwubajtowe okno i przechowywane w słowniku( hash), kluczowanym na parach bajtów dostarczających wartości list kodowań.

Biorąc pod uwagę ten słownik (hash), bierzesz swój tekst wejściowy i:

• jeśli zaczyna się od dowolnego znaku BOM ('\xfe\xff ' dla UTF-16-BE, '\xff\xfe' dla UTF-16-LE, '\xef\xbb\xbf' dla UTF-8 itd.), traktuję to jako suggested
• jeśli nie, to weź wystarczająco dużą próbkę tekstu, weź wszystkie pary bajtów próbki i wybierz kodowanie, które jest najmniej powszechne sugerowane ze słownika.

Jeśli próbkowałeś również tekstów kodowanych UTF, które nie zaczynają się od dowolnego BOM, drugi krok obejmie te, które wyszły z pierwszego kroku.

Jak na razie działa u mnie (przykładowe dane i kolejne dane wejściowe są napisami w różnych językach) z malejącym błędem stawki.

Konstruktor klasy StreamReader pobiera parametr 'detect encoding'.

Narzędzie "uchardet" robi to dobrze, używając modeli rozkładu częstotliwości znaków dla każdego zestawu znaków. Większe pliki i bardziej" typowe " pliki mają większą pewność (oczywiście).

Na ubuntu, po prostu apt-get install uchardet.

Na innych systemach Pobierz źródło, użycie i dokumenty tutaj: https://github.com/BYVoid/uchardet

Jeśli możesz połączyć się z biblioteką C, możesz użyć libenca. Zobacz http://cihar.com/software/enca/. ze strony man:

Enca odczytuje podane pliki tekstowe lub standardowe wejście, gdy nie podano, i wykorzystuje wiedzę na temat ich języka (musi być przez Ciebie poparta) i mieszanka parsowania, analizy statystycznej, zgadywania i czarnej magii aby określić ich kodowanie.

To GPL v2.

Mam ten sam problem, ale nie znalazłem jeszcze dobrego rozwiązania do wykrywania go automatycznie . Teraz używam Pspada (www.pspad.com) za to;) działa dobrze

Ponieważ sprowadza się to zasadniczo do heurystyki, może pomóc użycie kodowania wcześniej otrzymanych plików z tego samego źródła jako pierwszej podpowiedzi.

Większość ludzi (lub aplikacji) robi rzeczy w prawie tej samej kolejności za każdym razem, często na tej samej maszynie, więc jest całkiem prawdopodobne, że gdy Bob tworzy .plik csv i wysyła go do Mary zawsze będzie używać Windows-1252 lub cokolwiek jego maszyna domyślnie.

W miarę możliwości trochę szkolenia klienta też nigdy nie zaszkodzi: -)

Szukałem ogólnego, a nie programowego sposobu wykrywania kodowania plików, ale tego jeszcze nie znalazłem. To, co odkryłem testując różne kodowania, to to, że mój tekst to UTF-7.

Więc gdzie po raz pierwszy robiłem: StreamReader file = Plik.OpenText (fullfilename);

Musiałem zmienić na: StreamReader file = new StreamReader (fullfilename, System.Tekst.Kodowanie.UTF7);

OpenText zakłada, że to UTF-8.

Możesz również utworzyć StreamReader jak to nowy StreamReader( fullfilename, true), drugi parametr oznaczający, że powinien próbować wykryć kodowanie z znaku bajtowego pliku, ale to nie zadziałało w moim przypadku.

Otwórz plik w AkelPad(lub po prostu skopiuj / wklej zniekształcony tekst) , przejdź do Edit - > Selection - > Recode... - >zaznacz "autodetekcja".

Jako dodatek do itmeze post, użyłem tej funkcji do konwersji wyjścia portu C# dla Mozilla Universal Charset Detector

    private Encoding GetEncodingFromString(string codePageName)
    {
        try
        {
            return Encoding.GetEncoding(codePageName);
        }
        catch
        {
            return Encoding.ASCII;
        }
    }

MSDN

Thanks @Erik Aronesty for mentioning uchardet.

Tymczasem (to samo?) narzędzie istnieje dla Linuksa: chardet.
Na cygwinie możesz też użyć: chardetect.

Zobacz: Strona man chardet: https://www.commandlinux.com/man-page/man1/chardetect.1.html

To heurystycznie wykryje (odgadnie) kodowanie znaków dla każdego podanego pliku i zgłosi nazwę i poziom ufności dla każdego wykrytego kodowania znaków.

10Y (!) minęło, odkąd o to zapytano, i nadal nie widzę wzmianki o dobrym, Nie zgodnym z GPL rozwiązaniu MS: IMULTILANGUAGE2 API.

Większość wymienionych bibliotek opiera się na UDE Mozilli - i wydaje się rozsądne, że przeglądarki już rozwiązały podobne problemy. Nie wiem co to jest rozwiązanie chrome, ale skoro IE 5.0 ms wydało swoje i jest:

1. Wolne od licencji GPL i podobnych,
2. poparte i utrzymane prawdopodobnie forever,
3. daje rich output - wszystkie poprawne kandydatury do kodowania / kodowania stron wraz z wynikami zaufania,
4. zaskakująco łatwy w użyciu (jest to jedno wywołanie funkcji).

Jest to natywne wywołanie COM, ale Oto bardzo dobra praca autorstwa Carstena Zeumera, która obsługuje bałagan interop dla.Net. Są inni, ale ogólnie ta biblioteka nie zwraca na siebie uwagi, na którą zasługuje.

Używam tego kodu do wykrywania Unicode i domyślnej strony kodowej ANSI systemu windows podczas czytania pliku. W przypadku innych kodowań konieczne jest sprawdzenie zawartości, ręcznie lub przez programowanie. To może de używane do zapisu tekstu z tym samym kodowaniem, jak gdy został otwarty. (Używam VB.NET)

'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default) 
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()