Czym jest strona kodująca/kodująca cmd.exe za pomocą?

Tak, to frustrujące-czasami type i inne programy Drukuj bełkot, a czasami nie.

Po pierwsze, znaki Unicode będą wyświetlane tylko , jeśli bieżąca czcionka konsoli zawiera znaki . Więc użyj czcionka TrueType, taka jak Lucida Console, zamiast domyślnej czcionki rastrowej.

Ale jeśli czcionka konsoli nie zawiera znaku, który próbujesz wyświetlić, zobaczysz znaki zapytania zamiast bełkotu. Kiedy masz bełkot, jest więcej dalej niż tylko ustawienia czcionek.

Gdy programy używają standardowych funkcji We/Wy biblioteki C, takich jak printf, na kodowanie wyjściowe programu musi odpowiadać kodowaniu wyjściowemu konsoli , lub dostaniesz bełkotu. chcp pokazuje i ustawia bieżącą stronę kodową. Wszystkie wyjście przy użyciu standardowych funkcji We/Wy biblioteki C jest traktowane tak, jakby było w strona kodowa wyświetlana przez chcp.

Dopasowanie kodowania wyjściowego programu do kodowania wyjściowego konsoli można osiągnąć w dwóch różne sposoby:

• Program może pobrać bieżącą stronę kodową konsoli za pomocą chcp lub GetConsoleOutputCP, i skonfigurować się do wyjścia w tym kodowaniu, lub

• Ty lub program możesz ustawić bieżącą stronę kodową konsoli za pomocą chcp lub SetConsoleOutputCP aby dopasować domyślne kodowanie wyjściowe programu.

Jednak programy korzystające z API Win32 mogą pisać bezpośrednio ciągi UTF-16LE do konsoli z WriteConsoleW. To jest jedyny sposób, aby uzyskać poprawne wyjście bez ustawiania stron kodowych. Oraz nawet przy użyciu tej funkcji, jeśli ciąg znaków nie jest w kodowaniu UTF-16LE na początek Program Win32 musi przekazać poprawną stronę kodową do MultiByteToWideChar. Ponadto WriteConsoleW nie będzie działać, jeśli wynik programu zostanie przekierowany; w takim przypadku potrzeba więcej bałaganu.

type działa przez pewien czas, ponieważ sprawdza początek każdego pliku pod kątem UTF-16LE znak kolejności bajtów (BOM) , czyli bajty 0xFF 0xFE. Jeśli znajdzie taki znak, wyświetla znaki Unicode w pliku za pomocą WriteConsoleW niezależnie od aktualnej strony kodowej. Ale kiedy typeing dowolny plik bez UTF-16LE BOM, lub do używania znaków innych niż ASCII z dowolnym poleceniem to nie wywołuje WriteConsoleW - trzeba będzie ustawić kodowanie konsoli i kodowanie wyjścia programu, aby pasowały do siebie.

Jak możemy się tego dowiedzieć?

Oto testowy plik zawierający znaki Unicode:

ASCII     abcde xyz
German    äöü ÄÖÜ ß
Polish    ąęźżńł
Russian   абвгдеж эюя
CJK       你好

Oto program Java do wydruku plik testowy w kilku różnych Kodowanie Unicode. Może być w dowolnym języku programowania; drukuje tylko Znaki ASCII lub zakodowane bajty do stdout.

import java.io.*;

public class Foo {

    private static final String BOM = "\ufeff";
    private static final String TEST_STRING
        = "ASCII     abcde xyz\n"
        + "German    äöü ÄÖÜ ß\n"
        + "Polish    ąęźżńł\n"
        + "Russian   абвгдеж эюя\n"
        + "CJK       你好\n";

    public static void main(String[] args)
        throws Exception
    {
        String[] encodings = new String[] {
            "UTF-8", "UTF-16LE", "UTF-16BE", "UTF-32LE", "UTF-32BE" };

        for (String encoding: encodings) {
            System.out.println("== " + encoding);

            for (boolean writeBom: new Boolean[] {false, true}) {
                System.out.println(writeBom ? "= bom" : "= no bom");

                String output = (writeBom ? BOM : "") + TEST_STRING;
                byte[] bytes = output.getBytes(encoding);
                System.out.write(bytes);
                FileOutputStream out = new FileOutputStream("uc-test-"
                    + encoding + (writeBom ? "-bom.txt" : "-nobom.txt"));
                out.write(bytes);
                out.close();
            }
        }
    }
}

Wyjście w domyślnej stronie kodowej? Totalna bzdura!

Z:\andrew\projects\sx\1259084>chcp
Active code page: 850

Z:\andrew\projects\sx\1259084>java Foo
== UTF-8
= no bom
ASCII     abcde xyz
German    ├ñ├Â├╝ ├ä├û├£ ├ƒ
Polish    ąęźżńł
Russian   ð░ð▒ð▓ð│ð┤ðÁð ÐìÐÄÐÅ
CJK       õ¢áÕÑ¢
= bom
´╗┐ASCII     abcde xyz
German    ├ñ├Â├╝ ├ä├û├£ ├ƒ
Polish    ąęźżńł
Russian   ð░ð▒ð▓ð│ð┤ðÁð ÐìÐÄÐÅ
CJK       õ¢áÕÑ¢
== UTF-16LE
= no bom
A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h         ♣☺↓☺z☺|☺D☺B☺
 R u s s i a n       0♦1♦2♦3♦4♦5♦6♦  M♦N♦O♦
 C J K               `O}Y
 = bom
 ■A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h         ♣☺↓☺z☺|☺D☺B☺
 R u s s i a n       0♦1♦2♦3♦4♦5♦6♦  M♦N♦O♦
 C J K               `O}Y
 == UTF-16BE
= no bom
 A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h        ☺♣☺↓☺z☺|☺D☺B
 R u s s i a n      ♦0♦1♦2♦3♦4♦5♦6  ♦M♦N♦O
 C J K              O`Y}
= bom
■  A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h        ☺♣☺↓☺z☺|☺D☺B
 R u s s i a n      ♦0♦1♦2♦3♦4♦5♦6  ♦M♦N♦O
 C J K              O`Y}
== UTF-32LE
= no bom
A   S   C   I   I                       a   b   c   d   e       x   y   z
   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                   ♣☺  ↓☺  z☺  |☺  D☺  B☺
   R   u   s   s   i   a   n               0♦  1♦  2♦  3♦  4♦  5♦  6♦      M♦  N
♦  O♦
   C   J   K                               `O  }Y
   = bom
 ■  A   S   C   I   I                       a   b   c   d   e       x   y   z

   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                   ♣☺  ↓☺  z☺  |☺  D☺  B☺
   R   u   s   s   i   a   n               0♦  1♦  2♦  3♦  4♦  5♦  6♦      M♦  N
♦  O♦
   C   J   K                               `O  }Y
   == UTF-32BE
= no bom
   A   S   C   I   I                       a   b   c   d   e       x   y   z
   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                  ☺♣  ☺↓  ☺z  ☺|  ☺D  ☺B
   R   u   s   s   i   a   n              ♦0  ♦1  ♦2  ♦3  ♦4  ♦5  ♦6      ♦M  ♦N
  ♦O
   C   J   K                              O`  Y}
= bom
  ■    A   S   C   I   I                       a   b   c   d   e       x   y   z

   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                  ☺♣  ☺↓  ☺z  ☺|  ☺D  ☺B
   R   u   s   s   i   a   n              ♦0  ♦1  ♦2  ♦3  ♦4  ♦5  ♦6      ♦M  ♦N
  ♦O
   C   J   K                              O`  Y}

Jednak, co jeśli type pliki, które zostały zapisane? Zawierają dokładnie te same bajty, które zostały wydrukowane na konsoli.

Z:\andrew\projects\sx\1259084>type *.txt

uc-test-UTF-16BE-bom.txt


■  A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h        ☺♣☺↓☺z☺|☺D☺B
 R u s s i a n      ♦0♦1♦2♦3♦4♦5♦6  ♦M♦N♦O
 C J K              O`Y}

uc-test-UTF-16BE-nobom.txt


 A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h        ☺♣☺↓☺z☺|☺D☺B
 R u s s i a n      ♦0♦1♦2♦3♦4♦5♦6  ♦M♦N♦O
 C J K              O`Y}

uc-test-UTF-16LE-bom.txt


ASCII     abcde xyz
German    äöü ÄÖÜ ß
Polish    ąęźżńł
Russian   абвгдеж эюя
CJK       你好

uc-test-UTF-16LE-nobom.txt


A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h         ♣☺↓☺z☺|☺D☺B☺
 R u s s i a n       0♦1♦2♦3♦4♦5♦6♦  M♦N♦O♦
 C J K               `O}Y

uc-test-UTF-32BE-bom.txt


  ■    A   S   C   I   I                       a   b   c   d   e       x   y   z

   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                  ☺♣  ☺↓  ☺z  ☺|  ☺D  ☺B
   R   u   s   s   i   a   n              ♦0  ♦1  ♦2  ♦3  ♦4  ♦5  ♦6      ♦M  ♦N
  ♦O
   C   J   K                              O`  Y}

uc-test-UTF-32BE-nobom.txt


   A   S   C   I   I                       a   b   c   d   e       x   y   z
   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                  ☺♣  ☺↓  ☺z  ☺|  ☺D  ☺B
   R   u   s   s   i   a   n              ♦0  ♦1  ♦2  ♦3  ♦4  ♦5  ♦6      ♦M  ♦N
  ♦O
   C   J   K                              O`  Y}

uc-test-UTF-32LE-bom.txt


 A S C I I           a b c d e   x y z
 G e r m a n         ä ö ü   Ä Ö Ü   ß
 P o l i s h         ą ę ź ż ń ł
 R u s s i a n       а б в г д е ж   э ю я
 C J K               你 好

uc-test-UTF-32LE-nobom.txt


A   S   C   I   I                       a   b   c   d   e       x   y   z
   G   e   r   m   a   n                   õ   ÷   ³       ─   Í   ▄       ▀
   P   o   l   i   s   h                   ♣☺  ↓☺  z☺  |☺  D☺  B☺
   R   u   s   s   i   a   n               0♦  1♦  2♦  3♦  4♦  5♦  6♦      M♦  N
♦  O♦
   C   J   K                               `O  }Y

uc-test-UTF-8-bom.txt


´╗┐ASCII     abcde xyz
German    ├ñ├Â├╝ ├ä├û├£ ├ƒ
Polish    ąęźżńł
Russian   ð░ð▒ð▓ð│ð┤ðÁð ÐìÐÄÐÅ
CJK       õ¢áÕÑ¢

uc-test-UTF-8-nobom.txt


ASCII     abcde xyz
German    ├ñ├Â├╝ ├ä├û├£ ├ƒ
Polish    ąęźżńł
Russian   ð░ð▒ð▓ð│ð┤ðÁð ÐìÐÄÐÅ
CJK       õ¢áÕÑ¢

tylko to co dziala to plik UTF-16LE, z BOM, wydrukowany na konsola via type.

Jeśli użyjemy czegoś innego niż type do wydrukowania pliku, otrzymamy śmieci:

Z:\andrew\projects\sx\1259084>copy uc-test-UTF-16LE-bom.txt CON
 ■A S C I I           a b c d e   x y z
 G e r m a n         õ ÷ ³   ─ Í ▄   ▀
 P o l i s h         ♣☺↓☺z☺|☺D☺B☺
 R u s s i a n       0♦1♦2♦3♦4♦5♦6♦  M♦N♦O♦
 C J K               `O}Y
         1 file(s) copied.

Z faktu, że copy CON nie wyświetla poprawnie Unicode, możemy wnioskować, że polecenie type ma logikę wykrywania BOM UTF-16LE w uruchom plik i użyj specjalnych interfejsów API systemu Windows, aby go wydrukować.

Możemy to zobaczyć otwierając cmd.exe w debuggerze, gdy przejdzie do type out a file:

Po otwarciu type plik sprawdza, czy BOM 0xFEFF - czyli bajty 0xFF 0xFE in little-endian-and if there is such a BOM, type sets an wewnętrzna fOutputUnicode flaga. Ta flaga jest sprawdzana później, aby zdecydować czy zadzwonić WriteConsoleW.

Ale to jedyny sposób, aby uzyskać type wyjście Unicode, i tylko dla plików które mają Bom i są w UTF-16LE. Dla wszystkich innych plików oraz dla programów które nie mają specjalnego kodu do obsługi wyjścia konsoli, Twoje pliki będą interpretowane zgodnie z aktualną stroną kodową i prawdopodobnie pojawi się jako bełkot.

Możesz emulować jak type wyprowadza Unicode do konsoli w swoich własnych programach jak tak:

#include <stdio.h>
#define UNICODE
#include <windows.h>

static LPCSTR lpcsTest =
    "ASCII     abcde xyz\n"
    "German    äöü ÄÖÜ ß\n"
    "Polish    ąęźżńł\n"
    "Russian   абвгдеж эюя\n"
    "CJK       你好\n";

int main() {
    int n;
    wchar_t buf[1024];

    HANDLE hConsole = GetStdHandle(STD_OUTPUT_HANDLE);

    n = MultiByteToWideChar(CP_UTF8, 0,
            lpcsTest, strlen(lpcsTest),
            buf, sizeof(buf));

    WriteConsole(hConsole, buf, n, &n, NULL);

    return 0;
}

Ten program działa do drukowania Unicode na konsoli Windows przy użyciu Domyślna strona kodowa.

Dla przykładowego programu Java, możemy uzyskać trochę poprawnego wyjścia przez w przeciwieństwie do poprzednich wersji, nie jest to możliwe.]}

Z:\andrew\projects\sx\1259084>chcp 65001
Active code page: 65001

Z:\andrew\projects\sx\1259084>java Foo
== UTF-8
= no bom
ASCII     abcde xyz
German    äöü ÄÖÜ ß
Polish    ąęźżńł
Russian   абвгдеж эюя
CJK       你好
ж эюя
CJK       你好
 你好
好
�
= bom
ASCII     abcde xyz
German    äöü ÄÖÜ ß
Polish    ąęźżńł
Russian   абвгдеж эюя
CJK       你好
еж эюя
CJK       你好
  你好
好
�
== UTF-16LE
= no bom
A S C I I           a b c d e   x y z
…

Jednak program w C, który ustawia Unicode UTF-8 codepage:

#include <stdio.h>
#include <windows.h>

int main() {
    int c, n;
    UINT oldCodePage;
    char buf[1024];

    oldCodePage = GetConsoleOutputCP();
    if (!SetConsoleOutputCP(65001)) {
        printf("error\n");
    }

    freopen("uc-test-UTF-8-nobom.txt", "rb", stdin);
    n = fread(buf, sizeof(buf[0]), sizeof(buf), stdin);
    fwrite(buf, sizeof(buf[0]), n, stdout);

    SetConsoleOutputCP(oldCodePage);

    return 0;
}

Ma poprawne wyjście:

Z:\andrew\projects\sx\1259084>.\test
ASCII     abcde xyz
German    äöü ÄÖÜ ß
Polish    ąęźżńł
Russian   абвгдеж эюя
CJK       你好

Morał tej historii?

• Można drukować pliki UTF-16LE z BOM niezależnie od bieżącej strony kodowej]}
• programy Win32 można zaprogramować tak, aby wyjście Unicode do konsoli, za pomocą WriteConsoleW.
• inne programy, które ustawiają stronę kodową i odpowiednio dostosowują kodowanie wyjściowe, mogą drukować Unicode na konsoli, niezależnie od tego, jaka była strona kodowa, gdy program rozpoczęte
• za wszystko inne będziesz musiał zadzierać chcp, i prawdopodobnie nadal będzie dziwnie wyjście.