Usuń znaki unicode z textfiles-sed, innych metod bash/shell

Question

Usuń znaki unicode z textfiles-sed, innych metod bash/shell

Jak usunąć znaki unicode z kilku plików tekstowych na terminalu? Próbowałem tego ale nie wyszło:

sed 'g/\u'U+200E'//' -i *.txt

Muszę usunąć te unicody z plików tekstowych

U+0091 - sort of weird "control" space
U+0092 - same sort of weird "control" space
A0 - non-space break
U+200E - left to right mark

37

bash sed unicode text-files spaces

Author: alvas, 2011-12-19

Source

5 answers

Wyczyść wszystkie znaki spoza ascii z file.txt

$ iconv -c -f utf-8 -t ascii file.txt
$ strings file.txt

51

Author: kev,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-12-19 14:12:31

Dla kodowania utf-8 Unicode, możesz użyć tego wyrażenia regularnego dla sed:

sed 's/\xc2\x91\|\xc2\x92\|\xc2\xa0\|\xe2\x80\x8e//'

22

Author: choroba,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-12-19 14:26:23

Użyj iconv:

iconv -f utf8 -t ascii//TRANSLIT < /tmp/utf8_input.txt > /tmp/ascii_output.txt

To przełoży znaki takie jak " Š " na " S "(najbardziej podobne).

12

Author: Michał Šrajer,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-12-19 14:05:17

Konwersja plików Swift z utf-8 do ascii:

for file in *.swift; do
    iconv -f utf-8 -t ascii "$file" > "$file".tmp
    mv -f "$file".tmp "$file"
done

Szybkie automatyczne uzupełnianie nie działa w Xcode6-Beta

2

Author: ma11hew28,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-05-23 11:46:58

score 39 · Accepted Answer

Jeśli chcesz usunąć tylko określone znaki i masz Pythona, Możesz:

CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")')
sed 's/['"$CHARS"']//g' < /tmp/utf8_input.txt > /tmp/ascii_output.txt

39

Author: Michał Šrajer,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-12-19 14:19:43