Radzenie sobie z przecinkami w pliku CSV

Dla roku 2017, csv jest w pełni określony - RFC 4180.

Jest to bardzo powszechna specyfikacja i jest w całości objęta wieloma bibliotekami (przykład ).

Po prostu użyj dowolnej łatwo dostępnej biblioteki csv - czyli RFC 4180.

Istnieje specyfikacja formatu CSV i jak obsługiwać przecinki:

Pola zawierające podziały wierszy (CRLF), podwójne cudzysłowy i przecinki powinny być zamknięte w podwójne cytaty.

^{http://tools.ietf.org/html/rfc4180}

Więc, aby mieć wartości foo i bar,baz, robisz to:

foo,"bar,baz"

Kolejny ważny wymóg do rozważenia (również ze spec):

Jeśli podwójne cudzysłowy są używane do zamykania pól, to podwójny cudzysłów pojawiające się wewnątrz pola muszą być poprzedzone przez kolejny podwójny cytat. Na przykład:

"aaa","b""bb","ccc"

Format CSV używa przecinków do oddzielania wartości, wartości zawierające zwroty karetki, linijki, przecinki lub podwójne cudzysłowy są otoczone podwójnymi cudzysłowami. Wartości zawierające podwójne cudzysłowy są cytowane, a każdy literalny cytat jest unikany przez bezpośrednio poprzedzający cytat: na przykład 3 wartości:

test
list, of, items
"go" he said

Będzie zakodowane jako:

test
"list, of, items"
"""go"" he said"

Każde pole może być cytowane, ale tylko pola zawierające przecinki, CR/NL lub cudzysłowy muszą być cytowane.

Nie ma prawdziwego standard dla formatu CSV, ale prawie wszystkie aplikacje postępują zgodnie z konwencjami udokumentowanymi proszę.. RFC, o którym wspomniano w innym miejscu, nie jest standardem dla CSV, jest to RFC do używania CSV w MIME i zawiera pewne niekonwencjonalne i niepotrzebne ograniczenia, które czynią go bezużytecznym poza MIME.

Wiele modułów CSV, które widziałem, nie mieści się w tym, że wiele linii można zakodować w jednym polu, co oznacza, że nie można Załóżmy, że każda linia jest osobnym rekordem, albo musisz nie zezwalać na nowe linie w danych, albo być przygotowanym do obsługi tego.

Umieść podwójne cudzysłowy wokół ciągów. To jest ogólnie to, co robi Excel .

Ala Eli,

Unikasz podwójnego cytatu jako dwóch podwójne cytaty. Np. "test1","foo""bar", "test2"

Możesz umieścić podwójne cudzysłowy wokół pól. Nie podoba mi się to podejście, ponieważ dodaje kolejny znak specjalny (podwójny cytat). Po prostu zdefiniuj znak escape (Zwykle odwrotny ukośnik) i używaj go wszędzie tam, gdzie potrzebujesz czegoś uciec:

data,more data,more data\, even,yet more

Nie musisz próbować dopasowywać cudzysłowów i masz mniej WYJĄTKÓW do analizy. Upraszcza to również Twój kod.

Dzięki nuget istnieje biblioteka do obsługi praktycznie każdego dobrze uformowanego pliku CSV (. net) - CsvHelper

Przykład mapowania do klasy:

var csv = new CsvReader( textReader );
var records = csv.GetRecords<MyClass>();

Przykład odczytu poszczególnych pól:

var csv = new CsvReader( textReader );
while( csv.Read() )
{
    var intField = csv.GetField<int>( 0 );
    var stringField = csv.GetField<string>( 1 );
    var boolField = csv.GetField<bool>( "HeaderName" );
}

Pozwalając klientowi sterować formatem pliku:
, jest standardowym ogranicznikiem pól, " jest standardową wartością używaną do usuwania pól zawierających ogranicznik, cudzysłów lub zakończenie linii.

Do użycia (na przykład) # for fields and ' for escape:

var csv = new CsvReader( textReader );
csv.Configuration.Delimiter = "#";
csv.Configuration.Quote = ''';
// read the file however meets your needs

Więcej Dokumentacji

Jeśli jesteś na * Nix-system, masz dostęp do sed i może być jeden lub więcej niechcianych przecinków tylko w określonym polu w pliku CSV możesz użyć poniższego jednowiersza, aby zamknąć je w ", Jak proponuje RFC4180 Sekcja 2:

sed -r 's/([^,]*,[^,]*,[^,]*,)(.*)(,.*,.*)/\1"\2"\3/' inputfile

W zależności od tego, w jakim polu mogą znajdować się niechciane przecinki, musisz zmienić / rozszerzyć grupy przechwytywania regex (i substytucji).
Przykład powyżej znajduje się czwarte pole (z sześciu) w cudzysłowie.

W połączeniu z --in-place-opcja Możesz zastosować te zmiany bezpośrednio do pliku.

Aby "zbudować" odpowiedni regex, należy przestrzegać prostej zasady:

1. dla każdego pola w pliku CSV, które pojawia się przed pole z niechcianymi przecinkami wpisujesz jeden [^,]*, i łączysz je wszystkie w grupę przechwytywania.
2. Dla pole zawierające niechciane przecinki, które wpisujesz (.*).
3. dla każdego pola po pole z niechcianymi przecinkami wpisujesz jeden ,.* i łączysz je w grupę przechwytywania.

Oto krótki przegląd różnych możliwych wyrażeń regularnych/podstawień w zależności od konkretnego pola. Jeśli nie podano, substytucją jest \1"\2"\3.

([^,]*)(,.*)                     #first field, regex
"\1"\2                           #first field, substitution

(.*,)([^,]*)                     #last field, regex
\1"\2"                           #last field, substitution


([^,]*,)(.*)(,.*,.*,.*)          #second field (out of five fields)
([^,]*,[^,]*,)(.*)(,.*)          #third field (out of four fields)
([^,]*,[^,]*,[^,]*,)(.*)(,.*,.*) #fourth field (out of six fields)

Jeśli chcesz usunąć niechciane przecinki za pomocą sed zamiast zamykać je cudzysłowami zobacz tę odpowiedź .

Jak wspomniałem w komentarzu do odpowiedzi harpo, jego rozwiązanie jest dobre i działa w większości przypadków, Jednak w niektórych scenariuszach, gdy przecinki jako bezpośrednio sąsiadujące ze sobą, nie rozdzielają się na przecinki.

Jest to spowodowane tym, że łańcuch Regex zachowuje się nieoczekiwanie jak łańcuch vertabim. W celu poprawnego zachowania, wszystkie znaki " w łańcuchu regex muszą być unikane ręcznie bez użycia vertabim escape.

Ie. Regex powinien być taki przy użyciu instrukcji escapes:

",(?=(?:[^\"\"]*\"\"[^\"\"]*\"\")*(?![^\"\"]*\"\"))"

Co przekłada się na ",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))"

Podczas używania ciągu vertabim @",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))" zachowuje się on następująco, jak widać po debugowaniu wyrażenia regularnego:

",(?=(?:[^"]*"[^"]*")*(?![^"]*"))"

Dodałem do Csvreadera mały opcjonalny failsafe, aby powiadomić cię, jeśli wystąpi ten błąd (jeśli masz wcześniej znaną liczbę kolumn):

if (_expectedDataLength > 0 && values.Length != _expectedDataLength) 
throw new DataLengthException(string.Format("Expected {0} columns when splitting csv, got {1}", _expectedDataLength, values.Length));

Można to wstrzyknąć za pomocą konstruktora:

public CsvReader(string fileName, int expectedDataLength = 0) : this(new FileStream(fileName, FileMode.Open, FileAccess.Read))
{
    _expectedDataLength = expectedDataLength;
}

Dodaj odniesienie do Microsoft.VisualBasic (tak, mówi VisualBasic, ale działa w C# równie dobrze-pamiętaj, że na końcu to wszystko jest po prostu IL).

Użyj klasy Microsoft.VisualBasic.FileIO.TextFieldParser do analizy pliku CSV oto przykładowy kod:

 Dim parser As TextFieldParser = New TextFieldParser("C:\mar0112.csv")
 parser.TextFieldType = FieldType.Delimited
 parser.SetDelimiters(",")      

   While Not parser.EndOfData         
      'Processing row             
      Dim fields() As String = parser.ReadFields         
      For Each field As String In fields             
         'TODO: Process field                   

      Next      
      parser.Close()
   End While 

Możesz użyć alternatywnych "ograniczników", takich jak"; "Lub"|", ale najprostszym może być cytowanie, które jest obsługiwane przez większość (przyzwoitych) bibliotek CSV i większość przyzwoitych arkuszy kalkulacyjnych.

Dla więcej o ogranicznikach CSV i specyfikacji standardowego formatu opisywania ograniczników i cytowania znajdziesz na tej stronie

Jeśli masz ochotę na odkrycie koła na nowo, poniższe rozwiązania mogą Ci pomóc:

public static IEnumerable<string> SplitCSV(string line)
{
    var s = new StringBuilder();
    bool escaped = false, inQuotes = false;
    foreach (char c in line)
    {
        if (c == ',' && !inQuotes)
        {
            yield return s.ToString();
            s.Clear();
        }
        else if (c == '\\' && !escaped)
        {
            escaped = true;
        }
        else if (c == '"' && !escaped)
        {
            inQuotes = !inQuotes;
        }
        else
        {
            escaped = false;
            s.Append(c);
        }
    }
    yield return s.ToString();
}

W Europie mamy ten problem musi wcześniej niż to pytanie. W Europie używamy przecinka do przecinka dziesiętnego. Zobacz te liczby poniżej:

| American      | Europe        |
| ------------- | ------------- |
| 0.5           | 0,5           |
| 3.14159265359 | 3,14159265359 |
| 17.54         | 17,54         |
| 175,186.15    | 175.186,15    |

Nie jest więc możliwe użycie separatora przecinków dla plików CSV. Z tego powodu pliki CSV w Europie są oddzielone średnikiem (;).

Programy takie jak Microsoft Excel mogą odczytywać pliki średnikiem i można przełączyć się z separatora. Możesz nawet użyć tab (\t) jako separatora. Zobacz też ta odpowiedź od Użytkownika .

Jeśli jesteś zainteresowany bardziej edukacyjnym ćwiczeniem na temat parsowania plików w ogóle( używając CSV jako przykładu), możesz sprawdzić Ten artykuł autorstwa Juliana Bucknalla. Podoba mi się ten artykuł, ponieważ rozkłada rzeczy na znacznie mniejsze problemy, które są znacznie mniej nie do pokonania. Najpierw tworzysz gramatykę, a gdy już masz dobrą gramatykę, jest to stosunkowo łatwy i metodyczny proces konwersji gramatyki na kod.

Artykuł używa C# i ma link na dole do Pobierz kod.

Oto zgrabne obejście:

Możesz użyć greckiego znaku dolnej cyfry zamiast (U + 0375)

Wygląda tak

Korzystanie z tej metody oszczędza również wiele zasobów...

Po prostu użyj SoftCircuits.CsvParser on NuGet. Zajmie się wszystkimi tymi szczegółami i sprawnie obsłuży bardzo duże pliki. W razie potrzeby może nawet importować / eksportować obiekty, mapując kolumny do Właściwości obiektu. Ponadto, moje testy wykazały, że średnio prawie 4 razy szybciej niż popularny CsvHelper.

Ponieważ chodzi o ogólne praktyki zacznijmy od zasad kciuka:

1. Nie używaj CSV, zamiast tego użyj XML z biblioteką do odczytu i zapisu pliku xml.

2. Jeśli musisz użyć CSV. Zrób to poprawnie i użyj darmowej biblioteki do analizy i przechowywania plików CSV.

Aby uzasadnić 1), Większość parserów CSV nie jest świadoma kodowania, więc jeśli nie masz do czynienia z US-ASCII, prosisz o kłopoty. Na przykład excel 2002 przechowuje plik CSV w kodowaniu lokalnym bez żadnej uwagi o kodowaniu. Standard CSV nie jest powszechnie przyjęty :(. Z drugiej strony standard xml jest dobrze przyjęty i całkiem dobrze radzi sobie z kodowaniem.

Aby uzasadnić 2), Istnieje mnóstwo parserów csv dla prawie wszystkich języków, więc nie ma potrzeby odkrywania koła na nowo, nawet jeśli rozwiązania wyglądają dość prosto.

Aby wymienić kilka:

• Dla Pythona użyj build in CSV module

• Dla Perl check CPAN i Text:: CSV

• Dla php użyj build in fgetcsv / fputcsv functions

• For java check library

Naprawdę nie ma potrzeby implementowania tego ręcznie, jeśli nie masz zamiaru analizować go na urządzeniu wbudowanym.

Możesz odczytać plik csv w ten sposób.

To sprawia, że korzystanie z podziałów i dba o przestrzenie.

ArrayList List = new ArrayList();
static ServerSocket Server;
static Socket socket;
static ArrayList<Object> list = new ArrayList<Object>();


public static void ReadFromXcel() throws FileNotFoundException
{   
    File f = new File("Book.csv");
    Scanner in = new Scanner(f);
    int count  =0;
    String[] date;
    String[] name;
    String[] Temp = new String[10];
    String[] Temp2 = new String[10];
    String[] numbers;
    ArrayList<String[]> List = new ArrayList<String[]>();
    HashMap m = new HashMap();

         in.nextLine();
         date = in.nextLine().split(",");
         name = in.nextLine().split(",");
         numbers = in.nextLine().split(",");
         while(in.hasNext())
         {
             String[] one = in.nextLine().split(",");
             List.add(one);
         }
         int xount = 0;
         //Making sure the lines don't start with a blank
         for(int y = 0; y<= date.length-1; y++)
         {
             if(!date[y].equals(""))
             {   
                 Temp[xount] = date[y];
                 Temp2[xount] = name[y];
                 xount++;
             }
         }

         date = Temp;
         name =Temp2;
         int counter = 0;
         while(counter < List.size())
         {
             String[] list = List.get(counter);
             String sNo = list[0];
             String Surname = list[1];
             String Name = list[2];
             for(int x = 3; x < list.length; x++)
             {           
                 m.put(numbers[x], list[x]);
             }
            Object newOne = new newOne(sNo, Name, Surname, m, false);
             StudentList.add(s);
             System.out.println(s.sNo);
             counter++;
         }

Po pierwsze, zadajmy sobie pytanie: "dlaczego czujemy potrzebę odmiennego obchodzenia się z przecinkami w plikach CSV?"

Dla mnie odpowiedź brzmi: "ponieważ gdy eksportuję dane do pliku CSV, przecinki w polu znikają, a moje pole zostaje rozdzielone na wiele pól, w których przecinki pojawiają się w oryginalnych danych."(Że to dlatego, że przecinek jest znakiem separatora pola CSV.)

W zależności od sytuacji Semi dwukropki mogą być również używane jako separatory pól CSV.

Given my wymagania, mogę użyć znaku, np. pojedynczy cudzysłów low-9, który wygląda jak przecinek.

Oto jak możesz to zrobić w Go:

// Replace special CSV characters with single low-9 quotation mark
func Scrub(a interface{}) string {
    s := fmt.Sprint(a)
    s = strings.Replace(s, ",", "‚", -1)
    s = strings.Replace(s, ";", "‚", -1)
    return s
}

Drugi znak przecinka w funkcji Replace to decimal 8218.

Pamiętaj, że jeśli masz klientów, którzy mogą mieć czytniki tekstu tylko ascii, to ten znak decima 8218 nie będzie wyglądał jak przecinek. Jeśli tak jest w Twoim przypadku, to polecam otaczanie pola przecinkiem (lub średnikiem) z podwójnymi cudzysłowami na RFC 4128: https://tools.ietf.org/html/rfc4180

Zazwyczaj koduję URL pola, które mogą zawierać przecinki lub znaki specjalne. A następnie dekoduj go, gdy jest używany/wyświetlany w dowolnym medium wizualnym.

(przecinek staje się %2c)

Każdy język powinien mieć metody kodowania i dekodowania łańcuchów url.

Np. w Javie

URLEncoder.encode(myString,"UTF-8"); //to encode
URLDecoder.decode(myEncodedstring, "UTF-8"); //to decode

Wiem, że jest to bardzo ogólne rozwiązanie i może nie być idealne dla sytuacji, w której użytkownik chce ręcznie przeglądać zawartość pliku csv.

Zwykle robię to w plikach CSV procedury parsowania. Załóżmy, że zmienna 'line' jest jednym wierszem w pliku CSV, a wszystkie wartości kolumn są zamknięte w podwójnych cudzysłowach. Po wykonaniu poniższych dwóch linii otrzymasz kolumny CSV w kolekcji 'values'.

// The below two lines will split the columns as well as trim the DBOULE QUOTES around values but NOT within them
    string trimmedLine = line.Trim(new char[] { '\"' });
    List<string> values = trimmedLine.Split(new string[] { "\",\"" }, StringSplitOptions.None).ToList();

Najprostszym rozwiązaniem, jakie znalazłem, jest to, którego używa LibreOffice:

1. Zastąp wszystkie literały " przez ”
2. umieść podwójne cudzysłowy wokół twojego ciągu

Możesz również użyć tego, którego używa Excel:

1. Zastąp wszystkie literały " przez ""
2. umieść podwójne cudzysłowy wokół twojego ciągu

Zwróć uwagę, że inne osoby zalecają wykonanie tylko kroku 2 powyżej, ale to nie działa z liniami, po których następuje " ,, jak w Plik CSV, w którym chcesz mieć pojedynczą kolumnę z łańcuchem hello",world, jak w pliku CSV:

"hello",world"

Który jest interpretowany jako wiersz z dwiema kolumnami: hello i world"

    public static IEnumerable<string> LineSplitter(this string line, char 
         separator, char skip = '"')
    {
        var fieldStart = 0;
        for (var i = 0; i < line.Length; i++)
        {
            if (line[i] == separator)
            {
                yield return line.Substring(fieldStart, i - fieldStart);
                fieldStart = i + 1;
            }
            else if (i == line.Length - 1)
            {
                yield return line.Substring(fieldStart, i - fieldStart + 1);
                fieldStart = i + 1;
            }

            if (line[i] == '"')
                for (i++; i < line.Length && line[i] != skip; i++) { }
        }

        if (line[line.Length - 1] == separator)
        {
            yield return string.Empty;
        }
    }

Użyłem Biblioteki Csvreader, ale korzystając z niej otrzymałem dane eksplodując z przecinka (,) w wartości kolumny.

Więc jeśli chcesz wstawić dane pliku CSV, który zawiera przecinek (,) w większości wartości kolumn, możesz użyć poniższej funkcji. Autor link = > https://gist.github.com/jaywilliams/385876

function csv_to_array($filename='', $delimiter=',')
{
    if(!file_exists($filename) || !is_readable($filename))
        return FALSE;

    $header = NULL;
    $data = array();
    if (($handle = fopen($filename, 'r')) !== FALSE)
    {
        while (($row = fgetcsv($handle, 1000, $delimiter)) !== FALSE)
        {
            if(!$header)
                $header = $row;
            else
                $data[] = array_combine($header, $row);
        }
        fclose($handle);
    }
    return $data;
}

Użyłem biblioteki papaParse, aby parować plik CSV i mieć pary klucz-wartość (klucz/nagłówek/pierwszy wiersz wartości pliku CSV).

Oto przykład, którego używam:

Https://codesandbox.io/embed/llqmrp96pm

MA manekina.plik csv zawiera demo parsowania CSV.

Użyłem go w ReactJS, choć jest łatwy i prosty do replikowania w aplikacji napisanej dowolnym językiem.

Przykład może pomóc w pokazaniu, jak przecinki mogą być wyświetlane w a .plik csv. Utwórz prosty plik tekstowy w następujący sposób:

Zapisz ten plik tekstowy jako plik tekstowy z sufiksem".csv " i otwórz go w programie Excel 2000 z systemu Windows 10.

Aa, bb, cc, d;d "W prezentacji arkusza kalkulacyjnego, poniższy wiersz powinien wyglądać jak powyższy wiersz, z tym, że poniżej pokazuje wyświetlany przecinek zamiast średnika między d." aa, bb, cc, "d, d", to działa nawet w Excelu

Aa, bb, cc," d, d", to działa nawet w Excelu 2000 aa, bb, cc, "d, d", to działa nawet w Excelu 2000 aa,bb, cc,"d, d", to działa nawet w Excelu 2000

Aa, bb, cc, "d, d", to nie działa w Excelu 2000 ze względu na spację 1. cytat aa, bb, cc, "d, d", to nie w Excelu 2000 ze względu na spację belore 1. cytat w Excelu 2000 nie jest to możliwe ze względu na spację belore 1st quote

Aa, bb, cc, "d, d", działa to nawet w Excelu 2000, nawet ze spacjami przed i po 2. cytacie. aa, bb, cc, " d, d " Działa to nawet w Excelu 2000 nawet ze spacjami przed i po 2. cytacie. aa, bb, cc, "d, d", działa to nawet w Excelu 2000, nawet ze spacjami przed i po 2. cytacie.

Reguła: jeśli chcesz wyświetlić przecinek w komórce (polu) a .plik csv: "Zacznij i zakończ pole podwójnym cudzysłowem, ale unikaj spacji przed pierwszym cytatem"

Myślę, że najprostszym rozwiązaniem tego problemu jest, aby Klient otworzył plik csv w Excelu, a następnie ctrl + R, aby zastąpić cały przecinek dowolnym identyfikatorem. Jest to bardzo łatwe dla klienta i wymaga tylko jednej zmiany w kodzie, aby odczytać wybrany ogranicznik.

Użyj znaku tabulacji (\t), aby oddzielić pola.