Bardzo stare pytanie wiem ale...

Ramka danych pandy wydaje się być idealną opcją tutaj.

Http://pandas.pydata.org/pandas-docs/version/0.13.1/generated/pandas.DataFrame.html

Z blurb

Rozmiar dwuwymiarowy-zmienne, potencjalnie niejednorodne dane tabelaryczne struktura z oznaczonymi osiami(wiersze i kolumny). Operacje arytmetyczne wyrównaj etykiety wierszy i kolumn. Można uznać za dict-like pojemnik na serie obiektów. Podstawowa struktura danych pand

Http://pandas.pydata.org/

Ja osobiście użyłbym listy wierszy. Ponieważ dane dla każdego wiersza są zawsze w tej samej kolejności, można łatwo sortować według dowolnej kolumny, po prostu uzyskując dostęp do tego elementu w każdej z list. Możesz również łatwo liczyć na podstawie określonej kolumny na każdej liście, a także wyszukiwać. Jest w zasadzie tak blisko, jak do tablicy 2-D.

Naprawdę jedyną wadą jest to, że musisz wiedzieć, w jakiej kolejności są dane, a jeśli zmienisz tę kolejność, będziesz musisz zmienić procedury wyszukiwania / sortowania, aby pasowały.

Kolejną rzeczą, którą możesz zrobić, to mieć listę słowników.

rows = []
rows.append({"ID":"1", "name":"Cat", "year":"1998", "priority":"1"})

Pozwoli to uniknąć konieczności znajomości kolejności parametrów, dzięki czemu można przejrzeć każde pole " rok " na liście.

Mają klasę tabeli, której wiersze są listą obiektów dict lub better row

W tabeli nie dodajemy bezpośrednio wierszy, ale mamy metodę, która aktualizuje kilka map np. dla nazwy jeśli nie dodajesz wierszy w kolejności lub id nie są kolejne, możesz również mieć idMap np.

class Table(object):
    def __init__(self):
        self.rows =  []# list of row objects, we assume if order of id
        self.nameMap = {} # for faster direct lookup for row by name

    def addRow(self, row):
        self.rows.append(row)
        self.nameMap[row['name']] = row

    def getRow(self, name):
        return self.nameMap[name]


table = Table()
table.addRow({'ID':1,'name':'a'})

Po pierwsze, biorąc pod uwagę, że masz złożony scenariusz pobierania danych, jesteś pewien, że nawet SQLite jest przesadą?

Będziesz miał Ad hoc, nieformalnie określoną, pozbawioną błędów, powolną implementację połowy SQLite, parafrazując dziesiątą regułę Greenspuna .

To powiedziawszy, masz rację mówiąc, że wybór pojedynczej struktury danych wpłynie na jedno lub więcej przeszukiwania, sortowania lub liczenia, więc jeśli wydajność jest najważniejsza, a dane są stałe, możesz rozważyć posiadające więcej niż jedną strukturę do różnych celów.

Przede wszystkim zmierz, które operacje będą bardziej powszechne i zdecyduj, która struktura będzie kosztować mniej.

Osobiscie napisalem lib dla calkowicie tego, ze calkiem niedawno nazywa sie BD_XML

Jako jego najbardziej fundamentalny powód istnienia służy jako sposób przesyłania danych tam iz powrotem między plikami XML i bazami danych SQL.

Jest napisany po hiszpańsku (jeśli ma to znaczenie w języku programowania), ale jest bardzo prosty.

from BD_XML import Tabla

Definiuje obiekt o nazwie Tabla( Table), można go wytworzyć z nazwą identyfikującą wstępnie utworzony obiekt połączenia Pep-246 kompatybilny interfejs bazy danych.

Table = Tabla('Animals') 

Następnie należy dodać kolumny za pomocą metody agregar_columna (add_column), która może przyjmować różne argumenty słowa kluczowego:

• campo (pole): Nazwa pola

• tipo (type): Typ przechowywanych danych, może to być "varchar" i "double" lub nazwa obiektów Pythona, jeśli nie jesteś zainteresowany eksportem do bazy danych.

• defecto (default): Ustaw domyślną wartość dla kolumny jeśli nie ma żadnego po dodaniu wiersza

• Istnieją inne 3, ale są tam tylko dla tings bazy danych i nie faktycznie funkcjonalne

Jak:

Table.agregar_columna(campo='Name', tipo='str')
Table.agregar_columna(campo='Year', tipo='date')
#declaring it date, time, datetime or timestamp is important for being able to store it as a time object and not only as a number, But you can always put it as a int if you don't care for dates
Table.agregar_columna(campo='Priority', tipo='int')

Następnie dodajesz wiersze za pomocą operatora + = (lub+, jeśli chcesz utworzyć kopię z dodatkowym wierszem)

Table += ('Cat', date(1998,1,1), 1)
Table += {'Year':date(1998,1,1), 'Priority':2, Name:'Fish'}
#…
#The condition for adding is that is a container accessible with either the column name or the position of the column in the table

Następnie możesz wygenerować XML i zapisać go do pliku z exportar_XML (export_XML) i escribir_XML (write_xml):

file = os.path.abspath(os.path.join(os.path.dirname(__file__), 'Animals.xml'))
Table.exportar_xml()
Table.escribir_xml(file)

A następnie zaimportować go z powrotem za pomocą importar_XML (import_XML) z nazwą pliku i wskazanie, że używasz pliku, a nie literalnego łańcucha znaków:

Table.importar_xml(file, tipo='archivo')
#archivo means file

Zaawansowane

W ten sposób można używać obiektu Tabla w sposób SQL.

#UPDATE <Table> SET Name = CONCAT(Name,' ',Priority), Priority = NULL WHERE id = 2
for row in Table:
    if row['id'] == 2:
        row['Name'] += ' ' + row['Priority']
        row['Priority'] = None
print(Table)

#DELETE FROM <Table> WHERE MOD(id,2) = 0 LIMIT 1
n = 0
nmax = 1
for row in Table:
    if row['id'] % 2 == 0:
        del Table[row]
        n += 1
        if n >= nmax: break
print(Table)

Te przykłady zakładają kolumnę o nazwie "id" ale można zastąpić wiersz szerokości.pos dla Twojego przykładu.

if row.pos == 2:

Plik można pobrać ze strony:

Https://bitbucket.org/WolfangT/librerias