Myślę, że najszybszym rozwiązaniem jest

select * from table where rand() <= .3

Oto dlaczego myślę, że to powinno zadziałać.

• utworzy losową liczbę dla każdego wiersza. Liczba wynosi od 0 do 1
• ocenia, czy wyświetlać ten wiersz, jeśli liczba wygenerowana jest w przedziale od 0 do .3 (30%).

Zakłada to, że rand() generuje liczby w równomiernym rozkładzie. Jest to najszybszy sposób, aby to zrobić.

Widziałem, że ktoś polecił takie rozwiązanie i dostał zestrzelony bez dowodu.. oto, co bym na to powiedział -

• jest to O(n), ale nie jest wymagane sortowanie, więc jest szybsze niż O (n)

• Mysql jest bardzo zdolny do generowania liczb losowych dla każdego wiersza. Spróbuj tego -

  Select rand() from INFORMATION_SCHEMA.TABLES limit 10;

Ponieważ bazą danych jest mySQL, jest to właściwe rozwiązanie.

Szybciej niż ORDER BY RAND ()

Przetestowałem tę metodę, aby była znacznie szybsza niż ORDER BY RAND(), stąd działa w czasie O (n) i robi to imponująco szybko.

Z http://technet.microsoft.com/en-us/library/ms189108%28v=sql.105%29.aspx :

Nie-MSSQL wersja -- nie testowałem tego

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= RAND()

MSSQL version:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), SalesOrderID) & 0x7fffffff AS float) / CAST (0x7fffffff AS int)

Spowoduje wybranie ~1% rekordów. Więc jeśli potrzebujesz dokładnego # procent lub rekordów do wyboru, oszacuj swoje procent z pewnym marginesem bezpieczeństwa, a następnie losowo wyrywa nadmiar rekordów z wynikowego zestawu, używając droższej metody ORDER BY RAND().

Jeszcze Szybciej

Udało mi się poprawić tę metodę jeszcze bardziej, ponieważ miałem dobrze znany indeksowany zakres wartości kolumn.

Na przykład, jeśli masz indeksowaną kolumnę z równomiernie rozłożonymi liczbami całkowitymi [0..max], możesz użyć tego, aby losowo wybrać N małych interwałów. Zrób to dynamicznie w programie, aby uzyskać inny zestaw dla każdego Uruchom zapytanie. Ten podzbiór będzie O (N) , który może być o wiele rzędów wielkości mniejszy niż pełny zestaw danych.

W moim teście skróciłem czas potrzebny na uzyskanie 20 (z 20 milionów) przykładowych rekordów z 3 min używając ORDER BY RAND () do 0.0 sekund!

Najwyraźniej w niektórych wersjach SQL istnieje polecenie TABLESAMPLE, ale nie we wszystkich implementacjach SQL (zwłaszcza Redshift).

Http://technet.microsoft.com/en-us/library/ms189108(v=sql. 105). aspx

Po prostu użyj

WHERE RAND() < 0.1 

Aby uzyskać 10% rekordów lub

WHERE RAND() < 0.01 

Aby uzyskać 1% rekordów itp.

Zaczynając od obserwacji, że możemy pobrać identyfikatory tabeli (np. liczba 5) na podstawie zbioru:

select *
from table_name
where _id in (4, 1, 2, 5, 3)

Możemy dojść do wyniku, że gdybyśmy mogli wygenerować łańcuch "(4, 1, 2, 5, 3)", to mielibyśmy bardziej efektywny sposób niż RAND().

Na przykład w języku Java:

ArrayList<Integer> indices = new ArrayList<Integer>(rowsCount);
for (int i = 0; i < rowsCount; i++) {
    indices.add(i);
}
Collections.shuffle(indices);
String inClause = indices.toString().replace('[', '(').replace(']', ')');

Jeśli identyfikatory mają luki, to początkowa arraylist {[4] } jest wynikiem zapytania sql o identyfikatory.

Chcę podkreślić, że wszystkie te rozwiązania wydają się próbkować bez wymiany. Wybranie górnych wierszy K z losowego sortowania lub połączenie z tabelą zawierającą unikalne klucze w losowej kolejności spowoduje wygenerowanie losowej próbki bez wymiany.

Jeśli chcesz, aby Twoja próbka była niezależna, musisz pobrać próbkę z wymianą. Zobacz pytanie 25451034 Aby uzyskać przykład jak to zrobić używając JOIN w sposób podobny do rozwiązania user12861. Rozwiązaniem jest napisany dla T-SQL, ale koncepcja działa w każdym SQL db.

Jeśli potrzebujesz dokładnie m wierszy, realistycznie wygenerujesz swój podzbiór ID poza SQL. Większość metod wymaga w pewnym momencie wybrania pozycji "nth" , a tabele SQL naprawdę nie są tablicami. Założenie, że klucze są kolejno po sobie, aby po prostu połączyć losowe wejścia między 1 A liczbą, jest również trudne do spełnienia - MySQL na przykład nie obsługuje go natywnie, a warunki blokady są... tricky.

Oto O(max(n, m lg n)) - Czas, O(n) - przestrzeń rozwiązanie przy założeniu zwykłego klucza BTREE:

1. pobieranie wszystkich wartości kolumny key tabeli danych w dowolnej kolejności do tablicy w ulubionym języku skryptowym w O(n)
2. wykonajFisher-Yates shuffle , zatrzymując się po m swapach i wyodrębnij subarray [0:m-1] w ϴ(m)
3. "Join" the subarray with the original dataset (np. SELECT ... WHERE id IN (<subarray>)) in O(m lg n)

Każda metoda, która generuje losowy podzbiór poza SQL musi mieć co najmniej to złożoność. Połączenie nie może być szybsze niż O(m lg n) z BTREE (więc O(m) twierdzenia są fantazją dla większości silników), a shuffle jest ograniczone poniżej n i m lg n i nie wpływa na zachowanie asymptotyczne.

W Pseudokodzie Pythonicznym:

ids = sql.query('SELECT id FROM t')
for i in range(m):
  r = int(random() * (len(ids) - i))
  ids[i], ids[i + r] = ids[i + r], ids[i]

results = sql.query('SELECT * FROM t WHERE id IN (%s)' % ', '.join(ids[0:m-1])

Maybe you could do

SELECT * FROM table LIMIT 10000 OFFSET FLOOR(RAND() * 190000)