Wątek: [Prog] wtwArchMerger: Scalanie archiwów WTW, import GG10

[Siwy]

Program z założenia powinien łączyć kilka archiwów wtw, np. kiedy zmuszeni byliśmy stworzyć gdzieś profil od nowa i teraz chcielibyśmy dołączyć archiwum z tego czasu do starego.
Użycie:
wybieramy archiwum, do którego chcemy importować, następnie kilka archiwów, która mają zostać importowane.

program kopiuję tabele wtw_chat_index(index_id, contact_id, contact_net, start_time) i wtw_chat_data(index_id, entry_time, entry_text, entry_flags) z wymienionych baz do podstawowej zmieniając index_id, żeby były unikatowe

uwagi:
-zrobić kopię zapasową! teraz robi się sama
-używać przy wyłączonym wtw
-działa wolno, także cierpliwości

Update 0.1.1:
Kopiowanie działa dużo szybciej, thx whd.

Update ver. 0.2.0:
-interfejs okienkowy (jestem z niego dumny, bo to mój pierwszy program w WinApi :P )
-całość działa dużo szybciej (tak, jak powinna od początku), dzięki inteligentniej napisanym zapytaniom SQL
-SQLite aktualizowane do 3.7.4

Update ver. 0.2.1 - 30.01.11:
-import archiwum GG10 (GG8 ma takie samo archiwum?), zwrócić uwagę, czy czasy się nie przekłamują - wtw samo nauczyło się to robić, więc opcja już niepotrzebna
-zmiany kosmetyczne
-trochę więcej informacji o ewentualnych błędach

prośby/zamówienia/plany na przyszłość:
-kadu
-tlen 7

[whd]

Przy wywoływaniu insert korzystasz z transakcji? Jeśli nie używasz begin transaction (...) commit; to sqlite każdego inserta traktuje jako osobną transakcję, która musi być potwierdzona przez co wydajność takich zapytań znacznie spada (tak wyczytałem w docach na stronie oficjalnej, wczoraj zacząłem się w to zagłębiać dopiero).

btw to kopiowanie odbywa się metodą 'na pałę' tzn czy dubluje ewentualnie rozmowy?

[Siwy]

Właśnie tak myślałem, że commit jest za każdym razem wywoływany, ale używam tylko jednej funkcji sqlite3_exec i nie wiedziałem, jak to zmienić, poczytam.

Nie żadnych duplikatów nie sprawdza, bo niby skąd ta sama rozmowa miałaby być w dwóch różnych archiwach?
Przy kopiowaniu zmieniam tylko id w tabelach i zamieniam ' w treści wiadomości na '', żeby sql poprawnie je zinterpretował.

edit:
faktycznie, po dodaniu sqlite3_exec(db1, "BEGIN", 0, 0, 0); i [...]COMMIT[..] samo kopiowanie wykonuje się dużo szybciej, sqlite3_open nadal jednak długo trwa, ale to zależy od rozmiaru bazy.

Jednak to nie sqlite3_open, a
"SELECT max(wtw_chat_index.index_id), max(wtw_chat_data.chat_id) FROM wtw_chat_index, wtw_chat_data;",
którym sprawdzam najwyższe indeksy. Zna ktoś jakieś szybsze zapytanie?

[kwiateusz]

ja czesto robie ze kopiuje archiwum ze stacjonarki na lapa i chciałbym tylko rozniece pomiedzy mergowac

moglbys zakladac indeksy unikalne, robic wszystkie inserty i po całej operacji usunac indeksy, duplikaty sie nie dodadza :)

[refresh]

*przypuszczenia* a to id to nie jest może serial od razu? wtedy nie byłoby problemu z szukaniem najwyższego.

[whd]

Nie żadnych duplikatów nie sprawdza, bo niby skąd ta sama rozmowa miałaby być w dwóch różnych archiwach?

Chociażby multilogowanie. Poza tym ja mam spory śmietnik z archwium bo mam na piecu, lapie i jescze mobilne na pienie. Wszystkie pochodzą z jednego tylko kopiowane w różnym czasie ;)

Nie za bardzo rozumiem pomysł kwiateusza z unikalnymi indeksami. Jeśli mamy dwie różne bazy to na jakiej zasadzie przydzielić unikalne indeksy żeby dane rozmowy miały ten sam indeks? Czy źle to rozumiem?

[kwiateusz]

po założeniu indeksu na login i tresc rozmowy baza przy insercie pominie wartosci ktore sie dublują :)

ja tak sie bawiłem przy wawalaniu duplikatów rozmów z archiwum

[Siwy]

po założeniu indeksu na login i tresc rozmowy baza przy insercie pominie wartosci ktore sie dublują :)

można też ręcznie sprawdzać, czy się nie powtarzają, ale czy nigdy nie dostaliście 2x identycznej wiadomości od tej samej osoby, np. 'cześć', albo 'chodź na piwo'?

[Pelias]

Nie w tym samym entry_time.

[Siwy]

A wiadomości przy multilogowaniu mają ten sam entry_time na wszystkich instancjach programu? Znaczy, czy to pole jest ustalane przy wysyłaniu wiadomości czy jej odebraniu?

[Piotrek]

a mi WinRAR zgłasza problem z plikiem z pierwszego postu: "archiwum ma niewłaściwy format lub jest uszkodzone", moge prosić o ponowne wrzucenie?

a swoją drogą, jakby programik wyłapywał duplikaty, to by było bardzo fajnie z jego strony :)

[Tribiasz]

Trzeba gdzieś na forum umieścić wielkimi literami info o tym, aby załączniki pobierać Firefox'em, inaczej się nigdy nie uwolnimy od tego typu pytań i uwag...

jest wątek o tym w poradnikach, a przeczytanie poradników powinno być pierwszą czynnością którą każdy nowy powinien zrobić //zhvir

[whd]

A wiadomości przy multilogowaniu mają ten sam entry_time na wszystkich instancjach programu? Znaczy, czy to pole jest ustalane przy wysyłaniu wiadomości czy jej odebraniu?

entry_time zależy od czasu lokalnego jaki masz na kompie więc bardzo prawdopodobne, że będzie się różnić dla wiadomości z multilogowania

@zhvir, poważnie myślisz, że ktoś kto traktuje to forum tylko i wyłącznie jako repo z wtyczkami i nie zamierza tu postować przeczyta wszystkie poradniki? :)

[mocznik]

Ale zanim zada się jakieś pytanie warto poszukać, czy nie jest w faq albo w poradnikach.

[Maniu]

hmm, u mnie przy próbie połączenia od razu wyrzuca błąd, że aplikacji nie da się uruchomić, ponieważ brakuje pliku msvcr100.dll Ponowne zainstalowanie aplikacji może rozwiązać problem.
Jakiś pomysł na to?

[mucha]

Zainstaluj Microsoft Visual C++ 2010 Redistributable Package.

[Maniu]

faktycznie nie miałem, że też takie zaćmienie umysłu mi przyszło ;) dzięki za pomoc

[Siwy]

odnośnie duplikatów, wtw dorobiło się opcji ich usuwania (archiwum/konserwacja/kompaktowanie), więc problem z głowy.

[Kaworu]

W zasadzie, to duplikaty są kasowane od roku przy kompaktowaniu, acz! Opcja wyłączenia tejże operacji doszła w ostatniej becie ;P

[Siwy]

Update w pierwszym poście.