K2T.eu :: Forum

WTW => Rozszerzenia => Pozostałe => Wątek zaczęty przez: lizard w Maja 19, 2010, 12:30:29 pm

Tytuł: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Maja 19, 2010, 12:30:29 pm
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: UsagiAddict w Maja 19, 2010, 13:18:05 pm
ufffff, bo już myślałem, że komuś się chciało *bawić* z JNI i kodem natywnym :) dział wtyczki chyba za bardzo tu nie pasuje, ale miło, że ktoś czasami wrzuci nowy content.

a jako że 1/3* osobników pochodzi z Konekta.. ;)
 *Statystyki by zhvir

O ile widziałem sens rozbicia dyskusji o wtyczkach i pomocy dla nich to nie rozumiem czemu miał by służyć taki podział. Intuicja wskazuje na to że dodatki tego typu powinny znaleźć się tutaj//Vimes
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Maja 19, 2010, 19:23:06 pm
ufffff, bo już myślałem, że komuś się chciało *bawić* z JNI i kodem natywnym :) dział wtyczki chyba za bardzo tu nie pasuje, ale miło, że ktoś czasami wrzuci nowy content.
Rzeczywiście, dział nie jest najlepiej dobrany, ale nie wiedziałem jaki wybrać;)

Gdy komuś się uda import to proszę o info, bo w sumie jestem ciekaw.

Pozdrawiam
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: thegoro w Lipca 20, 2010, 21:34:55 pm
lizard: muszę przyznać, że import działa wyśmienicie ;) około 270MB wczytało do WTW :)

wielkie dzięki za sofcik
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Lipca 26, 2010, 16:09:25 pm
Użytkownik sjf zauważył, że godzina 12 rozmów była interpretowana jako 00.
Wersja z poprawką jest już dostępna na serwerze, w niedługim czasie wrzucę poprawkę aktualizującą bazę na podstawie pliku archiwum, by nie trzeba było kombinować z ręcznym usuwaniem rektorów w bazie.
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Sierpnia 17, 2010, 16:21:34 pm
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Września 16, 2010, 19:05:37 pm
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Września 21, 2010, 10:35:16 am
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Września 21, 2010, 20:37:13 pm
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Września 22, 2010, 00:11:51 am
No trudno się mówi... mam 276 plików z rozmowami, 59,2MB... i każdy muszę przerabiać ręcznie... Ech, zejdzie się cały dzień pewnie :/ Szkoda, że nie będzie wersji z automatu :(

Tak czy inaczej dzięki za pomoc i świetnie napisany program :)
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: Virooz w Września 22, 2010, 07:11:52 am
aqvario, mi eksportuje w takim samym formacie, jak Tobie. Zakładam, że może to być spowodowane tym, że lizard ma skompaktowane archiwum. Oczywiście nie daję 100% pewności, aczkolwiek nie potrafię znaleźć innego wytłumaczenia. :)
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Września 22, 2010, 07:33:19 am
No trudno się mówi... mam 276 plików z rozmowami, 59,2MB... i każdy muszę przerabiać ręcznie... Ech, zejdzie się cały dzień pewnie :/ Szkoda, że nie będzie wersji z automatu :(

Przy takiej ilości plików sprawa nie jest prosta, więc zobaczę co da się zrobić.
A próbowałeś eksportować archiwum do jednego pliku xml?

Ewentualnie poproszę jakiś przykładowy plik archiwum, to będę na nim testował.
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Września 22, 2010, 08:16:32 am
Virooz, przed exportem do XMLa kompaktowałem archwium. A gdy bawiłem się przed moim pierwszym postem na tym forum - nie. Więc w tym konkretnym przypadku nie ma to wpływu, ale trudno powiedzieć, czy w innych może mieć.

Lizard, próba generowania jednego pliku dla wszystkich rozmów kończy się plikiem wynikowym 3MB dla 60MB archiwum. Jego format jest taki, jak opisałeś. Innymi słowy powinno działać, ale konnekt coś ma schrzanione i działa mi tylko eksportowanie każdej rozmowy z osobna, ale każda rozmowa z osobna ma nieco inny format XMLa, którego nie uwzględniłeś.

Prześlę ci na maila wszystko, co mam, nie chcę prywatnych archiwów tutaj dawać. Zobacz, w jakim formacie to jest. Tak jak przypuszczałem, całe archiwum i pojedyncze rozmowy mają inne formaty XMLa. Miałem też taki folder w archiwum, jak "nie obsłużone"... O.o ciekawe... w każdym razie to wygląda jeszcze inaczej po eksporcie i to już trzeba przerabiać ręcznie @@ Aha, SMSy też nie chcą się importować, a na pierwszy rzut oka plik wygląda OK...

Archiwum mam spore, bo od 2005r. I tak wczoraj poświęciłem prawie 3 godziny na wywalenie bzdur z archiwum (reklamówki, boty itd) oraz eksportowanie każdej rozmowy z osobna ^^ Dziś zamierzałem po jednej rozmowie przerabiać i wrzucać ^^ Ale w takim przypadku wstrzymam się. Zresztą przy takiej ilości plików przydałoby się, aby można było wskazać programikowi pewien folder z XMLami, a ten przeszukałby go i dodał wszystkie pliki z rozszerzeniem XML, które znajdzie :) To byłoby SUPER :)
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Września 23, 2010, 21:17:52 pm
Dorobiłem opcję ładowania całego katalogu z plikami xml -> pobiera tylko te które kończą się ".xml". Ponadto dopisałem obsługę dla kontaktów, które nie były eksportowane w tagach <contact>, a w tagach <dir>.

Przypominam również, że program ignoruje konferencję (bo wtw nie obsługuje) oraz wiadomości SMS (bo uznałem za mało istotne).
Polecam użyć wcześniej opcji "kompaktowania archiwum".

Wersja testowa dostępna pod linkiem:
http://strony.aster.pl/lizard/WTW/dist/WtwImportFromKonnekt_v0_21.jar
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Marca 19, 2011, 21:10:33 pm
Witam,

Przerobiłem trochę parser. Stary - bazujący na wyrażeniach regularnych - został zamieniony zdarzeniowym stax2. Udostępniłem również kod źródłowy dla chętnych.

Strona projektu:
http://code.google.com/p/wtw-import-from-konnekt/

Pozdrawiam

EDIT: Wylaczylem autocommit czym przyspieszylem znacznie wrzucanie do bazy danych!
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Marca 24, 2011, 17:17:11 pm
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Kwietnia 10, 2011, 09:59:55 am
Dzięki za uwagi. Wszystkie zasadne :)

"D:\Temp\kontakty (Access is denied)" - błąd rzeczywiście był. Podczas poprawek zapomniałem o obsłudze całych katalogów.
"Prawie poprawnie" - w wersji 0.32 jest inna zasada dodawania całych katalogów, więc powinno działać na takiej samej zasadzie jak dla pojedynczego.
"uchwyt do pliku" - poprawione.

http://wtw-import-from-konnekt.googlecode.com/files/WtwImportFromKonnekt_v0_32.jar
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: aqvario w Kwietnia 18, 2011, 13:48:14 pm
Dziękuję!

Tym razem wszystko działa. Nareszcie mam stare archiwum z konnekta w WTW!

Szkoda tylko, że nadal nie można umieszczać konferencji. Liczę na ciebie, gdy Kaworu wreszcie to zrobi, że dorobisz także możliwość ich importu.

Jeszcze raz dzięki! :)

A jednak się pospieszyłem. Po imporcie wiadomości wyglądają tak:
(http://img88.imageshack.us/img88/6997/wtwachiwum.jpg)
Wiadomości, które nie mają przydzielonego kontaktu, nie są importowane w całości, jedynie pierwszy wpis z całej rozmowy. Wygląda to tak jak na powyższych screenie (i jeszcze dziwne daty). Wiadomości, które mają kontakty na liście, dodawane są w całości (prawidłowo). Zauważyłem to dopiero, gdy bawiłem się kolejną wtyczką łączącą archiwa starych numerów osób z nowymi numerami (gdy ktoś zmienił numer - niesamowicie wygodne, nie wiem, czemu nie ma tego w standardzie).
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lizard w Kwietnia 20, 2011, 20:47:38 pm
Dzięki za uwagę - spróbuję w wolnej chwili się przyjrzeć.
Tytuł: Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
Wiadomość wysłana przez: lashman w Listopada 16, 2011, 23:29:47 pm