Autor Wątek: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)  (Przeczytany 18017 razy)

0 Użytkowników i 1 Gość przegląda ten wątek.

Offline lizard

  • Narybek
  • *
« Ostatnia zmiana: Września 24, 2010, 06:56:18 am wysłana przez lizard »

Offline UsagiAddict

  • Narybek
  • *
  • Królik
    • UsagiAddict's LastFM
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #1 dnia: Maja 19, 2010, 13:18:05 pm »
ufffff, bo już myślałem, że komuś się chciało *bawić* z JNI i kodem natywnym :) dział wtyczki chyba za bardzo tu nie pasuje, ale miło, że ktoś czasami wrzuci nowy content.

a jako że 1/3* osobników pochodzi z Konekta.. ;)
 *Statystyki by zhvir

O ile widziałem sens rozbicia dyskusji o wtyczkach i pomocy dla nich to nie rozumiem czemu miał by służyć taki podział. Intuicja wskazuje na to że dodatki tego typu powinny znaleźć się tutaj//Vimes
« Ostatnia zmiana: Maja 19, 2010, 20:43:49 pm wysłana przez Vimes »
[??]

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #2 dnia: Maja 19, 2010, 19:23:06 pm »
ufffff, bo już myślałem, że komuś się chciało *bawić* z JNI i kodem natywnym :) dział wtyczki chyba za bardzo tu nie pasuje, ale miło, że ktoś czasami wrzuci nowy content.
Rzeczywiście, dział nie jest najlepiej dobrany, ale nie wiedziałem jaki wybrać;)

Gdy komuś się uda import to proszę o info, bo w sumie jestem ciekaw.

Pozdrawiam

Offline thegoro

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #3 dnia: Lipca 20, 2010, 21:34:55 pm »
lizard: muszę przyznać, że import działa wyśmienicie ;) około 270MB wczytało do WTW :)

wielkie dzięki za sofcik

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #4 dnia: Lipca 26, 2010, 16:09:25 pm »
Użytkownik sjf zauważył, że godzina 12 rozmów była interpretowana jako 00.
Wersja z poprawką jest już dostępna na serwerze, w niedługim czasie wrzucę poprawkę aktualizującą bazę na podstawie pliku archiwum, by nie trzeba było kombinować z ręcznym usuwaniem rektorów w bazie.

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #5 dnia: Sierpnia 17, 2010, 16:21:34 pm »
« Ostatnia zmiana: Sierpnia 17, 2010, 17:02:16 pm wysłana przez zhvir »

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #6 dnia: Września 16, 2010, 19:05:37 pm »
« Ostatnia zmiana: Września 23, 2010, 21:22:36 pm wysłana przez lizard »

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #7 dnia: Września 21, 2010, 10:35:16 am »

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #8 dnia: Września 21, 2010, 20:37:13 pm »
« Ostatnia zmiana: Września 23, 2010, 21:24:29 pm wysłana przez lizard »

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #9 dnia: Września 22, 2010, 00:11:51 am »
No trudno się mówi... mam 276 plików z rozmowami, 59,2MB... i każdy muszę przerabiać ręcznie... Ech, zejdzie się cały dzień pewnie :/ Szkoda, że nie będzie wersji z automatu :(

Tak czy inaczej dzięki za pomoc i świetnie napisany program :)

Offline Virooz

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #10 dnia: Września 22, 2010, 07:11:52 am »
aqvario, mi eksportuje w takim samym formacie, jak Tobie. Zakładam, że może to być spowodowane tym, że lizard ma skompaktowane archiwum. Oczywiście nie daję 100% pewności, aczkolwiek nie potrafię znaleźć innego wytłumaczenia. :)

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #11 dnia: Września 22, 2010, 07:33:19 am »
No trudno się mówi... mam 276 plików z rozmowami, 59,2MB... i każdy muszę przerabiać ręcznie... Ech, zejdzie się cały dzień pewnie :/ Szkoda, że nie będzie wersji z automatu :(

Przy takiej ilości plików sprawa nie jest prosta, więc zobaczę co da się zrobić.
A próbowałeś eksportować archiwum do jednego pliku xml?

Ewentualnie poproszę jakiś przykładowy plik archiwum, to będę na nim testował.

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #12 dnia: Września 22, 2010, 08:16:32 am »
Virooz, przed exportem do XMLa kompaktowałem archwium. A gdy bawiłem się przed moim pierwszym postem na tym forum - nie. Więc w tym konkretnym przypadku nie ma to wpływu, ale trudno powiedzieć, czy w innych może mieć.

Lizard, próba generowania jednego pliku dla wszystkich rozmów kończy się plikiem wynikowym 3MB dla 60MB archiwum. Jego format jest taki, jak opisałeś. Innymi słowy powinno działać, ale konnekt coś ma schrzanione i działa mi tylko eksportowanie każdej rozmowy z osobna, ale każda rozmowa z osobna ma nieco inny format XMLa, którego nie uwzględniłeś.

Prześlę ci na maila wszystko, co mam, nie chcę prywatnych archiwów tutaj dawać. Zobacz, w jakim formacie to jest. Tak jak przypuszczałem, całe archiwum i pojedyncze rozmowy mają inne formaty XMLa. Miałem też taki folder w archiwum, jak "nie obsłużone"... O.o ciekawe... w każdym razie to wygląda jeszcze inaczej po eksporcie i to już trzeba przerabiać ręcznie @@ Aha, SMSy też nie chcą się importować, a na pierwszy rzut oka plik wygląda OK...

Archiwum mam spore, bo od 2005r. I tak wczoraj poświęciłem prawie 3 godziny na wywalenie bzdur z archiwum (reklamówki, boty itd) oraz eksportowanie każdej rozmowy z osobna ^^ Dziś zamierzałem po jednej rozmowie przerabiać i wrzucać ^^ Ale w takim przypadku wstrzymam się. Zresztą przy takiej ilości plików przydałoby się, aby można było wskazać programikowi pewien folder z XMLami, a ten przeszukałby go i dodał wszystkie pliki z rozszerzeniem XML, które znajdzie :) To byłoby SUPER :)

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #13 dnia: Września 23, 2010, 21:17:52 pm »
Dorobiłem opcję ładowania całego katalogu z plikami xml -> pobiera tylko te które kończą się ".xml". Ponadto dopisałem obsługę dla kontaktów, które nie były eksportowane w tagach <contact>, a w tagach <dir>.

Przypominam również, że program ignoruje konferencję (bo wtw nie obsługuje) oraz wiadomości SMS (bo uznałem za mało istotne).
Polecam użyć wcześniej opcji "kompaktowania archiwum".

Wersja testowa dostępna pod linkiem:
http://strony.aster.pl/lizard/WTW/dist/WtwImportFromKonnekt_v0_21.jar
« Ostatnia zmiana: Września 24, 2010, 06:58:41 am wysłana przez lizard »

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #14 dnia: Marca 19, 2011, 21:10:33 pm »
Witam,

Przerobiłem trochę parser. Stary - bazujący na wyrażeniach regularnych - został zamieniony zdarzeniowym stax2. Udostępniłem również kod źródłowy dla chętnych.

Strona projektu:
http://code.google.com/p/wtw-import-from-konnekt/

Pozdrawiam

EDIT: Wylaczylem autocommit czym przyspieszylem znacznie wrzucanie do bazy danych!
« Ostatnia zmiana: Marca 19, 2011, 21:31:39 pm wysłana przez lizard »

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #15 dnia: Marca 24, 2011, 17:17:11 pm »

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #16 dnia: Kwietnia 10, 2011, 09:59:55 am »
Dzięki za uwagi. Wszystkie zasadne :)

"D:\Temp\kontakty (Access is denied)" - błąd rzeczywiście był. Podczas poprawek zapomniałem o obsłudze całych katalogów.
"Prawie poprawnie" - w wersji 0.32 jest inna zasada dodawania całych katalogów, więc powinno działać na takiej samej zasadzie jak dla pojedynczego.
"uchwyt do pliku" - poprawione.

http://wtw-import-from-konnekt.googlecode.com/files/WtwImportFromKonnekt_v0_32.jar

Offline aqvario

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #17 dnia: Kwietnia 18, 2011, 13:48:14 pm »
Dziękuję!

Tym razem wszystko działa. Nareszcie mam stare archiwum z konnekta w WTW!

Szkoda tylko, że nadal nie można umieszczać konferencji. Liczę na ciebie, gdy Kaworu wreszcie to zrobi, że dorobisz także możliwość ich importu.

Jeszcze raz dzięki! :)

A jednak się pospieszyłem. Po imporcie wiadomości wyglądają tak:

Wiadomości, które nie mają przydzielonego kontaktu, nie są importowane w całości, jedynie pierwszy wpis z całej rozmowy. Wygląda to tak jak na powyższych screenie (i jeszcze dziwne daty). Wiadomości, które mają kontakty na liście, dodawane są w całości (prawidłowo). Zauważyłem to dopiero, gdy bawiłem się kolejną wtyczką łączącą archiwa starych numerów osób z nowymi numerami (gdy ktoś zmienił numer - niesamowicie wygodne, nie wiem, czemu nie ma tego w standardzie).
« Ostatnia zmiana: Kwietnia 20, 2011, 18:15:25 pm wysłana przez Vimes »

Offline lizard

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #18 dnia: Kwietnia 20, 2011, 20:47:38 pm »
Dzięki za uwagę - spróbuję w wolnej chwili się przyjrzeć.

Offline lashman

  • Narybek
  • *
Odp: [Prog] WtwImportFromKonnekt: Import archiwum Konnekta xml (java)
« Odpowiedź #19 dnia: Listopada 16, 2011, 23:29:47 pm »