Предложения по архивации и катологизации электронных библиотек

Страницы :  1, 2, 3, 4, 5, 6, 7  След.

Ответить
Автор
Сообщение

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 28-Апр-07 12:33 (10 лет 7 месяцев назад, ред. 19-Май-07 22:53)

[Цитировать] 

Ситуация с электронными художественными библиотеками ЧИТАТЬ ВСЕМ!!
Описание: http://friday.vedomosti.ru/article.shtml?2007/04/20/9453
Посмотрел — заплати
Скоро российские интернет-библиотеки начнут работать как читальные залы: скачать или распечатать книгу можно будет только за деньги
Уже к началу мая интернет-библиотекам предстоит стать читальными залами. Об этом на Российском интернет-форуме (РИФ) сообщила компания “ЛитРес”. Интернет-библиотеки всегда существовали на птичьих правах, но прямолинейные юридические атаки на них оказались неэффективными. Например, компания “КМ онлайн”, которая больше года судилась с владельцами библиотек, не получила ничего, кроме номинации “Разочарование года” в престижном интернет-конкурсе РОТОР.
“ЛитРес” решила, что торговать лучше, чем воевать, и попросту скупила ряд крупных интернет-библиотек: Aldebaran, Bestlibrary, FictionBook, LitPortal, Bookz.ru, Fenzin.org (это более ста тысяч книг — заметно больше, чем в известной библиотеке Максима Мошкова Lib.ru). Вскоре, как заявил на РИФе генеральный директор компании Алексей Кузьмин, они станут показывать текст лишь на экране, а сохранить его на диске или распечатать можно будет только за деньги, да и то по мере заключения договоров с авторами. Со временем будет ограничен и режим “читального зала”.
Ограничение функций электронных библиотек заставит читателей покупать “кота в мешке”: только заплатив за книгу, вы можете узнать, что она вас не устраивает. Электронные библиотеки позволяли знакомиться с книгами до покупки. Конечно, далеко не все потом покупали прочитанные на компьютере книги, даже те, что понравились. Но ведь от изменений пострадают и не менее многочисленные честные пользователи. Как они смогут возместить потери?
Последние разработки компании “Рекомендата”, похоже, позволяют справиться с этой проблемой, по крайней мере, отчасти. На днях был представлен проект IMHOclub.ru — система фильтрации для книжного рынка. На этом сайте можно получить рекомендации по чтению, основанные на опыте других читателей с близкими вкусами. Все, что нужно, — самому оценить прочитанные книги по 10-балльной шкале, а система на основе мнений многих тысяч пользователей даст рекомендации и спрогнозирует ваше впечатление о еще непрочитанных книгах. В создание эффективной рекомендательной технологии было инвестировано около 2 млн долларов, причем значительная часть средств пошла на исследование лежащих в ее основе математических методов.
Однако новый сервис может дать нечто большее, чем советы для своих пользователей. Если он станет действительно массовым (разработчики рассчитывают на 2 млн пользователей), то окажет заметное влияние на сам книжный рынок. Сейчас единственный массовый рекомендатель — реклама. Поэтому издателям выгоднее вкладываться в небольшое число бестселлеров, чем распылять рекламные бюджеты на множество более серьезных книг с заведомо меньшими тиражами. Новый сервис может обратить внимание публики на книги, которые сейчас незаслуженно остаются на периферии общественного сознания.
Разработчики советуют пользователям не ограничиваться оценками бестселлеров, и тогда вознаграждением за оригинальность станут встречные интересные рекомендации. А со временем и новые интересные книги, выпускать которые издатели сейчас просто не рискуют
так же читаем эту ветку:
http://users.livejournal.com/magister_/238369.html?thread=2042401#t2042401
меморандум про электронные библиотеки
т. е. из вышесказанного следует понимать что скоро мы лишимся свободного доступа к след. библиотекам:
Aldebaran, Bestlibrary, FictionBook, LitPortal, Bookz.ru, Fenzin.org
Итак архивами каких вышеперечисленных библиотек мы располагаем на данный момент (раздаются на трекере):
Aldebaran по состоянию на - 24 10 2006
FictionBook на 24 04 2007
в связи с вышесказанным считаю необходимым в кратчайшие сроки создание архивов таких библиотек как Bestlibrary, LitPortal, Bookz.ru, Fenzin.org
[Профиль]  [ЛС] 

primeumaton

Стаж: 11 лет 4 месяца

Сообщений: 396

primeumaton · 28-Апр-07 12:38 (спустя 4 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

А при чём сдесь товарищ Шульберт?
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 28-Апр-07 16:00 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

primeumaton
не важно, я хотел бы услшать более содержательные комментарии
[Профиль]  [ЛС] 

princess_light

Стаж: 10 лет 9 месяцев

Сообщений: 22

princess_light · 28-Апр-07 16:28 (спустя 28 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

Поддерживаю призыв обеими руками
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 28-Апр-07 17:05 (спустя 37 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

Так, ну ладно... С Феньзиным мы разберёмся... А вот как выгрести весь альдебарран, не знаю.
для фензина годится вот такой вот скрипт
Код:
MaxID=15000;
# Скрипт написан для автоматизированного выгребания контента
# библиотеки
echo "Library Database Generator";
echo "(C) ]DichlofoS[ Systems, Inc, 2006";
echo "=================================="
echo "Processing IDs from 1 upto $MaxID";
echo "Retrieving books data from website";
for ((i = 1; i < $MaxID; i++)) do
  echo "Processing book $i of $MaxID";
  wget -U ' ' -O fzbooks/fullbook.$i.html "http://fenzin.org/book/$i";
  wget -U ' ' -O fzbooks/fullbook.$i.fb2.zip "http://fenzin.org/downloadfb2.php?book=$i";
  wget -U ' ' -O fzbooks/fullbook.$i.rtf.rar "http://fenzin.org/download.php?book=$i";
done
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 28-Апр-07 18:45 (спустя 1 час 40 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

так, будем считать что фензин есть,
думаю стараниями уважемого dmvn он скоро появится на трекере
какие будут еще предложения по автоматизации скачиваяния с вышеперечисленных библиотек? может быть у кого-нибудь уже есть готовые архивы?
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 28-Апр-07 20:55 (спустя 2 часа 10 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

я посмотрю что можно сделать с ними, но не факт, что там будет всё так же радужно, как тут... ибо с фензина я уже выкачал за вечер 1.500 книг, так что за пару суток думаю управиться полностью...
[Профиль]  [ЛС] 

shizopotam

Стаж: 10 лет 11 месяцев

Сообщений: 45

shizopotam · 29-Апр-07 00:42 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

Bill_G
погодь. во-первых bestlibrary уже 4 года как мертв. он уже давно litportal. который тоже тихо умирает.
более содержательные комментарии можно добыть из моего краткого обзора на ру-борде еще от понедельника:
Цитата:
ну фикшнбук судя по всему продан бесплатно. Альдебаран видимо воздерживается от комментариев.
фензин похоже тоже.
самая интересная дискуссия у нас видимо на the-ebook.org
вот такая вот фигня. Альдебарана мы лишились. Фикшнбук говорит "мы", упоминая ЛитРес
Литпортал похоже умер.
Радует, что про Lib.ru нигде ничего не сказано.
в-общем fictionbook и lib.ru поставлены в очередь на закачку.
мы не сдадимся
в частности на the-ebook.org есть комментарии GribUser, который является владельцем фикшнбука и одним из вдохновителей всего этого проекта.
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 29-Апр-07 07:37 (спустя 6 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

Сообщаю статистику по фензину, если это кого-то интересует.
0) всего библиотека насчитывает ~13100 книг
из них
1) в формате fb2 удалось выкачать всего-то 694 книжки.
2) в формате rtf НЕ удалось выкачать 313 книжек (видимо, уже были удалены по копирайтным вопросам). Остальные 13109-313 лежат в данный момент у меня на HDD, и объём у них, к слову, смешной - 1.4Gb. Такие вот дела. Я правда пока не проверял архивы на битость, но не думаю, что там таковые есть (впрочем, ещё проверю, дело нехитрое).
Кроме того, я выкачал индексы по всем книгам, и кроме того, хочу выдрать картинки обложек.
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 29-Апр-07 09:18 (спустя 1 час 41 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

shizopotam, если честно, перечитывать форумные дискуссии немного лениво. На фензине я посмотрел, действительно, отмалчиваются. Ну и хрен с ними, я их уже не боюсь.
Впрочем, если бы у кого-то был более полный архив фензина, чем у меня сейчас (у меня не хватает примерно 300 книг, в том числе всякие лукъяненки и прочие "копилефтеры"), я был бы рад его поиметь. Номера недостающих книг выдаются всем желающим, могу хоть тут список накатать.
А вот что с альдебараном? ТАм же вроде пока ещё не запретили скачивание? Так чего же мы ждём? wget -r нам поможет, не так ли? Вот тут как раз и нужен шустрый интернет и прочее -- - выгрести весь сайт с потрохами.
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 29-Апр-07 12:44 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

Так , думаю на букз.ру тоже в скором времени можем рассчитывать
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 30-Апр-07 11:32 (спустя 22 часа, ред. 01-Май-07 22:08)

[Цитировать] 

Bill_G,
Пока вот что удалось выгрести с bookz:
a - 8939 шт
б - 4174 шт
в - 5038 шт
г - 3931 шт
д - ...
продолжение следует...
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 01-Май-07 02:11 (спустя 14 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

Чтобы замечали, замутил по фензину объявление http://rutracker.org/forum/viewtopic.php?t=226253
[Профиль]  [ЛС] 

Odium_rus

VIP (Заслуженный)

Стаж: 10 лет 9 месяцев

Сообщений: 457

Odium_rus · 03-Май-07 14:15 (спустя 2 дня 12 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

А фикшнбук дампить будете?
[Профиль]  [ЛС] 

shizopotam

Стаж: 10 лет 11 месяцев

Сообщений: 45

shizopotam · 03-Май-07 14:44 (спустя 28 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

Odium_rus дык уже.
вот постарше
http://rutracker.org/forum/viewtopic.php?t=162652
http://rutracker.org/forum/viewtopic.php?t=214394
вот поновее
http://rutracker.org/forum/viewtopic.php?t=219159
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 03-Май-07 18:33 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

2 all
по большому счету остался только альдебаран,
есть правда старый его прошлогодний архив....
Кто нибудь возьмется за альдебаран может?
[Профиль]  [ЛС] 

mak_

Стаж: 10 лет 7 месяцев

Сообщений: 22


mak_ · 03-Май-07 18:45 (спустя 12 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

Bill_G, я потихоньку занимаюсь альдебараном. беру только fb2.zip. а они блокировать начали по ip
[email protected]~/baran>du -sh en ru
51M en
5,1G ru
надо бы еще слить с тем, что сейчас раздают - больно они там много поубирали в последнее время. дойдут руки - доделаю.
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 03-Май-07 21:23 (спустя 2 часа 38 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

mak_
ага, мы на вас рассчитываем
надеюсь что еще неделю-другую библиотек поработает
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 04-Май-07 13:01 (спустя 15 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

mak_ писал(а):
а они блокировать начали по ip
вот с@ки! Это уже не очень удачно! Но слава тебе господи, динамика или прокси спасает.
faraidar, займитесь этим! Я надеюсь, что на the-ebook.org тоже не дураки сидят.
А я тут вторично борюсь с bookz, хочу сохранить ихнюю структуру каталогов...
[Профиль]  [ЛС] 

mak_

Стаж: 10 лет 7 месяцев

Сообщений: 22


mak_ · 04-Май-07 14:10 (спустя 1 час 8 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

dmvn писал(а):
mak_ писал(а):
а они блокировать начали по ip
вот с@ки! Это уже не очень удачно! Но слава тебе господи, динамика или прокси спасает.
ну альдебаран сейчас ложится 4-5 раз за ночь, видимо не я один его вытаскиваю.
dmvn писал(а):
faraidar, займитесь этим! Я надеюсь, что на the-ebook.org тоже не дураки сидят.
А я тут вторично борюсь с bookz, хочу сохранить ихнюю структуру каталогов...
в альдебаране довольно ценное еще разбиение по жанрам/сериям, вот бы что сохранить.
а удаленные книги (там лукьяненко, перумов, олди) в основном современные и популярные, думаю их можно из архива fictionbook'а (который раздает maxibeginner) вытащить.
кстати, господа релизеры. ни у кого нет желания взять fenzin,aldebaran,fictionbook,lib.ru выкинуть дубли, привести все к одному формату и сделать 1 библиотеку? да, я знаю что та еще работенка:)
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 04-Май-07 21:31 (спустя 7 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

mak_, я думаю, что такую работу потянет только человек пять-десять. Можно. Но это надо спокойненько, без нервов, штук по 50 в день, не больше -- а то повесишься!
В принципе, я могу (только не прям щас) организовать вот что. Повесить у себя на компьютере веб-интерфейс простенький с поискм по базе, подключить к нему все имеющиеся таблицы книг, ну и сделать так, что пользователь может перетащить книжку из таблицы к.-л. библиотеки в сводную таблицу.
Типа, изначально загружаем туда всю библиотеку Мошкова. Потом открываем таблицу фензина и начинаем досыпать из неё недубли в общую таблицу. Ну и так далее. Комп у меня довольно мощный, mysql-сервак потянет только так.
Бонус в том, что с такой базой может работать несколько человек одновременно, разгребая разные таблицы, чтоб друг другу не мешать. Если найдём любителей, можно будет попробовать -- такое дело провернём!
[Профиль]  [ЛС] 

shizopotam

Стаж: 10 лет 11 месяцев

Сообщений: 45

shizopotam · 04-Май-07 22:47 (спустя 1 час 15 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

dmvn
хм. если ты такое сделаешь - цены не будет. я бы туда все свои книжки загнал и разобрался бы с ними наконец...
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 04-Май-07 23:20 (спустя 33 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

2 дмвн
а сделаьть сравнительный поиск потексту нельзя? там если совпадает 90% текста - то клон
завтра займусь опытами с выявлением клонов у одинаковых книг разных форматов с пом. софтины moleskin clone remover
[Профиль]  [ЛС] 

mak_

Стаж: 10 лет 7 месяцев

Сообщений: 22


mak_ · 05-Май-07 02:31 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

dmvn, для начала надо много опеределяться со всякой конкретикой.
например вот с такой - в баранской старой библиотке вижу:
Ёкомидзо Сэйси/Дервня восьми могил.zip
Ёкомидзо Сэйси/Деревня восьми могил.zip
это одна и та же деревня, но в utf-8 и 1251.
в общем, орг вопросы решать. в каком формате книги, какой формат названий/имен, всякая такая ерунда.
я подумал-подумал, и решил что наверное не стоит, пока еще библиотеки обновляются.
муторно, ла и штука получится статическая и необновляемая хотя и монументальная.
где-то на форуме грибузер говорил что их схема в действие введется то ли в ноябре, то ли октябре.
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 05-Май-07 21:27 (спустя 18 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

Ну ясно. То есть грибюзер таки тоже продался с потрохами. Жалко. Ну, магистр -- человек такой -- у него нюх коммерческий, мне даже его ЖЖ его читать не очень приятно, отовсюду коммерцией пахнет... Бррр.
Во всей этой истории мне непонятно одно. На фикшнбуке имеются коммерческие варианты книг. Грибюзер, как админ библиотеки, разумеется, имеет к ним доступ. Неужели у него не хватило совести хотя бы просто выпустить их в сеть по тихому, "пока не началось". Или он рассчитывает тоже на этом нагреть руки? Грустно так думать, конечно же, потому что тогда получается, что он тоже будет торговать чужим трудом -- ведь, как он сам пишет, книжки не он сканировал.
mak_, конечно надо утрясти. Я ж не завтра собираюсь что-то там писать и ваять. Вы же понимаете, господа, что когда закроются все нормальные библиотеки и станут ненормальными, то поднять на крыло такой проект (временно закрытый от посторонних) придётся.
ЗЫ. Ну а потом уж найдём с кем кооперироваться. Я думаю, что Макс (который Мошков) -- тоже останется в нашем лагере.
Ну вот пока у нас есть время на утрясание стандартов. Можно, чтобы не флудить, хоть отдельный топик заводить.
[Профиль]  [ЛС] 

mak_

Стаж: 10 лет 7 месяцев

Сообщений: 22


mak_ · 06-Май-07 01:08 (спустя 3 часа, ред. 20-Апр-16 14:31)

[Цитировать] 

dmvn
грибюзер высказывался вот примерно тут:
http://www.the-ebook.org/forum/viewtopic.php?p=78187
про утрясти гм. похоже тут всего тех, кому это интересно вы да я. да меня еще на форум раз 4-5 часов пускает из-за перегруженности оного. грустно..
ну я попробую сформулировать как оно мне видится. посмотрим.
[Профиль]  [ЛС] 

dmvn

Стаж: 11 лет 1 месяц

Сообщений: 3036


dmvn · 06-Май-07 10:03 (спустя 8 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

mak_, угу, спасибо! Пробежал глазами пару страниц, и понял, что не ошибся.
А насчёт перегрузки форума -- поднимите рейтинг > 1 (ну хотя бы 2) и раздайте 100 гиг. Проблемы исчезнут У меня таая проблема была, но только в самом начале, потом "раскрутился".
Насчёт того, кому это интересно... Если угодно, то можно технические детали обсуждения перенести за пределы форума. Щас у меня маловато времени, так что right now я на большие подвижки не готов -- разве что парой постов переброситься . Ближе к лету, надеюсь, будет посвободнее, и вот тогда можно будет раскрутиться на полную катушку. Ибо у меня (особенно после прочтения постов ГрибЮзера) появляется ну о-очень большое желание заткнуть за пояс этих коммерциализаторов.
Вот.
[Профиль]  [ЛС] 

Bill_G

VIP (Заслуженный)

Стаж: 11 лет 3 месяца

Сообщений: 4058

Bill_G · 06-Май-07 10:12 (спустя 9 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

ну если они собираются вводить свою систему только к октябрю, то время еще есть,
тем более я не думаю что после всех этих заявлений от магистра и грибюзера выщеозначенные библиотеки будут вообще пополнятся (уж юзеры их точно пополнять не будут)
господа, прошу так же не забывать про библиотеку фидо (su.books) которую раздавал FiL
(ведь это почти 70 К книжек!!)
т.к. она преимущественно тоже худлитовская.
[Профиль]  [ЛС] 

mak_

Стаж: 10 лет 7 месяцев

Сообщений: 22


mak_ · 06-Май-07 16:36 (спустя 6 часов, ред. 20-Апр-16 14:31)

[Цитировать] 

dmvn, от того что я раздам 100 гиг исчезнет перегруженность сервера? орригинально (типа шутка. раздается, да...)
за пояс я затыкать никого не хочу, в этой истории все по своему правы, и каждый считает правым только себя, так что спорить бессмысленно.
Bill_G, у меня ее нету, и поиск на трекере по слову su.books ничего не дал. не поделитесь? предоставлю ftp или скачаю сам, как удобнее. в любом случае, в фидо не было категорий и каталогов, была масса дублей, насколько я помню, и было громадное количество всяческих безграмотных фанфиков. разгрести такой объем практически нереально:(
upd: по поводу пополнений:
http://lib.aldebaran.ru/new/
http://www.fictionbook.ru/en/new/
вполне себе продолжают пополнятся.
[Профиль]  [ЛС] 

primeumaton

Стаж: 11 лет 4 месяца

Сообщений: 396

primeumaton · 06-Май-07 17:20 (спустя 43 мин., ред. 20-Апр-16 14:31)

[Цитировать] 

mak_
Видимо, речь об этом. Её, помнится, ещё на руборде раздавали.
[Профиль]  [ЛС] 
 
Ответить
Loading...
Error