jAbLoK

Vývojáři Google App Engine včera zveřejnili stručnou roadmapu, z které vyplývá, že do března 2009 by nás mělo čekat následující:

• explicitní podpora pro práci s “velkými” soubory (tedy nejspíš možnost uložit blob větší než 1MB)
• import/export pro opravdu velké databáze
• účtování provozu nad míru
• podpora pro dosud nejmenovaný jazyk
• uptime monitoring

K tomu postřehy z včerejšího Google Developer’s Day:, kde AppEngine zastupoval Jon McAlister:

• “opravdu nepovíme, jaký jazyk přidáme”
• s Javou je velký problém kvůli footprintu JVM, takže na tu to nevypadá
• vážně se uvažuje o nějaké podpoře asynchronního zpracovávání 

Podle článku Google App Engine Announces Pricing Plan, APIs, Open Access na ReadWriteWeb se očekává, že Google dnes na Google I/O konferenci oznámí několik novinek ohledně AppEngine (viz též starší zmínka na Jabloku):

Služba bude v základní bezplatné verzi přístupná všem zájemcům bez čekání (rozdíl oproti současnému uzavřenému byť zvolná narůstajícímu okruhu testerů).

Limity základní verze zůstavají na 500 MB persistentně uložených dat a přenosové kapacitě specifikované jako “dostatečná pro 5 milionů pageviews měsíčně”. Do konce roku se objeví možnost přikoupit dodatečné zdroje, ReadWriteWeb uvádí následující předběžný ceník:

• $0.10 – $0.12 per CPU core-hour
• $0.15 – $0.18 per GB-month of storage
• $0.11 – $0.13 per GB outgoing bandwidth
• $0.09 – $0.11 per GB incoming bandwidth

Zmínka o placení za CPU mi není příliš jasná vzhledem k tomu, že základní verze žádné omezení vlastní výpočetní kapacity nezmiňuje. Uvidíme.

Posledním zajímavým rozšířením jsou dvě nová API – pro manipulaci s obrázky a především – pro kešování (absence kešování byla vzhledem k přirozeným omezením odezvy distribuované databáze nepříjemná).

Jinak celý tento článek je pro Javisty off-topic, jiné jazyky než Python zatím Google v AppEngine podporovat nehodlá

S uvolněním AppEngine od Google (na Jabloku zde) se vyrojily nářky, že Google chce div ne ovládnout Web: naláká zákazníky na svůj úžasný hosting, tam ale zůstanou uzamknuti bez možnosti odchodu jinam.

Teoreticky je to pitomost, jak ukazuje projektík AppDrop.com Chrise Andersona: vzal AppEngine SDK od Google, vykostil závislosti na Google a uvolnil jako open-source (to vše zcela legálně díky Apache License). Toto triviální řešení ale neškáluje ani omylem – jako databázi například používá stejně jako runtime z AppEngine SDK obyčejné soubory.

Na druhou stranu nikomu nic nebrání škálovatelnost Chrisova řešení postupně zvyšovat dopisováním dalších vychytávek počínaje třeba podporou MySQL schovanou za původním databázovým API. Teoreticky může následovat HBase (něco jako Googlí BigTable, ale vyvíjená pod ASF). Teoreticky…

A prakticky pak přinejmenším zajímavý pokus, který se díky popularitě AppEngine a AdSense reklamách na AppDropu Chrisovi aspoň trochu vyplatí

Zdroje:

• AppDrop
• Exclusive: Google App Engine ported to Amazon’s EC2 na waxy.org
• Announcing AppDrop.com (host Google App Engine projects on EC2) na Andersenově blogu

Doplnění:

Cesta plain files – MySQL – HBase je samozřejmě dlouhá a bez směřování k podpoře HBase či ekvivalentu nesmyslná – neřešila by vendor lock-in těch uživatelů, kteří používají AppEngine k tomu, k čemu je určen – tedy k hostování aplikací s nemalými nároky na škálovatelnost

Předevčírem jsem se o své první dojmy z EC2 chtěl nadšeně podělit s Františkem. Jenže František je – jak známo – všude první, a tudíž mohl být nad nějakou virtualizaci povznesen – samozřejmě už předtím četl spekulace o tom, že se Google chystá nabídnout svou infrastrukturu jako službu. Což se během dvou dnů také stalo.

Služba se jmenuje appspot.com, a v tuto chvíli se nachází ve stadiu “preview release”, což znamená testovací provoz pro prvních 10,000 zájemců, kteří se ozvali během několika hodin po oficiálním oznámení (já to bohužel nestihl). K dispozici je vývojové prostředí AppEngine, které obsahuje potřebné knihovny a hlavně lokálně spustitelný runtime, v němž je možná aplikaci otestovat před uploadem na appspot bez jakýchkoli úprav. Služba je při omezené návštěvnosti a velikosti persistentních dat zdarma, v plánu je placená varianta, kde tato omezení padnou.

AppEngine nabízí oproti Amazonu škálovatelnost transparentní, samozřejmě za cenu jistých omezení. Zatimco amazoními služby (AWS) vám usnadňují žonglování se serverovou farmou, jejíž možnosti můžete využívat dle architektonické i programátorské fantazie, Google vás zcela odstiňuje od konkrétního (byť virtuálního) serveru, operačního systému a jeho limitů. Zkrátka poskytuje transparentně škálující aplikační server.

Tato transparentnost je samozřejmě možná jen za cenu několika omezení, které musí takto vyvíjená a nasazená aplikace splňovat. Namátkou:

• Persistentní vrstva
  • Používá speciální API a dotazovací jazyk pro persistentní ukládání dat (pro lepší srozumitelnost ale budu dál používat pojmy z relačnch databází)
  • Omezené dotazovací možnosti (nelze “najít NULL”, nelze kombinovat porovnávací operace nad více “sloupci” a pokud je použijeme, musíme je v připadné ORDER BY klausuli dát na začátek, a navíc není podporován operátor nerovnosti)
• Aplikace běží v omezeném kontejneru (sandboxu), který neumožňuje:
  • zápis na filesystem; číst je mоžné pouze soubory aplikace
  • práci se sockety (je ale možno použít explicitně poskytovanou službu pro odesílání e-mailů a pro přístup k vzdáleným zdrojům přes HTTP či HTTPS přes standardní porty)
  • spouštět nová vlákna nebo procesy
  • zpracovávat požadavek příliš dlouho
  • další systémová volání (např. práci se signály)
• Veškerá serverová logika se točí okolo zpracovávání požadavků, žádné další služby jako plánování úloh nejsou k dispozici
• Jediný podporovaný jazyk je (zatím?) Python

Jestli jste se někdy zajímali o to, jak škálují weby jako Flickr, Wikipedia, Amazon nebo samotný Google, asi je jasné, že dobře škálující aplikace prostě musí být s ohledem na škálovatelnost navržena. Jinými slovy, musí brát v úvahu některá omezení: nepřehánět to s normalizaci dat, s používáním sessions, nenačítat při zpracování požadavku zbytečně mnoho dat, snažit se o co nejrychlejší odezvu atd. atd. Z tohoto pohledu jsou omezení AppEngine pochopitelná – nějak byste se omezit stejně museli, takže Google vám vlastně jen nutí své best practices.

Škálovatelností se samozřejmě nedá vysvětlit omezení na Python – ale darovanému koni na zuby nehleď. Předpokládám, že spolu s placenou verzí budou další jazyky muset následovat. Na druhou stranu si dokážu představit, že při určitém poměru návštěvnosti a složitosti aplikace by hodnota infrastruktury mohla převážit jednorázové náklady na nahrazení aplikace i programátorů pythonovými alternativami

Zdroje:

• Google App Engine Developer’s Guide
• Google Appengine: A first Look na High Scalability
• Google App Engine: History’s Next Step or Monopolistic Boondoggle? na Read Write Webu