Lukas Vermeer beszéde a 2016-os Marketing Fesztiválon

JADS @ Booking.com

Filozófusok és távcsövek

Még anélkül, hogy bármilyen szállás lenne, a Booking.com alig igényel bemutatást, mint a világ egyik legnagyobb utazási társasága. Az adattudomány és az ügyfélközpontúság hatékony kombinálásával a Booking.com piacvezetővé vált. A tudomány általában a siker kulcsa, és a vállalaton belül magasra értékelik. Ennek a tudományos környezetnek az egyik kulcsszereplője Lukas Vermeer. Tudományos tapasztalattal rendelkezik a számítástechnika és a gépi tanulás területén, Lukas a Booking.com vezető adattudós, és felelős a kontrollált kísérletekért. Idillikus helyen, egy amszterdami csatornán, Jasper Lanters és én interjút készítettünk vele a székhelyükön. Lelkesen elmondja nekünk a Booking.com kísérleteiről és az adattudomány jövőjéről: filozófusokról és távcsövek építőiről.

Az A / B tesztelés célja és buktatói

Hogyan tudsz kísérleteket végezni, mint egy céget, amely magasra értékeli a tudományt?

Kísérleteket alkalmazunk a termékfejlesztés során, hogy kétféle módon javítsuk az ügyfelek élményét: egyrészt azt használjuk, hogy megakadályozzuk az ügyfélélmény váratlan romlását, hanem azt is, hogy megtanuljuk, amit az ügyfelek pozitív értelemben akarnak. A lebomlás megelőzése könnyebb kihívás. Vannak olyan ügyfélszegmensek, amelyek viszonylag kicsik és kiszolgáltatottak, és könnyen figyelmen kívül hagyhatók, miközben új funkciókat fejlesztenek ki ügyfeleink számára. Például azok az országok, ahol jobbról balra olvasnak, vagy emberek, akik képernyőolvasó szoftvert használnak. Nagyon jó lehet, hogy a weboldal új funkciója nem működik megfelelően ezekben a csoportokban. Ezek tipikus „él esetek”. Amikor egy változtatást végrehajtunk, A / B tesztelést használunk annak kiderítésére. A nagy negatív hatások megtalálása könnyebb, és kisebb mintát igényel, összehasonlítva az ügyfélélményt érintő kisebb optimalizálásokkal, így időm nagy részét az utóbbira fordítom.

„Amikor a problémákat hatékonyan megoldják, az ügyfelek hozzád fognak fordulni, és a KPI-k növekednek. Nem fordítva.

Természetesen nem csak ellenőrzött kísérletekre támaszkodunk; mind kvantitatív, mind kvalitatív módszereket alkalmazunk. A foglalásnak saját laboratóriuma van, ahol kvalitatív kutatásokat végeznek. Felkérjük az embereket, hogy kávét kérjenek, és kérjük őket, hogy foglaljanak el szálláslehetőséget. Figyelembe vesszük, mit csinálnak, hallgatunk rájuk, kérdéseket teszünk fel. Az ezekből a kvalitatív tanulmányokból származó ötletek, például az emberek azt mondhatják, hogy értékelik egy jó reggelit, webhelyünk olyan szolgáltatásaivá válnak, amelyeket azután A / B teszteléssel validálunk. Ez számunkra az A / B tesztelés második célja: annak validálása, hogy egy megoldás segít-e a felhasználónak megoldani egy bizonyos problémát, vagy sem. Ez az érvényesítés és megoldás-összpontosítás nagyon fontos, és gyakran elfelejtik. Ha olyan cégeket tekintünk, amelyek sok A / B tesztet végeznek, a folyamatos fenyegetés az, hogy végül a KPI optimalizálására törekszenek, ahelyett, hogy a felhasználók tényleges problémáit oldják meg. Véleményem szerint az A / B tesztelés célja annak igazolása, hogy a feltételezett probléma hatékonyan megoldódik-e. És ez az! Amikor a problémákat hatékonyan megoldják, az ügyfelek hozzád fognak fordulni, és a KPI-k növekednek. Nem fordítva.

Hogyan kapcsolódik ehhez az adattudomány?

Segít megérteni, hogy mit akarnak az emberek, valamint olyan funkciókat hoz létre és ajánlásokat talál, amelyek segítenek nekik megtalálni a szükséges munkát. Sokan nem tudják pontosan, mit keresnek. A Booking.com több szálláshellyel rendelkezik, mint bármelyik másik cég, tehát elméletben mindenkinek kell lennie. A kihívás az, hogy segítsünk az embereknek minden alkalommal megtalálni a számukra megfelelő helyet.

Az ajánlásokkal kapcsolatban néha olyan lehetőségeket javasolunk, amelyek irrelevánsak lehetnek a pontos felhasználói lekérdezés szempontjából, például egy adott szálláshely alternatív dátumai. Azoknak, akik nem tudják, mit akarnak, fel kell ajánlani a feltárási ablakot, hogy lehetőséget kapjanak a kutatás kibővítésére, nem pedig a túl szűkítésére.

Ezenkívül egyesek rugalmasak, mások nem. Az adattudomány elősegítheti az emberek rugalmasságának előrejelzését, és ki nem az. Megjósolhatjuk, mely időpontok érdekesek? Melyek az emberek? Ez nagyon fontos, mivel a leginkább bosszantó dolog, amikor csak egy adott hetet keres, 50% -os engedmény a következő hétre.

Milyen adatokat használ modellel?

Alig áll rendelkezésre felhasználói profil adat, ami szerintem az egyik legnagyobb félreértés. Amikor a weboldalunkon landol, csak a sütijét, az Ön IP-címét kapjuk meg, és tudjuk, hogy melyik böngészőt használja. Erről szól. Tudjuk azonban, hogy mit csinálsz. Ez az egyik oka annak, hogy olyan sok irreleváns dolgot meg kell mutatnunk nektek, főleg az elején. Ha nem tudunk semmit az ügyféllel kapcsolatban, akkor feltételezhetjük, hogy minden profilhoz illeszkedhetnek. Megmutatjuk a különféle típusú jeleket és értelmezzük reakcióikat. Ez nagyon kihívást jelent, mivel az alapvető igazságot nagyon nehéz megszerezni. Valóban rugalmas ez az ügyfél? Vagy csak véletlenszerűen reagál? Mindez nagyban a felügyelet nélküli tanulásra támaszkodik.

"Alig van olyan felhasználói profil adat, amely szerintem az egyik legnagyobb téves észlelés."

Élet a Booking.com-on

És most valami teljesen más dologról: sokat utazol maga?

Régebben gyerekek voltam, haha! Most három kislányom van, és a világ felfedezése sokkal nehezebb. A Booking.com egyik kedvező tényezője az, hogy több mint 100 nemzetiségű itt az irodában, így még mindig találkozom az emberekkel a világ minden tájáról anélkül, hogy magam utaznom kellene! Ez a kulturális sokféleség valóban nagyon fontos számunkra. A világ minden tájáról származó embereket kiszolgáló utazási társaság számára fontos, hogy megpróbáljuk megérteni termékünket a lehető legtöbb szempontból. A sokféleség erőt ad nekünk.

Hogyan néz ki a szervezete?

A Booking.com kicsit másképp van megszervezve, mint a legtöbb társaság, és ez eredetileg az egyik oka volt számomra, hogy a Booking.com iránt szeretnék dolgozni. Tanácsadási éveim során számos olyan társaságot láttam, amelyek teljesen elszigetelten működő részlegeket építettek a belső felelősség köré: IT, marketing, értékesítés stb. Itt az osztályok az ügyfelek tapasztalatai és a termékek köré épülnek. Olyan multidiszciplináris csapatokkal dolgozunk, amelyek a termékünk egy adott részéért felelősek, és a lehető leghatalmasabbá és önellátóbbá váltak. Például egy 8 fős csapat, köztük fejlesztők, tervezők, copywriterek és terméktulajdonosok felelhetnek egy eszközért, amely segít a felhasználóknak fenntartásaik kezelésében. Saját kutatásukat készítik, saját tulajdonságaikat építik fel, és saját döntésüket meghozzák a termékkel kapcsolatban, a vezetés beavatkozása nélkül.

Hogyan osztják meg az ismereteket a vállalat egészében?

Noha belső társadalmi hálózatokkal rendelkezünk, a tudásmegosztás legjobb módja még mindig szemtől szemben van: csésze kávét inni és cuccokat beszélni. Mivel az emberek szinte mindig közel vannak a szükséges emberekhez, a kommunikáció szervesen folyhat. Szintén rotálunk az embereken és cserélünk csapatokat válaszul arra, amire a felhasználóknak szükségünk van, így az emberek nagyon gyorsan megismerik sok kollégát és szervezetünk különböző részeit.

Ha Ön is szereti a kávét, és szeretne egy intim képet az életről a Booking.com oldalon, nézd meg!

Filozófusok, távcsövek és az adattudomány jövője

Hogyan változik az adattudomány a jövőben?

Azt hiszem, és az emberek valószínűleg nem ezt akarják hallani, az elemzés presztízsű része; a modellezés, az ideghálózatok megvalósítása, a logisztikus regresszió vagy bármi más, amit megvan, a legkönnyebb automatizálni, ezért előbb automatizálni kell. A fekete dobozon kívül eső rétegeket nehezebb automatizálni, tehát az adatgyűjtés, a szolgáltatás tervezése, a kimeneti modellezés, a döntéshozatal és az okozati következtetések továbbra is kulcsfontosságúak. Minden modell csak annyira jó lehet, mint bármi, amit beillesztettél, és az is, ahogyan visszatér neked valamit. Az ilyen külső rétegeken dolgozó embereket gyakran filozófusoknak és teleszkóp-építőknek nevezem. A filozófusok az egész rendszerre és a működő világra gondolnak, míg a távcsövek építői a körülöttük lévő világ pontos mérésének technikai szempontjaira összpontosítanak. Végül azt hiszem, hogy ezek a munkahelyek megmaradnak.

„Úgy gondolom, hogy az elemzés presztízsű része; a neurális hálózatok modellezése, megvalósítása, vagy bármi más, a legkönnyebb automatizálni, ezért előbb automatizálásra kerülnek. ”

Te tehát filozófus vagy távcső-építő?

Azt hiszem, mindkettő vagyok, de a legjobban szeretek filozófizálni. Gondolkodás a koncepciókon; a rendszer. Valójában elkezdtem tanulni a számítástudományt, mert jól jártam a biológiában. A középiskolai vizsga során felmerült a kérdés: egy betegnek fehérje van a vizeletében, mi lehet a baj? Szerettem megoldani az ilyen típusú problémákat, és azt hiszem, ez nagyon hasonló a hibakeresési kódhoz. A szoftver hibát eredményez, mi okozta azt? Van ez a hatalmas komplex rendszer, mint egy emberi test, amelyben sok rész kommunikál egymással, és így vagy úgy nem kapjuk meg a kívánt eredményt. Azokat a rejtvényeket oldom meg, amit nagyon szeretek.

Az alábbi inspiráló beszélgetésben Lukas részletezi ezt a két jelenséget, a káposztát és még sok minden mást.

Adattudomány, málna és macska tanulmányozása

Ön szerint mit kell összpontosítania az adattudományi tanulmányokra?

Valójában már mondtam: a filozófusok és a távcsövek építőinek felhívásakor. Kívülről látom, hogy gyakran a hangsúly bizonyos modellek vagy technológiák alkalmazására, a számok összeroppantására, előrejelzésére, Hadoop-ra stb. Elsősorban a mérések és következtetések megbízhatóságának értékelésére szeretnék összpontosítani. Olyan kérdések feltevése, mint például: Hogyan tudom megtervezni a szolgáltatásaimat úgy, hogy azok tökéletesen szolgáljanak a gép számára? Hogyan használhatom a kimenetet a legjobb döntések meghozatalához? Melyek az érvényesség belső és külső veszélyei? Ne csak az elemzésre összpontosítson, hanem vonja be azt is, ami előtte és utána jön. Az adattudomány nem csak az elemzésről vagy a modellről szól, hanem nagyon sok körülményről szól, amelyben felhasználják őket.

A macska

Ezt magad gyakorolhatja! Csak vesz egy Raspberry Pi, USB hőmérőt, és mérje meg a ház hőmérsékletét. Írj egy kis szkriptet, amely minden percben rögzíti a mérést, és hamarosan megkapja az adatkészletet. Tegyük fel, hogy egy egyszerű prediktív modell segítségével meg akarja jósolni otthonának hőmérsékletét a külső hőmérséklet alapján. Tudsz találni olyan módszereket, amelyekkel ez rosszul fordulhat elő? Milyen veszélyeket fenyeget a modell és az Ön által használt adatok? Áramkimaradás következhet be, a macskája ült a hőmérőn, az anyád jött, és megemelte a melegítést. Sok váratlan dolog történhet. Egy ilyen egyszerű kihívás segít gyakorolni az adatok esetleges hibáinak előrejelzését, és megtanulhatja, hogyan lehet még pontos előrejelzéseket készíteni, vagy legalább tudja, mikor nem tudja.

Úgy gondolom, hogy amikor egy ilyen problémával foglalkozik, a legkevésbé érdekes rész az, hogy milyen konkrét modellt fog használni az előrejelzéshez. Legyen szó idegi hálózatról, lineáris regresszióról vagy bármi másról. Ez a legegyszerűbb rész! A legfontosabb: a macskám ült a hőmérőn, és nem tudom pontosan, hogy mikor! Hogyan fogom megtisztítani az adataimat, hogy azok alkalmasak legyenek a pontos előrejelzésekre? Lehet, hogy talál egy mintát is, és kiderül, hogy a macska ott ül minden reggel 7 órakor, akkor beillesztheti macskáját a modellbe, haha! De nem viccek, srácok, erről szól az adattudomány. Ezek végül olyan problémák, amelyekkel a való világban is szembe kell néznie.

„Szüksége van egy egészségügyi tudósra, amely képes az egészségmegfigyelés ellenőrzésére. Valaki, aki látja a 2024-es adatokat, és azt gondolja: „De ez még nem 2024!”

A macska természetesen ostoba példa, de sok hasonlóság van azokkal a dolgokkal, amelyekkel a gyakorlatban küzdünk. Ismeri ezeket a mobil játékokat, ahol a játékosoknak várniuk kell még egy napot, hogy több érmét szerezzenek? Tudja, mit csinálnak az emberek? A telefon dátumát csak egy nappal előre állítják be, mert akkor nem kell egész nap várniuk! És újra megismételik ___ és újra. Aztán megnyitják a Foglalás alkalmazást. Tehát az adatok lekérésekor az alkalmazás azt mondja: gratulálok, ez a személy holnap rákattintott a linkre. Nos, szerinted milyen pontos lesz a modellem, ha ezeket az adatokat felhasználtam? Még a leg intelligensebb modellek sem fogják megtalálni ezt a fajta dolgot! Amire szükséged van egy adattudósnak, aki képes az egészségmegfigyelés ellenőrzésére. Valaki, aki tudja, hogy ne készítsen modellt anélkül, hogy először ellenőrizné az adatokat. Valaki, aki látja a 2024-es adatokat, és azt gondolja: „De ez még nem 2024!” Azok az emberek, akikre szükségünk van.

Miután ebédre meghívtak és megvitattuk Lukas korábbi ambícióit, hogy figyeljék az IMDb top 250-et, Jasper és én kétségeink maradtak, bár inspiráltak. Miközben kissé szégyenletesen állítottuk vissza a telefonomat a tényleges dátumra, megkérdeztük magunktól, hogy filozófusok vagy távcső-építők akarunk-e lenni. Annak ellenére, hogy ismerem a természetem, előfordulhat, hogy értékes kombinációk vannak a két profil között. Az egyik biztosan Lukas Vermeer.