Modely se za poslední rok skokově zlepšily. Jenže pro všechny stejně. My jsme se v týmu za tu dobu dostali z 5,3 na 13,7 PR na člověka a měsíc, já osobně ze 4,8 na 51,3. Zlepšili jste se taky tak? Pokud ne, tady je pár věcí, které nám fungují a dost možná pomůžou i vám.
Stejný model, jiné výsledky
Claude, GPT, Gemini. Všichni máme přístup ke stejným modelům. Když tedy jeden tým s lepším modelem letí a druhý přešlapuje na místě, nebude to modelem. Bude to tím, co kolem něj ten tým postavil. Pravidla, nástroje, skills, CI.
Hned na začátku ale poctivě: velkou část našeho zrychlení udělaly samotné modely. Nebudu tvrdit, že jsme si všechno vymysleli sami. Spíš chci ukázat, co jsme kolem nich postavili a co z toho reálně vidím v číslech.
Celé se to týká repozitáře Keboola Connection. V našem týmu na něm děláme v pěti lidech, ostatní přispěvatelé jsou z jiných týmů. Srovnávám zimu a jaro přelomu let 2024 a 2025 s letošním létem a podzimem.
Nejdřív čísla
| prosinec 2024 – květen 2025 | červen – říjen 2026 | |
|---|---|---|
| PR na člověka a měsíc (tým) | 5,3 | 13,7 |
| Moje PR za měsíc | 4,8 | 51,3 |
| Můj medián do merge | 48,9 h | 18,6 h |
| Komentáře od review botů na PR | 0 | 2,7 |
Týdenní počty PR v repozitáři od března do konce října 2026.
Ještě jednou: kus z toho jsou čistě lepší modely. A většina našich skills nenechává žádnou stopu, takže všechna čísla níže berte jako spodní hranici.
Tak co jsme vlastně udělali?
Pravidla na jednom místě
Dřív jsme měli jen CLAUDE.md. Jenže jsme chtěli repo otevřít i dalším agentům, a tak jsme v červnu 2025 udělali z AGENTS.md jediný vstup s pravidly. CLAUDE.md ho teď jen importuje. A komentáře, které píše AI, jsou podepsané. Na první pohled je vidět, co napsal člověk a co agent.
Jeden vstup pro lidi i agenty
V dubnu 2026 jsme s Martinem Zajícem, se kterým dáváme dohromady celý náš agentický setup, postavili ./bin/kbc. Jedno CLI, přes které se dělá všechno. Spuštění testů, statická analýza, příprava prostředí. Dneska má 65 tasků a odkazuje na něj 21 z 33 našich skills. K tomu kbc doctor, který zkontroluje, jestli je prostředí v pořádku.
Každý z nás ho používá denně několikrát a agenti ještě násobně víc. Když agent i člověk používají stejný příkaz, agent nemusí hádat, jak se tady co pouští. A člověk taky ne :-)
Skills na práci, která se opakuje
Martin sepsal v březnu 2025 návod na migraci endpointů. Letos v únoru z něj udělal skill migrate-endpoint. Na něj jsem v září navázal skillem migrate-highway.
Migrace se pak rozjely. Z 3,7 migrovaných akcí za měsíc jsme se dostali na 23,2. Ze 270 starých Zend akcí jich zbývá 72.
Časově se to sice kryje s nástupem lepších modelů. Ale hlavní výhoda skillu je jinde. Agent na jedno jednoduché zavolání ví, co má dělat. Nic mu nemusíte vysvětlovat, ukazovat ani se o něj starat. Celé to udělá sám.
Agent si E2E testy pustí sám
Skill run-e2e-ci spustí na CI workflow E2E Single Suite. Pustit jde celá suita, nebo i jediný test. Jen v říjnu jsme ho pustili 238×.
Nikdo z nás se už nemusí zabývat tím, jak si nastavit lokální setup. A ten je u nás hodně komplikovaný kvůli testování Snowflake, BigQuery a dalších zapeklitých případů. Autor změny prostě nastaví CI, napíše test a pak si ho může pustit každý, kdo mění stejný kód.
Jak jsme ty E2E testy vůbec zrychlili, jsem psal v článku Jak jsem zrychlil E2E testy v Keboole.
PR ready-for-review bez člověka
Tohle je pro mě asi nejdůležitější kus. Skill babysit-pr hlídá PR. Řeší padající CI a připomínky z review. Agenti si spolu povídají přes komentáře na GitHubu a většinu námitek vyřeší dřív, než se tomu vůbec musí začít věnovat člověk.
Z AI tak vypadne PR, který je ready-for-review. Bez zásahu člověka.
Používá ho sedm až osm lidí a v září i říjnu takhle agent pohlídal přes sto PR měsíčně.
Druhý review bot, když Copilotu dojdou limity
Label ai-review přidá na PR náš vlastní review bot. Běží nad Gemini a dělá nám další review místo Copilota, když mu dojdou limity. Kód je na GitHubu jako ai-codereviewer.
Máme ho od března 2025 a jen v říjnu ho ostatní na PR přidali 183×. Medián do merge mezitím klesl ze 49 h na 26 h, a to ještě předtím, než tým začal používat Claude Code.
Z Linearu až k PR na review
Skill ship-task vezme task z Linearu a dotáhne ho až k PR připravenému na lidské review. Takhle vzniklo 53 mých PR s mediánem do merge 15,9 h. U PR stejné velikosti bez něj je to 49,2 h.
Dobře připravený task v Linearu nebo RFC zvládne agent vždycky, takže samozřejmě hodně záleží na přípravě. Výhoda ship-task je ale zase hlavně v tom, že nám ulehčuje práci. Stačí mu ID issue z Linearu nebo markdown soubor se zadáním a jeden jednoduchý prompt provede agenta celou cestou. Nejdřív si zadání zanalyzuje znovu, protože kód se od sepsání tasku mohl posunout, a připraví plán. To je jediné místo, kde čeká na mé schválení. Pak úkol naimplementuje v izolovaném worktree, udělá si vlastní review, pustí testy včetně E2E a otevře draft PR. Následně v subagentovi spustí babysit-pr, který hlídá CI a vypořádá review vlákna od botů i podepsaných AI review. Lidská vlákna nikdy sám neresolvuje. Když je všechno zelené, přepne PR na ready-for-review a hlídá ho dál až do lidského schválení. Napíšete jeden rychlý řádek, odkliknete plán a za pár desítek minut se vrátíte k zelenému PR, které už prošlo agentickými review koly a čeká na lidské review.
Technický dluh uklízí agent
PHPStan baseline. Ten soubor, kam se schovávají chyby, na které „teď nemáme čas“. Měli jsme v něm 2 467 chyb. Dneska jich tam je 1 081. Uklízí je skill, který si chybu vezme, opraví a ověří.
Tohle je přesně práce, na kterou člověk nikdy nemá čas, a agentovi to nevadí.
Otevřené dveře pro další agenty
Tým používá hlavně Claude Code. Ale nechtěli jsme se uzamknout u jednoho agenta. Přesunuli jsme proto 31 skills do .agents/skills, takže fungují i s Codexem a Copilotem. Hned potom se na PR objevily první review komentáře od Codexu.
Hlavní přínos je ale jinde. Teď můžou přijít lidi z jiných týmů ve firmě se svými agenty a jejich PR jdou většinou začlenit bez větších úprav. A my máme otevřené dveře k dalším agentům a experimentům.
Kde bych začal
Celkový objem PR rostl hlavně díky modelům. Setup sám zázraky nedělá. Ale bez něj bychom tolik PR prakticky vůbec nezvládli.
Kdybych to stavěl znovu, šel bych v tomhle pořadí:
- Pravidla na jednom místě (
AGENTS.md). - Jeden CLI vstup pro lidi i agenty.
- Skills na opakovanou práci.
- CI, které si agent pustí sám.
- Agent, který hlídá PR až do stavu ready-for-review.
- Nezávislost na jednom agentovi.
Lepší model dostanete zadarmo. Tohle všechno kolem si musíte postavit sami.
