[B급 프로그래머] 11월 4주 소식(개발/설계/경력관리/보안/클라우드/데이터베이스 관련 소식 정리)

(오늘의 짤방: still thinking about this one via @__ielm__)

개발 관련 소식

1. 팁과 유틸리티
   • 단축어 모음 - 깨진 파일명 수정(MacOS X)
   • GN⁺: Ansel - 오픈소스 사진 편집 소프트웨어 (ansel.photos)
   • Awesome Engineering Games
   • “설마 나 차단 된 거야?!” 아이폰 수신 거부의 징후
   • DOS_Deck - DOS 게임을 브라우저에서 실행 (dosdeck.com)
   • "만들기보다 버리기가 더 중요한 이유" 윈도우 휴지통 팁
   • Pretendard 제작자가 참여한 새로운 폰트 Wanted Sans (github.com/wanteddev)
   • Monaspace - An innovative superfamily of fonts for code
2. 프로그래밍
   • Setenv는 쓰레드세이프 하지 않으며, C는 이를 수정하고 싶지 않음 (evanjones.ca)
   • Relearning C++ after C++11
   • GN⁺: Git 브랜치 : 직관과 현실 (jvns.ca)
   • Fortran 2023 릴리즈 (iso.org)
   • [Java][JVM] JVM internals basics - Stop-the-world phase (safepoints) - how it works?
   • Leantime - 오픈소스 JIRA 대체제 (github.com/Leantime)
   • 서버사이드 테스트 파랑새를 찾아서
   • Challenging algorithms and data structures every programmer should try
   • 웹 어플리케이션의 역사
   • Java 21: So How Should We Construct Strings Now?
   • MQTT 의 이해부터 테스트까지 (feat. POS 연동)
   • GN⁺: UneeBee - Duolingo와 같은 코스 제작을 위한 오픈소스 (uneebee.com)
   • Caching 101: The Must-Know Caching Strategies
   • How we approach testing VSTS to enable continuous delivery
   • Inko - Concurrent 소프트웨어 개발을 위한 프로그래밍 언어 (inko-lang.org)
   • 윈도우 핀볼 게임 이야기
   • 𝗛𝗼𝘄 𝘁𝗼 𝘁𝗲𝘀𝘁 𝗴𝗥𝗣𝗖 𝗔𝗣𝗜𝘀 𝘄𝗶𝘁𝗵 𝗣𝗼𝘀𝘁𝗺𝗮𝗻
   • Bluefish: Because your diagrams are worth it. Create beautiful, customizable diagrams with declarative code
   • Level-up your Java Debugging Skills with on-demand Debugging
   • Why Rust in Production?
   • Optical Character Recognition (OCR) Made Easy with the .NET PDF Library in C#
   • How to create a PHP Playground for your documentation
   • The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!)
   • Defragment your PHPUnit tests
   • Bitbucket Vs GitHub: The Battle of Two Version Control Platform Titans
   • Switching Build Systems, Seamlessly
   • Smallchat - TLDR: This is just a programming example for a few friends of mine.
   • Write Clean Code to Reduce Cognitive Load
   • Why does PostHog exist? Our mission and strategy
   • Let’s create a Python Debugger together: PyData Talk
   • GN⁺: WASM by Example - 예제로 배우는 WASM (wasmbyexample.dev)
   • Understanding Git: The history and internals
   • How to Write Beautiful Python Code With PEP 8
   • uapi is an elegant, high-level, extremely low-overhead Python microframework for writing HTTP APIs, either synchronously or asynchronously.
   • sshx - 빠르고 협업가능한 웹 기반 터미널 (github.com/ekzhang)
   • Debugging CSRF Failed / 403 Forbidden errors in Django
   • The 'eu' in eucatastrophe – Why SciPy builds for Python 3.12 on Windows are a minor miracle
   • An unbiased evaluation of environment management and packaging tools(for Python)
   • Python errors as values: Comparing useful patterns from Go and Rust
   • Guide to Hash Tables in Python
   • Confusing git terminology
   • Building a Python compiler and interpreter
   • TIL: Django constraints
   • Let's Make A Silly JSON-like Parser
   • Everything You Can Do with Python's bisect Module
   • Four Kinds of Optimisation
   • Emulating IoT Firmware Made Easy: Start Hacking Without the Physical Device
   • 싸가지 있게 또두리스트 리팩토링하기. '청소광 브라이언' 보다가 더러운 코드 상태 찔려서 리팩토링한 과정을 기록해봤습니다.
   • Ruff - An extremely fast Python linter and code formatter, written in Rust.
   • This is the "C++ guidelines and good practices" document by Jan Wilmans (c) 2023.
   • VSCode for Linux kernel development
   • Windows에서 WSL(Linux 개발 환경) 구축하기
   • @Nodejs allows you to split your test files into different machines 🤯💥
   • Slint is a declarative GUI toolkit to build native user interfaces for desktop and embedded applications written in Rust, C++, or JavaScript.
   • listmount() and statmount()
   • Common Gotchas — The Hitchhiker's Guide to #Python
   • 선언적 빌드시스템 제작을 위해 Jetbrains, Gradle 그리고 Google이 협업 (blog.gradle.org)
   • React Datasheet Grid - Airtable/Excel과 비슷한 스프레드시트 컴포넌트 (github.com/nick-keller)
   • BabaBASIC - 안드로이드용 QuickBASIC 4.5 (github.com/ianatha)
   • minimal-raft - a minimalistic implementation of RAFT algorithm
   • How git cherry-pick and revert use 3-way merge
   • The Danger of Atomic Operations
3. DevOps
   • act - Run your GitHub Actions locally!
   • The 6 Pillars of Platform Engineering: Part 2 — CI/CD & VCS Pipeline
   • The Pillars of Platform Engineering: Part 3 — Provisioning
   • Cilium is an open source, cloud native solution for providing, securing, and observing network connectivity between workloads, fueled by the revolutionary Kernel technology eBPF
   • Toxiproxy is a framework for simulating network conditions.
   • GN⁺: AWS에서 베어-메탈로 이전하여 연간 23만 달러(3억원) 절약 (blog.oneuptime.com)
   • 따끈따끈한 전사 로그 시스템 전환기: ELK Stack에서 Loki로 전환한 이유
   • SCA 도구 도입을 위한 15가지 BMT 체크리스트
   • 오픈소스가 여전히 엔터프라이즈 IT의 미래인 이유
   • 내부망에서 Nexus Repository 구축하기
   • CPU 이용률의 두 가지 얼굴 – CPU 코어 사용량(Usage)과 활용률(Utilization)
   • Google Play의 새로운 개인 개발자는 앱 출시에 20명 이상의 테스터가 2주이상 앱을 테스트해줘야 배포 가능 (support.google.com)
   • Best practices for container image in K8s
   • Infrastructure as Code Landscape in 2023
4. 설계
   • 다중 이미지 업로드 최적화: 병렬 스트림과 CompletableFuture
   • Towards Modern Development of Cloud Applications
   • Architecture Patterns : Backend For Frontend (BFF) Pattern
   • Kernighan and Pike were right: Do one thing, and do it well
   • How one line of code caused a $60 million loss
   • IBM MQ -> RabbitMQ -> Kafka ->Pulsar, How do message queue architectures evolve?
   • Make Sure Your Application Comes Correct with Correctness SLOs
   • Architectural Decisions — The Making Of
   • Integrate statecharts into your code
   • Designing a Next-Level EventCatalog Setup for Event-Driven Architectures
   • Distributed System Design — Scaling from 1–1K, 1K -10K, 10K-100K, 100K-1M, and 1M to 1B users.
   • The Architecture Of Serverless Data Systems
   • DEATH BY A THOUSAND MICROSERVICES
   • Creating Test Objects via Design Patterns
   • Designing Your Postgres Database for Multi-tenancy
   • Microservices Architecture, The Hard Parts : Resilient Patterns
   • Pinterest가 6명의 엔지니어만으로 1100만명의 사용자로 확장한 방법 (engineercodex.substack.com)
   • Show HN: Jeeves – A Pythonic Alternative to GNU Make
   • Synchronous Multi-Region Replication With Raft and Shared-Nothing Distributed Architecture
   • Domain Decomposition at Klaviyo: Divide to Conquer
5. 경력 관리와 개발문화
   • AI 스타트업 유감
   • 경력 인재 잘 뽑으면 끝? 그 다음이 문제다.
   • GN⁺: 구글에서의 18년을 돌아보며 (ln.hixie.ch)
   • 현미경 지옥
   • JetBrains가 조사한 2023년 개발자 에코시스템 현황 (jetbrains.com)
   • 크몽 디자인 시스템 v.2.0구축기
   • 𝗪𝗲 𝗮𝗿𝗲 𝘀𝗼𝗳𝘁𝘄𝗮𝗿𝗲 𝗲𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝘀, 𝗻𝗼𝘁 𝗱𝗲𝘃𝗲𝗹𝗼𝗽𝗲𝗿𝘀
   • GS리테일 주니어 개발자 온보딩
   • The Fall of Stack Overflow
   • 잃어버린 시간을 찾아드립니다! 6년의 고민 끝에 나온 찐 시간 관리 비법 3가지 (상상스퀘어 김주현이사)
   • 개발 조직문화는 어떻게 시작 해야할까?
   • Build a career path by multiplying your value
   • From Technical Debt to Design Integrity
   • ‘공유경제’ 탈 쓴 위워크 위기… 업계 ‘종말’ 아닌 ‘성장통’[글로벌 포커스]
   • [대한민국 오피스 지도] “여의도가 가장 빨리 출근하고, 판교가 제일 늦게 퇴근했다”
   • 최대 30명까지 함께 사용할 수 있는 화이트보드 ‘tldraw’
   • 기술 궁합만큼 중요한 성격 궁합··· 팀원 간 '케미'도 감안하시나요?
   • SW기업 창업 후 5년 내 57.6% 폐업...제값 못 받는 것이 원인
   • [독서광] 테니스 이너 게임(본인이 작성한 글)
   • 카카오스타일 전면 재택 폐지·본사 판교 이전… 실적 부진 탓
   • Usage-Based Pricing Is Popular, But Is It Right For You? Our Rule of Thumb
   • "옆팀 막내 또 관뒀대"…떠나는 신입들, 돈 때문이 아니었다 [곽용희의 인사노무노트]
   • What stage startup offers the best risk-reward tradeoff?
   • The Unseen Inequity of Cognitive Labor
   • 티빙의 ‘결’을 디자인하다
   • 포르쉐 오픈소스 플랫폼 (opensource.porsche.com)
   • How GitHub Engineering communicates
   • How I quit my $600k data engineering job at Airbnb and made $600k in 7 months from content creation and teaching
   • 어디 학교에서 코딩 테스트 준비 방법을 주제로 강연을 하고 왔는데 발표자료가 반응이 좋아서 퍼블릭하게 공유해 봅니다
   • How platform teams get stuff done
   • Innovative growers: A view from the top
   • Organize your Week as an Engineering Manager
   • Column_잘 지는 법_2023.11.11
   • 3 Reasons Subscription Services Fail

보안/클라우드/데이터베이스 관련 소식

1. 보안
   • ShellTorch flaws expose AI servers to code execution attacks
   • The 6 Pillars of Platform Engineering: Part 1 — Security
   • I Have a Verifiable Credential, Now What?
   • Firefox and Fastly take another step toward a privacy upgrade for the internet
   • The GRU's Disruptive Playbook
   • Google Chrome's new "IP Protection" will hide users' IP addresses
   • What the !#@% is a Passkey?
   • 베트남 우체국, 클라우드 설정 실패로 1.2TB의 민감 정보 노출시켜
   • Google shares plans for blocking third-party cookies in Chrome
   • ‘애플식’ 앱 사이드로딩, 힌트는 MAD 시스템
   • 클라우드 네이티브 애플리케이션을 위한 6가지 필수 보안 수칙
   • VPN이 정말 익명성을 보장할까
   • WAF(웹 어플리케이션 방화벽)를 사용하지 마세요 (macchaffee.com)
2. 클라우드
   • 어느덧 복잡한 방정식··· 구글, 클라우드 가격 요인 소개
   • 후기 서비스 AWS Opensearch 도입기
   • ‘인재와 기술 부족’… IT 서비스를 위한 전략적 MSP 활용 방법
   • 어느 클라우드 전문가의 2024년 클라우드 예측
   • AWS Pricing Update: The Shift in Public IP Costs
   • CNCF Platforms White Paper
   • Use AWS Graviton processors on AWS Fargate with Copilot
   • Introducing advanced logging controls for AWS Lambda functions
   • Distributed Transactions at Scale in Amazon DynamoDB
   • Amazon Time Sync Service now supports microsecond-accurate time
   • Rust vs. Go, Java, and Python in AWS Lambda Functions
   • Microsoft Refreshes its Well-Architected Framework
   • Amazon CloudFront, 통합 보안 대시보드 발표
3. 데이터베이스
   • Optimizing PostgreSQL: A Comprehensive Guide to Wait Events and Performance Troubleshooting
   • Timescale Introduces Dynamic PostgreSQL, an Alternative to Serverless Databases
   • Polystores: The Data Management Game Changer
   • SQLite: The Database Behind BILLIONS of Devices
   • PolarDB-SCC: A Cloud-Native Database Ensuring Low Latency for Strongly Consistent Reads
   • LINE 오픈챗 서버가 100배 급증하는 트래픽을 다루는 방법
   • THE IMPLEMENTATION OF POSTGRE
   • CDB64 - This is a native Go implementation of cdb, a constant key/value database with some very nice properties, but without the 4GB size limit.
   • 어떤 경우에 한 방 조인 쿼리와 여러 개 쿼리 분리를 고려할 수 있을까?

(보너스: As a programmer - don't give up 🚀 via @daboigbae)

EOB

[B급 프로그래머] 11월 3주 소식(빅데이터/인공지능, 하드웨어, 읽을거리 부문)

(오늘의 짤방: via @svpino)

1. 빅데이터/인공지능
   • 엔비디아, RAG 위한 레퍼런스 아키택처로 생성형 AI 구축 지원
   • Microsoft Teams launches creepy AI webcam trick that cleans up your dirty room
   • 메타, 초보자를 위한 '라마 2 사용법 5단계' 소개
   • 우아한형제들-MS, 생성형 AI 솔루션 분야 MoU 체결
   • “생성형 AI 워크로드 감당할 수 있는 기업, 20%도 안 돼” 시스코 조사
   • 직장 내 생성형 AI 사용 정책이 필요한 이유…“비윤리적 사용례 절반 이상”
   • One thing I haven't seen much talk about is how GPT-4v largely solves the longstanding OCR problem of math->LaTeX.
   • Real Time Latent Consistency Model Hosted on fal.ai
   • Let's take a simple tutorial about AnimateDiff openpose+inpainting workflow!
   • 구글 DeepMind, AI 음악 생성 모델 Lyria 공개 (deepmind.google)
   • AI: The Coming Revolution
   • A Survey on Language Models for Code
   • Multi-document Agents - Individual agent per document capable of semantic search/summarization
   • OpenAI, CEO 샘 알트먼을 내보내기로 결정 (openai.com)
   • Accelerating Generative AI with PyTorch: Segment Anything, Fast
   • Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models
   • Yea… I am done. lol 🤯 I just drew a game and it works… 💀
   • 🐕 The Golden RAGtriever (upgraded)
   • OpenAI Announces ChatGPT Voice and Image Features
   • LLMs confabulate not hallucinate
   • 구글 딥마인드, 사이언스지에 날씨 예보 AI 모델 '그래프캐스트' 발표
   • 마이크로소프트, 코파일럿 사용자화 할 수 있는 ‘코파일럿 스튜디오’ 공개
   • MS, 다이내믹 365에서 코파일럿 AI와 혼합현실 통합 발표 "현장 기술직에 유용할 것"
   • 클라우데라 “기업용 생성형 AI 구축, 신뢰할 수 있는 데이터가 핵심”
   • state charts + wireframes + annotations
   • TabNet: Attentive Interpretable Tabular Learning
   • Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning
   • The Chosen One: Consistent Characters in Text-to-Image Diffusion Models
   • 구글 클라우드, 생성형 AI 기반 기업 기술 혁신 지원 강조
   • MS, 통합 데이터 플랫폼 '패브릭' 정식 출시 - 데이터 수집부터 AI 학습까지 통합 엔지니어링 환경 제공
   • We’re launching one of the first-ever guides on evaluating a multi-modal RAG system ☝️🧑‍🔬
   • Evaluating Multi-Modal Retrieval-Augmented Generation
   • Make Real - 그림을 동작하는 소프트웨어로 바꾸기 (makereal.tldraw.com)
   • screenshot-to-code - This is a simple app that converts a screenshot to HTML/Tailwind CSS. It uses GPT-4 Vision to generate the code, and DALL-E 3 to generate similar looking images.
   • 마이크로소프트, 로컬 AI 개발도구 '윈도 AI 스튜디오' 출시
   • AutoML로 완전한 자동화를 달성할 수 있을까?
   • Microsoft AI Ignite 이벤트 발표 제품들 요약 [8분] (youtube.com)
   • 생성 AI 스타트업은 언제 어떻게 돈을 벌까
   • When to use Whisper v2 vs Whisper v3 vs Distiled Whisper? 👀
   • So NVIDIA has deployed a *ton* of LLMs and LLM-enabled applications, both internally and externally
   • Training Distil-Whisper
   • [한국형 생성형AI]③ 통신·IT업계, 앞다퉈 AI 솔루션 B2B 진출…수익은?
   • 보안, 프라이버시, 그리고 생성형 AI
   • “AI PC로의 도약” 윈도우 11 2023 업데이트의 새로운 기능 4가지
   • CB인사이츠, '오픈소스 AI 개발 시장 지도' 발표
   • 생성형 AI 인프라를 구축하는 ‘저렴한’ 방법은 없다
   • 워크데이 조사, "한국 기업들 AI 및 ML 구현 성공률 낮아"
   • 'AI 첫 걸음' SKT·KT·LGU+의 '믿는 구석' 데이터센터[통신사 LLM 전략]③
   • [MS이그나이트 2023] "최신 모델 GPT-4 터보, 바로 장착" 애저 오픈AI 서비스 강화
   • Found the system prompt that drives this thing(makereal.tldraw) here:
   • 배달의민족이 GPT를 활용하는 방법
   • OpenAI DevDay: Breakout Sessions
   • Introduction to Batch Processing using asyncio and Instructor(openai_function_call)
   • Tarsier - 웹 인터랙션 에이전트를 위한 비젼 유틸리티 (github.com/reworkd)
   • ChatGPT and AI: What's Next in Large Language Model (LLM) Architectures
   • Zapier AI Actions - AI플랫폼에서 Zapier의 자동화 액션을 실행하기 (actions.zapier.com)
   • ⚡️RAG w/ SQL + Semantic Search with PGVector⚡️
   • Exploring GPTs: ChatGPT in a trench coat?
   • GN⁺: OpenAI, GPT-5를 비롯한 AI 개발 로드맵 및 펀딩계획 공개 (siliconangle.com)
   • [체험기] 오픈AI의 GPTs로 '메일 답장봇' 만들었더니
   • The Real AI Challenge is Cloud, not Code!
   • Document Your Python Code and Projects With ChatGPT
   • HackerGPT is your indispensable digital companion in the world of hacking.
   • "보고서 작성부터 직원 삶의 질 개선까지" ㈜한화의 생성형 AI 챗봇이 하는 일
   • Scaling multimodal understanding to long videos by Google
   • 델 테크놀로지스-허깅페이스, 기업 온프레미스 생성 AI 애플리케이션 구축 단순화 및 배포 지원
   • Introduction of DeepSeek Coder
   • OpenGPTs - OpenAI의 GPTs를 오픈소스로 구현 (github.com/langchain-ai)
   • GN⁺: GraphCast - DeepMind의 기상 예보를 위한 AI 모델 (deepmind.google)
   • The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4
   • xAI Introduces Large Language Model Grok
   • Demoing SQLCoder-34B - Defog's SQLCoder-34B is a state of the art-models for generating SQL queries from natural language.
   • Distil-Whisper Web - ML-powered speech recognition directly in your browser
   • Distil-Whisper: distil-large-v2
   • 유튜브, 크리에이터에게 생성 AI 사용 공개 의무화
   • A GPT that emulates a Grammarly-like interface.
   • Generative AI x Healthcare Market Map
   • Scopus AI: Change the way you view knowledge
   • Assistants API Overview (Python SDK)
   • Hacking Google Bard - From Prompt Injection to Data Exfiltration
   • Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations
   • PyTorch Image Models
   • DB-GPT: Revolutionizing Database Interactions with Private LLM Technology
   • LLaMA Factory: Training and Evaluating Large Language Models with Minimal Effort
   • Build ChatGPT-like Apps with AI
   • State of AI 2023
   • EmotiVoice 😊: a Multi-Voice and Prompt-Controlled TTS Engine
   • LLaVA vs. GPT-4V Amidst Snow Geese Migration
   • Finally, we have a hallucination leaderboard! 😍😍
   • 5개월 사이에 ML 속도 3배 향상...AI 학습 성능 비약적 향상
   • Automated @NBA match commentary using @OpenAI vision and TTS (with code!)
   • A Survey of Large Language Models in Medicine: Progress, Application, and Challenge
   • The Practical Guides for Medical Large Language Models
   • Machine Learning Engineering Guides and Tools
   • AI가 만든 '스톡 이미지' 시대 열린다··· 셔터스톡, 오픈AI 이미지 생성기 API로 연동
   • '맞춤형 챗GPT' 제작 도구 출시...오픈AI 발표 내용 유출
   • More help with math and science problems in Search
   • MIT 18.06SC Linear Algebra, Fall 2011
   • Open Assistant - Y'ORG AI provides a local implementation of OpenAI's assistant.
   • 🔮 SuperDuperDB - Bring AI to your favorite database!
   • LlamaIndex Updates(2023/11/12)
   • OpenAI Assistant Advanced Retrieval Cookbook
   • OpenGPTs - This is an open source effort to create a similar experience to OpenAI's GPTs.
   • A study on 100s of consultants at BCG using ChatGPT with an intuitive finding that LLMs boost performance of the less skilled
   • 챗GPT 1년… “AI 강사와 회화 공부” 급증, 학원가는 일자리 걱정
   • AI에 올인한다던 손정의 회장은 왜 실패하고 있나[딥다이브]
   • 쉽파 - 'Do it! 쉽게 배우는 파이썬 데이터 분석'을 토대로 데이터 분석 방법을 알려줍니다.
   • The Alignment Handbook - Robust recipes to align language models with human and AI preferences.
   • AWS Unveils Gemini, a Distributed Training System for Swift Failure Recovery in Large Model Training
   • '몇몇 기업의 생존 위협할 수도...' 전문가들이 평가한 오픈AI의 데브데이 발표
   • 생성형 AI 시대 생존법?··· ‘통합 데이터 전략’에 주목하는 IT 리더
   • "엔씨소프트, 구글 클라우드 TPU 활용한 '바르코 LLM' 개발"
   • talk-llama - 터미널에서 LLaMA와 대화하기 (github.com/ggerganov)
   • 👉Visit this website and have your personal files inside Code Interpreter stolen!
   • Chat LlamaIndex - Create chat bots that know your data
   • Chroma Multi-modal embedding(파이썬 노트북)
   • 📝🔎 Multi-modal Indexing, Retrieval, RAG 🔎 🖼️
   • There's a new multi-modal RAG stack that's emerging, letting users do QA over complex documents and images.
   • A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
   • On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving
   • openai vision api experiments 🧪
   • Finetuning or RAG for external knowledge?
   • Intel® Extension for Transformers
   • “네트워크 업계도 생성형 AI로 변화 중··· 모든 제품에 AI 넣는다” 시스코 CIO 플레처 프레빈
   • xAI의 그로크 AI…일론 머스크도 뛰어든 생성형 AI 챗봇 시장
   • LLaMA Factory: Training and Evaluating Large Language Models with Minimal Effort
   • “영감이 샘솟는다” 오픈AI 데브데이에서 주목할 만한 새로운 툴 3가지
   • 구글, ‘생성형 AI 검색’ 한국어 지원 발표
   • MS, '기업용' 깃허브 코파일럿 출시...가격은 2배 인상
   • mPLUG-Owl2: Revolutionizing Multi-modal Large Language Model with Modality Collaboration
   • Alpa is a system for training and serving large-scale neural networks.
   • Effective XGBoost Code Repository
   • AI is coming to YouTube!
   • LogoSet-of-Mark Visual Prompting for GPT-4V
   • OpenRefine - 오픈소스 데이터 정제 및 변환 도구 (openrefine.org)
   • I created a custom @Gradio component to display PDFs!
   • 10 Minutes to RAPIDS cuDF's pandas accelerator mode (cudf.pandas)
   • ScratchDB is a wrapper around Clickhouse that lets you input arbitrary JSON and perform analytical queries against it.
   • AI Researchers Improve LLM-Based Reasoning by Mimicking Learning from Mistakes
   • Analyzing Data 170,000x Faster with Python
   • TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models
   • Giskard - ML 모델을 위한 테스팅 프레임워크 (github.com/Giskard-AI)
   • RedPajama v2 - LLM 훈련을 위한 30조(30T)개의 토큰 데이터 셋 (together.ai)
   • 라인 오픈챗, 생성 AI 기술로 ‘메시지 요약’ 해준다
   • 알파벳이 1300억을 투자한 산업 정보 검색 엔진, Alphasense 분석 (pinpointresearch.substack.com)
   • papers.day - daily arxiv paper summaries with instant search, convenient links, and images
   • 클라우드 기반 생성형 AI 프로젝트를 보류해야 하는 이유
   • 폐기물 모양·크기 척척 분류하는 AI…美 재활용 업체 도입 '쑥'
   • Don't build AI products the way everyone else is doing it.
   • 🦙 Python Bindings for llama.cpp
   • 3 Ways to Merge Pandas DataFrames
   • LLMs in the Real World: Structuring Text with Declarative NLP
   • Open questions for AI engineering
   • Pressure Testing GPT-4-128K With Long Context Recall
   • The new YOLO-NAS delivers state-of-the-art performance with the unparalleled accuracy-speed performance, outperforming other models such as YOLOv5, YOLOv6, YOLOv7 and YOLOv8.
   • Super interesting new open-source pose estimation model: YOLO-NAS Pose.
   • Assistant Agent with your own Vector Store / Retrieval API
   • Building My Own ChatGPT Vision with PaLM, KOSMOS-2 and LlamaIndex
   • SPADE ♠️ (System for Prompt Analysis and Delta-based Evaluation) will suggest binary eval functions for your prompt that you can run on all future LLM responses on.
   • 회사 법무팀에도 특화 AI가 필요한 이유
   • Data Filtering Networks
   • Multi-Modal LLM using OpenAI GPT-4V model for image reasoning
   • OpenAI claims GPT4-turbo is “better” than GPT4, but I ran my own tests and don’t think that's true.
   • OtterHD: A High-Resolution Multi-modality Model
   • 중국 스타트업 '01.AI', 오픈 소스 LLM 모델로 8개월 만에 유니콘 등극
   • Video Instance Matting
   • OpenAI JSON Mode vs. Function Calling for Data Extraction
   • HotDogGPT is OpenAI Vision API experiment reproducing the famous Hot Dog, Not Hot Dog app from Silicon Valley.
   • Building In-Video Search
   • Multi-modal RAG
   • OpenAI Assistant Agent
   • The @OpenAI retrieval API seems to be doing basic top-k RAG on limited context if there's context overflows.
   • CogVLM is a powerful open-source visual language model (VLM).
   • runwayml - We have released an update for both text to video and image to video generation with Gen-2, bringing major improvements to both the fidelity and consistency of video results.
   • GPT-4V + TTS = AI Sports narrator 🪄⚽️
   • pix2tex is a #Python library that allows you to convert images of equations into LaTeX code.
   • Email 난독화는 ChatGPT앞에 거의 무용지물 (bulkninja.notion.site)
   • How to Think Computationally about AI, the Universe and Everything
   • OpenAI has released the consistency model VAE decoder (used in DALL-E 3) for the Stable Diffusion 1.4/1.5 VAE
   • OpenAI, DevDay에서 새로운 모델 및 개발자 제품 공개 (openai.com)
   • LLaVaVision - llama.cpp/llava로 만든 "Be My Eyes" 웹앱 (github.com/lxe)
   • (OpenAI) New models and developer products announced at DevDay
   • OpenAI DevDay, Opening Keynote
   • When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming
   • The large-v3 model is trained on 1 million hours of weakly labeled audio and 4 million hours of pseudolabeled audio collected using large-v2.
   • Large Language Models Video
   • CodeT - This repository contains projects that aims to equip large-scale pretrained language models with better programming and reasoning skills.
   • PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion
   • MetNet-3 - Pytorch: Implementation of MetNet 3, SOTA neural weather model out of Google Deepmind, in Pytorch
   • What happens when you vectorize wide PyTorch expressions?
   • Paint has just received new AI features.
   • 대기업까지 Ko-LLM 경쟁 합류...롯데정보통신, 자체 데이터로 실력 과시
   • We present the Agent Protocol - a single common interface for communicating with agents.
   • 구글, 검색으로 기하학·미적분·물리 문제 풀이까지
   • Java and GPU … are we nearly there yet?
   • Embeddings: What they are and why they matter
   • NVIDIA H100 Tensor Core GPU
   • Announcing Grok
   • 일런 머스크의 xAi, 챗봇 AI Grok 발표 (grok.x.ai)
   • It’s Time for Boards to Take AI Seriously
   • Stability AI - 향상된 이미지 기능과 제품들 공개 (stability.ai)
   • Meet ClaireBot — a Conversational RAG LLM App with Social Media Context Data
   • How the Cloud Is Changing Data Science
   • 99% of Machine Learning courses teach you how to build ML models using static datasets. But real-world ML is a bit different...
   • 복잡하고 어려운 AI 구축, 빠르고 효율적으로 끝내기
   • [번역] 고양이, 큐비트, 그리고 순간이동: 양자 연산의 이상한 세계 (1편)
   • Keep Your AI Projects on Track
   • Waymax: An accelerated simulator for autonomous driving research.
   • State of AI 2023 [구글 Slide, 163P] (stateof.ai)
   • Deep learning from Basic to Advance
   • LLMs in real-world projects
   • The recent EmotionPrompt paper (Li et al.) shows that you can improve task performance across a ton of LLMs by simply adding statements like “This is very important to my career”
   • Advanced RAG 01: Small-to-Big Retrieval
   • 조카소의 이미지 생성형 AI 기술 및 AWS 서비스를 통한 바디프로필 이미지 생성 서비스 구축
   • SARATHI: Efficient LLM Inference by Piggybacking Decodes with Chunked Prefills
   • MedCPT: Zero-shot Biomedical IR Model
   • talk-llama - Talk with an LLaMA AI in your terminal
2. 하드웨어
   • “맞춤형 AI 칩 전성시대” MS, 자체 데이터센터 위한 마이아 AI 칩, 애저 코발트 칩 발표
   • [팩플] MS, 자체 개발 AI 반도체 공개했다…애플 제치고 시총 1위 오르나
   • 버스 도착 알림 전광판 만들기
   • GN⁺: Nividia, H200 Tensor Core GPU 릴리즈 (nvidia.com)
   • “8GB로 전문가용?” 심각해지는 맥북 프로의 메모리 문제
   • Android and RISC-V: What you need to know to be ready
   • "하한선만 확실하게" 저예산 노트북 고르는 기준 6가지
   • M3 맥스 16인치 맥북 프로 리뷰 | 검은 옷을 입은 매혹적인 괴물 노트북
   • 구글, AI 칩 'TPU' 프로모션 위해 앤트로픽 LLM 학습 지원
   • GH200- The latest AI supercomputer from Nvidia
   • [인터뷰] AI 급부상으로 수혜 누리는 서버 시장… ‘1위’ 자신감 내비치는 델
   • 하드웨어 해킹 랩 구축을 위한 초보자 가이드 (voidstarsec.com)
   • TPU vs GPU vs Cerebras vs Graphcore: A Fair Comparison between ML Hardware
   • NVIDIA L40S is the NVIDIA H100 AI Alternative with a Big Benefit
3. 읽을거리
   • ※귀여움주의※ 겨울만 되면 동글동글 빵빵해지는 참새, 털이 찐 걸까? 살이 찐 걸까? / 스브스뉴스
   • ‘대출 폭탄’ 두려운 기업들…단기로 돈 빌리고 지분 팔기까지
   • 미매뉴얼 2024 마케팅&소비&스타트업 트렌드 요약
   • 화제의 비만치료제 (위고비 vs 젭바운드) 3차 대전 간단 정리
   • 라듐 걸
   • Paprika | Full Movie | Throwback Toons
   • 빚 있는 가구 17%, 부채가 소득의 3배 넘어[머니뭐니]
   • '그대들은 어떻게 살 것인가' 소년이여, 현실을 꿈꾸어라!
   • Column_잘 지는 법_2023.11.11
   • 3 Reasons Subscription Services Fail
   • 한국 금융이 무너지고 있다[김영필의 SIGNAL]
   • 총격전도, 추격전도 없는데 긴장감이 넘친다···데이비드 핀처의 ‘더 킬러’
   • Research: How Price Changes Influence Consumers’ Buying Decisions
   • 인크로스, 2023 아이엠 리포트 발표… “시성비 시대, 10명 중 9명은 숏폼 본다”
   • 로블록스, "가상 세계 속 Z세대에 대한 인사이트 담은" 자체 보고서 발표
   • [단독] 방시혁 “K팝에서 K를 떼야 산다…이대로면 성장 한계 명확”
   • 스테이크 앞의 야만인들, 아웃백으로 2000억 대박 난 비결 [차준호의 썬데이IB]
   • 구글의 반독점 재판에서 공개된 '가장 수익성 높은 검색어들' (theverge.com)
   • 인플레이션 변수 근황 (feat 엘니뇨, 파나마운하, 가뭄)

(보너스: OpenAI의 공동 설립자 Andrej Karpathy가 고안한 AI 기반의 새로운 OS 설계도 via @thesedays_ai)

EOB

[독서광] 테니스 이너 게임

이번 주는 테니스 이너 게임을 소개하겠다.

방송 스크립트는 전체 공개되어 있으며, 슬라이드셰어에서 보거나 다운로드 받을 수도 있다.

하이라이트를 요약 정리하면 다음과 같다:

• 00:00 도입
• 00:35 한 페이지 요약
• 02:12 이 책의 목차
• 04:41 무엇이 이 책을 흥미롭게 만드는가?
• 09:38 대상 독자
• 10:43 결론과 마무리

EOB

[B급 프로그래머] 11월 2주 소식(개발/설계/경력관리/보안/클라우드/데이터베이스 관련 소식 정리)

(오늘의 짤방: The Linux kernel, this is really cute! via @linuxopsys)

개발 관련 소식

1. 팁과 유틸리티
   • AI 코파일럿 기능을 탑재한 무료 편집 프로그램 PDF기어
   • 맥북의 독바에서 사라진 다운로드 폴더 복원하는 방법
   • Android용 Firefox, 곧 Extension을 지원할 예정 (blog.mozilla.org)
   • Flycut (Clipboard manager) - Clipboard manager for devs (for MacOS X)
   • 윈도우 11, 오는 11월 ‘모멘트 4’ 업데이트부터 rar·tar·7z·gz 등 압축 포맷 지원
   • [해결] 윈도-맥OS 한글 파일명 자소 분리 현상
2. 프로그래밍
   • eBPF: Unlocking the Kernel [OFFICIAL DOCUMENTARY]
   • PureImage - HTML Canvas 2D API의 100% JS 구현체 (github.com/joshmarinacci)
   • Contour - C++로 작성된 현대적이고 빠른 터미널 에뮬레이터 (github.com/contour-terminal)
   • tailspin works by reading through a log file line by line, running a series of regexes against each line.
   • Properly Installing Python
   • git branch 전략 정답은 없지만…
   • RenderCV is a Python application that creates a CV as a PDF from a JSON/YAML input file.
   • Tech Stack File - The universal standard for tech stack data
   • Beej's Guide to Network Programming
   • Python Docker Tutorials
   • [번역] 초보 프론트엔드 개발자들을 위한 Pub-Sub(Publish-Subscribe) 패턴을 알아보기
   • Project Generator CLI - A CLI tool for generating projects with sensible defaults.
   • Do not use requirements.txt
   • Learn Next.js - Welcome to the Next.js App Router course! In this free interactive course, you'll learn the main features of Next.js by building a full-stack web application.
   • mkdocs-run-code - Run code blocks in mkdocs, currently just for use on docs.pydantic.dev.
   • GN⁺: Show HN: Inshellisense - IDE 스타일의 쉘 자동완성 기능 (github.com/microsoft)
   • inshellisense provides IDE style autocomplete for shells.
   • Mastering API Testing with FastAPI: Databases, Dependencies, and More!
   • Slim Docker Images for Java
   • Introduction to Transactions in Spring Cloud Stream Kafka Applications
   • Building a high performance JSON parser
   • Valgrind and GDB in close cooperation
   • git rebase: what can go wrong?
   • Favorite compiler and interpreter resources
   • OSSCA-2023-Redis #3(레디스 내부 분석 자료)
   • The most performant timestamp functions in Python
   • We Have To Talk About Flask
   • Python Benchmarking Best Practices
   • What are lambda expressions?
   • Kotlin Multiplaform이 안정화 및 Production-Ready됨 (blog.jetbrains.com)
   • PEP 702 – Marking deprecations using the type system
   • A Close Look at a Spinlock
   • Hono - 경량, 초고속, 웹표준 기반 Edge용 웹프레임워크 (github.com/honojs)
   • A few years ago, #Singapore Prime minister Lee Hsien Loong wrote and shared a C++ Sudoku solver, how cool is that! 😅
   • Marcel - Pipe에 문자열 대신 파이썬 타입을 넘겨주는 최신 쉘 (marceltheshell.org)
   • 항공사의 ARIA 적용 사례 살펴보기
   • 15-850: Advanced Algorithms, Spring 20231
   • Headless Component: a pattern for composing React UIs
   • CS 270. Combinatorial Algorithms and Data Structures, Spring 2021
   • 올해 최고의 오픈소스 소프트웨어 25선
   • 레드햇, 쿼커스 3.2 빌드 출시… ‘자바 개발자 생산성 향상 外’
   • Python List Methods: A Comprehensive Guide
   • Ready for Flight: Announcing Finch 1.0 GA! (brand new open source project, Finch, a command line developer tool for building, running, and publishing Linux containers on macOS)
   • Is Your Java Application Slow? Check out These Open-Source Profilers
   • The Arrival of Java 21!
   • Java 21 is Available Today, And It’s Quite the Update
   • pytest-ndb - Interactively debug a failing pytest test in a notebook or REPL.
   • v86 emulates an x86-compatible CPU and hardware. Machine code is translated to WebAssembly modules at runtime in order to achieve decent performance.
   • Top 10 Python Libraries for Machine Learning
   • Who killed the JVM? Attaching a debugger twice
   • Build an Analytics Dashboard with Python, Streamlit, and MySQL
   • Google Testing Blog(Code Health)
   • 웹 프론트엔드 성능 측정 방법 및 Tips (1)
   • 파이썬 애플리케이션 의존성 주입 - dependency injector
   • FastAPI has a very powerful but intuitive Dependency Injection system.
   • Boost Your Coding Productivity With Ptpython
   • pretzelhammer's Rust blog 🦀
   • Programming Language Research
   • 6 Software Engineering Templates I Wish I Had Sooner
   • Unpopular Opinion: It’s harder than ever to be a good software engineer
   • 개발자를 위한 학습 로드맵 소개 페이지
   • GitUI provides you with the comfort of a git GUI but right in your terminal
   • Automating dead code cleanup
   • Awesome Rust - A curated list of Rust code and resources.
   • JSON masker can be used to mask string and/or numeric values from JSON messages, corresponding to a (set of) target key(s).
   • 알고리즘 공부를 시작하는 방법 - 문제해결을 위한 창의적 알고리즘
   • Python Gotcha: Comparisons
   • Progress on no-GIL CPython
   • Building Custom Middleware in FastAPI
   • JSON은 정말 느립니다. 더 빠른 대안을 살펴봐요 !
   • The never-ending quest to create the perfect homepage
   • You can now simulate real-world traffic on your local machine to performance test your APIs. And it’s available on Postman’s free plan.
   • shadowsocks is a fast tunnel proxy that helps you bypass firewalls.
   • LINE 앱에서 음성 품질을 측정하는 방법
   • Python f-Strings - Advanced String Formatting tutorial for beginners
3. DevOps
   • How Tinder built the API Gateway ?— Insightful Notes
   • Convergence to Kubernetes - Standardisation to Scale
   • How we reduced our docker build times by 40%
   • 구글에서 Site Reliability Engineering(SRE) 20년간 얻은 교훈들 (sre.google)
   • FastSync - Fast syncronization across networks using speedy compression, lots of parallelization and fast hashmaps for keeping track of things internally
   • Discover How We Managed to Reduce Our Cloud Costs by 30 percent
   • Feature Flag - 안전하고 신뢰할 수 있는 배포로 나아가는 열쇠 🔑
   • Robot Framework RPA 라이브러리 소개
   • kafka-in-production - Curious to know how big companies are operating their kafka fleet in production?
   • Spring Boot 컨테이너 이미지 사이즈 경량화 방법
   • K3s로 multi kubernetes 구축하기
   • Dagger - Application Delivery as Code that Runs Anywhere
   • How to deploy conda-based docker images
   • 다이나트레이스, 2023 데브옵스 설문 조사 발표··· "데브옵스 자동화 구현 전략 보유 조직은 38%뿐"
   • 스토리지 최적의 스펙 관리 시스템 만들기
   • Debugging Running Pods on Kubernetes
   • Automated build of HA k3s Cluster with kube-vip and MetalLB
   • Using Docker and Nginx to host a custom webpage locally
   • kmon - Linux Kernel Manager and Activity Monitor 🐧💻
4. 설계
   • Core Protocol Process of EPaxos: A Trilogy of EPaxos (Part Two)
   • Building a reliable notification system
   • 올리브영 온라인몰의 전시, 그리고 백엔드 여정 - feat. 올리브영 온라인몰 Home 신규 아키텍처 전환기
   • The False Dichotomy of Monolith vs. Microservices
   • 오픈소스답게 소프트웨어 설계하기
   • ZooKeeper Internals
   • https://christophermeiklejohn.com/distributed/systems/2013/07/12/readings-in-distributed-systems.html
   • 업데이트 압축률 67%, 플레이스 리뷰 tagging 시스템 개선경험
   • Outbox Pattern For Reliable Microservices Messaging
   • Tech Company Engineering Blogs
   • Towards Modern Development of Cloud Applications
   • 인프런 아키텍처 2023 ~ 2024 | 인프콘2023
   • You Want Modules, Not Microservices
   • 분산 시스템의 폴백 방지
   • Top 5 Github repositories to achieve system design mastery
   • Apache Kafka for Data Consistency (and Real-Time Data Streaming)
   • Platform Engineering 101: What You Need to Know about This Hot New Trend
   • Java Records are "Trusted" and Consequently Faster
   • JDK 21 and JDK 22: What We Know So Far
   • postgresql-event-sourcing - Event Sourcing with PostgreSQL
   • Hints for Distributed Systems Design
   • 전 GitHub CTO, "지난 10년간 가장 큰 아키텍처 실수는 풀 마이크로서비스로 전환한 것" (twitter.com/jasoncwarner)
   • How DoorDash Standardized and Improved Microservices Caching
   • Software Architecture Books - A comprehensive list of books on Software Architecture.
   • 무신사 주문/클레임 PM의 환불구조 개선 이야기
5. 경력 관리와 개발문화
   • Things I learned the hard way
   • '떨어져 있어도 참여는 그대로'… 원격 근무 직원의 소속감을 유지하는 전략
   • GN⁺: 소프트웨어 엔지니어 직업에 관한 이야기하지 않는 쓰디쓴 진실 (mensurdurakovic.com)
   • Pain is information
   • Why Technical Experience Matters: How to Build a Lifelong Career in Software Development
   • 경영 위기 데브시스터즈, 희망퇴직 실시한다
   • "이대로면 회사 못 살린다" 줄파산 비상…무너지는 기업들
   • Unlearning:버릴 수 있어야 혁신한다 | 경영전략 | DBR
   • Design giant Ideo cuts a third of staff and closes offices as the era of design thinking ends
   • User retention at Pinterest: tackling an ambiguous problem
   • 스타트업 트렌드 리포트 2023 (83p PDF) (datocms-assets.com)
   • 좋은 엔지니어가 되는 것은 경험을 쌓는 것 (addyosmani.com)
   • Developer Productivity Engineering at Netflix
   • 치솟는 물가에 고달픈 청년들…알바생 86.4% 상반기보다 ‘지출 부담’ 늘었다
   • 네이버 3분기 매출·영업이익 모두 역대 최대 규모
   • Why Google stores billions of lines of code in a single repository
   • 통제 늘리고 애자일은 축소?··· 볼보의 디지털 실용주의 접근법
   • '만나면 빛난다'··· IT가 영업팀을 돕는 8가지 방법
   • Lessons From Google's Failed Quest to Run a Business Without Managers - Are managers necessary? When Google got rid of managers, it found out what matters most.
   • 바람직한 IT 리더에 대한 생각
   • How Google Sold Its Engineers on Management
   • 15 Engineering Manager Interview Questions (2023)
   • 이야기 클럽(개발자들 경험을 공유)
   • 습관에 대해
   • 소프트웨어 엔지니어가 성장하는 과정에서 겪은 시행착오와 배움들을 공유한 글
   • How to boost employee retention rates for long-term growth
   • Feedback Culture: Constructive Criticism vs. Destructive Blame in Software Companies
   • 프론트엔드 개발의 종말
   • 3N살 여자 비전공자, 입사 6개월차 후기
   • 中企 3000곳 R&D '초비상'…내년 상반기 사업비 끊긴다

보안/클라우드/데이터베이스 관련 소식

1. 보안
   • “그림자 API의 역습” API 보안이 위험하다
   • 안전한 온라인 생활을 위한 필수 보안 수칙 10가지
   • 하드웨어 해킹 랩 구축을 위한 초보자 가이드 (voidstarsec.com)
   • Test your browser to see how well you are protected from tracking and fingerprinting
   • GN⁺: Show HN: Ladder - Paywall을 패스하는 웹 프록시 (github.com/kubero-dev)
   • “로그인했더니 타인 정보가”…카카오스타일 지그재그, 개인정보 유출 사고 발생
   • 유료 안티바이러스 소프트웨어는 2023년에도 유효한가?
   • GN⁺: Gmail, 2024년부터 대량 메일 발송자를 위한 새로운 인증 요구사항 발표 (blog.google)
   • SBOM 동향과 대응 방안
   • 금융과 오픈소스 그리고 카카오뱅크의 오픈소스 활용 및 보안 관리
   • GN⁺: YouTube의 Anti-Adblock 과 uBlock Origin (andadinosaur.com)
2. 클라우드
   • Introducing the Amazon Linux 2023 runtime for AWS Lambda
   • AWS Restructures and Consolidates Its Well-Architected Framework
   • CloudWatch Introduces Best Practice Alarm Recommendations for 19 AWS Services
   • Deploying a Single Page Application (SPA) on AWS: A Beginner's Guide. Part 3. REST API
   • Distributed Transactions at Scale in Amazon DynamoDB
   • 4 Tips for AWS Lambda Performance Optimization by @rehemagi
   • Building a Microservice Lightning-Fast with AWS SAM
   • Post Mortem on Cloudflare Control Plane and Analytics Outage
   • 마이크로소프트 래디어스와 클라우드 네이티브 개발의 미래
   • Cloud design patterns, architectures, and implementations
   • “한 달 새 두 번” 네이버클라우드, 잇따른 장애...속타는 고객사
   • A great collection of AWS Serverless how-tos Bite-Sized Serverless
   • "특정 클라우드 서비스에 의존하는 것은 위험"··· 가트너, 신흥 위험 5가지 제시
   • AWS Systems Manager를 통한 Amazon RDS 자동 정지 및 시작
   • Cloud automation 101: Efficiently scaling your web-based infrastructure
   • 문 닫는 스타트업, AWS·구글 클라우드 매출 끌어내려
   • [교육자료] 멀티클라우드 데이터센터 설계와 운영
   • DB 진출은 AWS 성공 이끈 가장 중요한 선택, 왜?
3. 데이터베이스
   • Create an advanced search engine with PostgreSQL
   • 08 - B+Tree Indexes (CMU Intro to Database Systems / Fall 2022)
   • DoltgreSQL - 버전 컨트롤되는 PostgreSQL (github.com/dolthub)
   • Learning DynamoDB the hard way
   • Modern B-Tree Techniques
   • Change Data Capture for Microservices
   • SQL Statement Logging for Making SQLite Truly Lite
   • SQLite 3.44 인터랙티브 릴리즈 노트 (antonz.org)
   • 비트나인, RDBMS 시장에 다크호스로 떠올라
   • Tantivy is a full-text search engine library written in Rust.
   • Why you should probably be using SQLite

(보너스: gen z php? via @icarusgkx)

EOB

[B급 프로그래머] 11월 1주 소식(빅데이터/인공지능, 하드웨어, 읽을거리 부문)

(오늘의 짤방: I've always had a hard time explaining to people how GPUs work. Now I just show them this. via @tunguz)

1. 빅데이터/인공지능
   • "고작 13억 매개변수로 GPT-4 대체"...MS, 오픈 소스 LMM 공개
   • BakLLaVA 1 is a Mistral 7B base augmented with the LLaVA 1.5 architecture.
   • The brand-new @Voyage_AI_ embedding model is one of the best models you should use for your RAG pipeline today (outperforms ada-002 by a big margin)
   • EfficientML.ai Lecture 16 - Diffusion Model (MIT 6.5940, Fall 2023)
   • Distil-Whisper - 6배 빠르고, 49% 작은 버전의 Whisper (github.com/huggingface)
   • 기업에서의 LLM 활용을 위한 Palantir AIP 솔루션-팔란티어 서지숙
   • E3 TTS: Easy End-to-End Diffusion-based Text to Speech
   • I evaluated @awscloud Titan Embeddings on Amazon Bedrock on the MTEB and compared it to other top open-source models and @OpenAI 🧐
   • Boosting RAG: Picking the Best Embedding & Reranker models(colab note
   • AI is now inside Google Maps!
   • rag-pinecone-rerank - This template performs RAG using Pinecone and OpenAI along with Cohere to perform re-ranking on returned documents.
   • AWS, 머신러닝용 EC2 캐퍼시티 블록에 엔비디아 H100 GPU 적용
   • AI 도난 방지 기술 '데이터 포이즈닝'은 윤리적인가?
   • "잡음 제거 무선 이어폰으로 심박수 측정"··· 구글 리서치, 신개념 SW 기술 소개
   • '실망'조차 넘어선 윈도우용 코파일럿
   • 알리바바 클라우드, 10가지 산업별 AI 모델 공개
   • 한국거래소, 클라우드 기반 '미가공 데이터' 판매 사업 추진
   • 한국도 'AI 족쇄 채우기' 서두른다…정부가 편향성 직접 검증 [팩플]
   • 빨라지는 통신3사 AI 시계 "속도전 돌입"
   • Gboard for Android getting a ‘Scan Text’ OCR tool [Gallery]
   • “생성형 AI, 스마트폰까지 침투했다”…내년 모바일 시장 키워드는 ‘AI’
   • The architecture of today’s LLM applications
   • 한국오라클 “데이터 관리 트렌드는 생성형 AI 기반 ‘자동화’로 흐른다”
   • Auto ⚡ ProPainter 🧑‍🎨 - This is a demo for automatic removal of objects from videos using Segment Anything Model, MetaCLIP, and ProPainter combo.
   • Accelerating Inference on x86-64 Machines with oneDNN Graph
   • Multimodal Retrieval with Text Embedding and CLIP Image Embedding for Backyard Birds(colab note)
   • Large Language Models Understand and Can be Enhanced by Emotional Stimuli
   • Efficient LLM Inference on CPUs(code)
   • We're excited to introduce Embed v3, our latest and most advanced embeddings model. Embed v3 offers state-of-the-art performance per trusted MTEB and BEIR benchmarks.(colab note)
   • ChipNeMo: Domain-Adapted LLMs for Chip Design
   • clip-image-search - Fine-tuning OpenAI CLIP Model for Image Search on medical images.
   • ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation
   • [독서광] 인간 vs. AI 정규표현식 문제 풀이 대결(본인이 작성한 글)
   • MetNet-3: A state-of-the-art neural weather model available in Google products
   • Style-Aware Radiology Report Generation with RadGraph and Few-Shot Prompting
   • Genv - GPU Environment and Cluster Management
   • CapsFusion: Rethinking Image-Text Data at Scale
   • LLMRec: Large Language Models with Graph Augmentation for Recommendation
   • AI 시대의 클라우드, 여전히 개발자를 감안할 이유
   • The Generative AI Paradox: "What It Can Create, It May Not Understand"
   • Open Empathic - AI에 공감과 감성 지능을 탑재하는 것을 목표로 하는 오픈소스 (laion.ai)
   • AI Assistant Update – October 2023
   • Big Vision - This codebase is designed for training large-scale vision models using Cloud TPU VMs or GPU machines.
   • Beyond U: Making Diffusion Models Faster & Lighter
   • The Rise of the AI Engineer
   • I just noticed that Bing Chat AI has a great new feature unavailable on ChatGPT.
   • Build an Analytics Dashboard with Python, Streamlit, and MySQL
   • A 12 Lesson course teaching everything you need to know to start building Generative AI applications
   • [창간 38주년 특별기획] 생성형 AI가 가져온 변화, 그리고 미래
   • Does GPT-4 Pass the Turing Test?
   • 생성형 AI 저작권 소송 첫 판결, “유사성 부족”으로 아티스트 패배
   • 구글 맵 업데이트 - 경로에 대한 Immersive View 및 AI 기능들 추가 (blog.google)
   • Data engineering at Meta: High-Level Overview of the internal tech stack
   • How to implement Weaviate RAG applications with Local LLMs and Embedding models
   • Biblos - Bible Exploration with Vector Search and Summarization
   • Evaluate LLMs and RAG a practical example using Langchain and Hugging Face
   • Multimodal ChatGPT for Medical Applications: an Experimental Study of GPT-4V
   • This repository contains demos I made with the Transformers library by 🤗 HuggingFace. Currently, all of them are implemented in PyTorch.
   • AI 경량화: 더 빠르고 저렴한 AI 서비스
   • 인프런이 자동으로 자막을 생성하기까지 (AI/인프라 편)
   • ChatGPT : Chat with Images로 이젠 본다 (사용법)
   • Evan Morikawa at LeadDev West Coast 2023(scaling chatgpt)
   • Embeddings: What they are and why they matter
   • Learn how to build RAG from scratch with Ray embedded in every component, ensuring that all operations (parsing, chunking, metadata extraction, embedding) are distributed ⚡️
   • Linear Regression implemented from scratch in Python🔥
   • '고가 GPU 대신 CPU로 AI를' 인텔, 네이버와 AI 서버 구축
   • Convolution 제국의 역습 (gonzoml.substack.com)
   • 8-bit Float Support in H100 and RTX 40 series GPUs
   • FP8-LM: Training FP8 Large Language Models
   • ConfAIde: Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
   • Here're 17 ways Google Bard Outperforms ChatGpt 10x boost productivity & earn $$$
   • CodeFusion: A Pre-trained Diffusion Model for Code Generation(Microsoft paper claims ChatGPT 3.5 has ~20 billion parameters)
   • codebooga - A high-performing code instruct model created by merging two existing code models.
   • Perfect CheatSheet for prompting
   • 스타트업이 챗GPT로 사업하는 노하우 대방출 - 한국마이크로소프트, '마이크로소프트 스타트업 서밋 - 젠AI 로드쇼' 개최
   • 임베딩(Embeddings)은 무엇이고 왜 중요한가 (simonwillison.net)
   • We’re excited to feature NewsGPT (by timho102003) 📰🧠 - a production-grade news aggregator augmented with LLM capabilities.
   • AI에서 창업가에게 기회가 있는 5가지 분야 (lsvp.com)
   • Midjourney vs. Firefly 2 vs. DALL-E 3 (designingwithai.substack.com)
   • Unstructured data management and governance using AWS AI/ML and analytics services
   • Gemini is coming to Makersuite & so are Stubbs
   • How vector search and semantic ranking improve your GPT prompts
   • Llama-2 on Inferentia
   • LLM 비교/테스트: 39개 모델 테스트(7B~70B + ChatGPT/GPT4)
   • Gartner’s AI Hype Cycle is Way Passed its Due Date — And Are We Entering a Classical ML Winter?
   • Have you ever wanted to inference a baby Llama 2 model in pure Mojo? No? Well, now you can!
   • The 7 Best AI Image Generators in 2023 (Unbiased List)
   • GN⁺: 구글, OpenAI의 라이벌 Anthropic에 최대 $2b(2.6조원)까지 투자하기로 (reuters.com)
   • 요즘 핫한 커리어 스킬, ‘프롬프트 엔지니어링’ 현황과 전망
   • “의료 분야 AI, 기회 주지만 의사 대체해선 안돼” 프리즈마 헬스 최고 의료 책임자 앤드류 알바노
   • 프로그래밍에서 AI가 대체하지 못하는 것들
   • “챗GPT로 쓴 자소서 잡아낸다”… 무하유, AI 서류 평가 솔루션 프리즘에 GPT킬러 연동
   • AI 피싱도 인간에 근접… 생성형 AI 모델, 5분 만에 ‘설득력 높은’ 메일 생성
   • “RTA가 더 적절한 표현, 왜냐면...” RPA 배포·실수 7가지
   • "제조 분야 AI,2028년까지 연간 45.6% 고속 성장··· 빅데이터, 로봇, IoT가 견인"
   • 현대 기업이 직면한 데이터 통합 과제 5가지
   • ‘낙오에의 두려움, 잠재력에의 기대’··· IT 리더들의 생성형 AI 수용 이야기
   • ‘AI가 주도하며 다른 트렌드에 영향 미칠 것’… 가트너의 2024년 이후 IT 시장 예측
   • “노래 가사 AI 학습에 쓰려면 돈 내라”··· 음악 유통사, LLM 기업 앤트로픽 상대로 소송 진행
   • 오픈AI, 비활성화했던 챗GPT 웹 브라우징 기능 정식 배포
   • 시스코, LLM 넘어 'RMM'으로 AI 전략 강화... "웹엑스 AI 플랫폼서 화상회의 경험 혁신"
   • 구글 클라우드, 넥슨에 ‘버텍스 AI’ 공급…“게임·커뮤니티 부적절한 콘텐츠에 막는데 AI 활용”
   • The Dark Reality: People Misusing ChatGPT
   • "3일만에 AI 서비스 개발 가능"··· 원티드랩, 구독형 생성 AI 개발툴 ‘원티드 LaaS’ 출시
   • 조용히 확산 중인 생성형 AI에 통제력 없는 기업 ‘수두룩’
   • '효과 제대로 누리려면...' API 전략을 추구할 때 따라야 할 3가지 원칙
   • ‘MIT, 코히어 外’… 생성형 AI 데이터 출처 찾는 탐색기, 11개 기관 공동 제작
   • 업무협약은 했는데…다음 스텝 못밟는 AI 디지털교과서 왜?
   • 넥슨, 구글 클라우드와 협업…유해 이미지 탐지 AI모델 성능 고도화
   • 유튜브 뮤직, 플레이리스트 커버를 AI로 생성 가능 (theverge.com)
   • Generating Mermaid Syntax Diagrams with AI-powered Amazon Bedrock 🧜🏼‍♀️
   • CodeBooga is the best code instruct I have seen, next to GPT4.
   • Personal Copilot: Train Your Own Coding Assistant
   • Getting started with Llama by Meta
   • Fragility in AIs Using Artificial Neural Networks
   • Embedding fine-tuning is underrated and underexplored.
   • Annotator-Embeddings - Cleaned repo for our paper You Are What You Annotate: Towards Better Models through Annotator Representations at Findings of EMNLP 2023.
   • Now add a walrus: Prompt engineering in DALL-E 3
   • Looking back at wildfire research in 2023
   • MATHVISTA: EVALUATING MATH REASONING IN VISUAL CONTEXTS WITH GPT-4V, BARD, AND OTHER LARGE MULTIMODAL MODELS
   • TABULAR DATA: DEEP LEARNING IS NOT ALL YOU NEED
   • LongLLMLingua is a research project/paper that presents a new method for prompt compression in the long-context setting.
   • GN⁺: Jina AI, 세계 최초 오픈소스 8K 텍스트 임베딩 모델 공개 (jina.ai)
   • There’s now a method to the madness; we’ve completely re-orged our docs to follow the user journey towards building production RAG:
   • A Picture is Worth a Thousand Words: Principled Recaptioning Improves Image Generation
   • PyTorch Conference 2023
   • Grammar checking at Google Search scale
   • I'm working on a framework (WIP) to understand Advanced Retrieval w/ a few of @LangChainAI's use cases.
   • Candle BLIP Image Captioning - Rust/WASM Demo
   • Big update: Meta's Long Llama beats GPT-3.5 in long contexts and goes toe-to-toe with GPT-4 in summarization.
   • We did a complete survey of llama2-chat 7B, 13B, 70B models on simple-to-hard LLM tasks in LlamaIndex (top-k RAG to agents).
   • LLM Collection - This section consists of a collection and summary of notable and foundational LLMs.
   • Unit Scaling: Out-of-the-Box Low-Precision Training
   • Jina AI Launches World's First Open-Source 8K Text Embedding, Rivaling OpenAI
   • We have a brand-new cookbook on multimodal captioning + RAG 🖼️ (s/o @Haotianzh)
   • jina-embeddings-v2-base-en is an English, monolingual embedding model supporting 8192 sequence length.
   • EfficientML.ai Lecture 13 - Transformer and LLM (Part II) (MIT 6.5940, Fall 2023)
   • 👉 An overview of machine learning model training!
   • Delightful animations of tensor operations for AI
   • Welcome to an open source implementation of OpenAI's CLIP (Contrastive Language-Image Pre-training).
   • An Inverse Scaling Law for CLIP Training
   • What everybody should know about data monetization
   • Pandas Vs NumPy!!
   • 유니버설 뮤직, Antrhropic의 Claude AI가 생성한 가사에 대해서 저작권 침해 소송을 제기 (ft.com)
   • SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding
   • What Algorithms can Transformers Learn? A Study in Length Generalization
   • Transformers from Scratch
   • Segmind Stable Diffusion 1B (SSD-1B) Model Card
   • Google Open-Sources AI Fine-Tuning Method Distilling Step-by-Step
   • Deploy Embedding Models with Hugging Face Inference Endpoints
   • Matryoshka Diffusion Models
   • OpenAI’s Corporate Sales Come Under Pressure as AI Customers Eye Cheaper Options
   • ALCUNA: Large Language Models Meet New Knowledge
   • OpenAgents: An Open Platform for Language Agents in the Wild
   • Google's new free Midjourney competitor can create personalized clothing.
   • GenBench - Making state-of-the-art generalisation testing the new status-quo in NLP
   • 📐 The 🤗 Open ASR Leaderboard ranks and evaluates speech recognition models on the Hugging Face Hub.
   • Parsr, is a minimal-footprint document (image, pdf, docx, eml) cleaning, parsing and extraction toolchain which generates readily available, organized and usable data in JSON, Markdown (MD), CSV/Pandas DF or TXT formats.
   • Mastering PDFs: Extracting Sections, Headings, Paragraphs, and Tables with Cutting-Edge Parser
   • ChatGPT 유료기능 소개 (2023년 10월)
   • [R] LaVIN-lite: Training your own Multimodal Large Language Models on one single GPU with competitive performance! (Technical Details)
   • Fuyu-8B - Adept가 공개한 멀티모달 LLM 오픈소스 (adept.ai)
   • llama.cpp server now supports multimodal!
   • What are the boundaries between humans and machines?
   • The GEN:48 short AI film competition by @runwayml is now closed.
   • Eliciting Human Preferences with Language Models
   • 애플, iOS18부터 생성형 AI 기술을 도입할 예정이라는 루머 (macrumors.com)
   • awesome foundation and multimodal models
   • Invoice data processing with Llama2 13B LLM RAG on Local CPU
   • Invoice Data Processing with Llama2 13B LLM RAG on Local CPU [Weaviate, Llama.cpp, Haystack]
   • ``Computer Vision in the Wild (CVinW)'' is an emerging research field. This writeup provides a quick introduction of CVinW and maintains a collection of papers on the topic.
   • Lepton AI - A Pythonic framework to simplify AI service building
   • Understanding Deep Learning
   • Faker 라이브러리가 대한민국 도로명 주소 생성까지 지원합니다
   • [NLP 논문 구현] pytorch로 구현하는 Transformer (Attention is All You Need)
   • Open Source LLMs, Fine-Tunes and RAG Based Vector Store APIs
   • DALL-E 3 Consistent Characters: Part 2 - Hope : How to write prompt ?
   • Generative AI: get ready to multiply your Technical Debt Or why you need to be mindful in adopting GenAI for development
   • sketchy vision - Each week I create sketches covering key Computer Vision concepts. If you want to learn more about CV stick around!
   • whisper_streaming - Whisper realtime streaming for long speech-to-text transcription and translation
   • DALL•E 3 is finally available to ALL ChatGPT pro users!
2. 하드웨어
   • 애플, M3·M3 프로·M3 맥스 출시…세부사양 모아보기
   • “이젠 손색없는 미니 PC” 라즈베리 파이 5 공개
   • 델 테크놀로지스-메타, 대규모 언어모델 ‘라마 2 온프레미스’ 발표
   • AV1 비디오 코덱이 더 많은 하드웨어 지원을 받게됨 (fullystacked.net)
   • "애플워치, 내년 모델부터 혈압도 측정"
   • Through the Ages: Apple CPU Architecture - Learn how CPUs work, and discover Apple’s underrated competitive advantage.
   • ‘ARM 칩’ 삼총사, ‘PC CPU 절대강자’ 인텔에 위협이 될 수 있을까
   • Apple, 개인용 컴퓨터를 위한 가장 진보한 M3, M3 Pro 및 M3 Max 칩 라인업 공개 (apple.com)
   • Apple, M3 칩 제품군을 탑재한 새 MacBook Pro 14/16 공개 (apple.com)
   • 애플의 AirPods 로드맵 유출 (theverge.com)
   • "초고가 혼수품으로 급부상?"…4700만원 넘는 이 제품은 [김익환의 컴퍼니워치]
   • LINE 앱에서 음성 품질을 측정하는 방법
   • Training LLMs with AMD MI250 GPUs and MosaicML
   • AMD AI Software Solved – MI300X Pricing, Performance, PyTorch 2.0, FlashAttention, OpenAI Triton
   • 중국산 MTT 580 GPU의 성능은 GTX 1650 수준?
   • “알렉사+애플 홈+스마트 싱스…” 매터 지원 기기 2배로 늘었다
   • 키크론 C3 프로 리뷰 | 적절한 타협이 만들어 낸 가성비 키보드
   • "쓰레드리퍼가 돌아온다" AMD 고성능 워크스테이션 CPU 7000 시리즈 미리보기
   • 'AMD표 DLSS 3 대항마' 플루이드 모션 프레임을 더한 AMD FSR 3 알아보기
   • “이것저것 따져봐도…” AMD 라이젠 7000 시리즈를 사야 하는 5가지 이유
   • 시놀로지 DS223j 리뷰 | “DSM 7.2와 1GbE” 장단점 뚜렷한 보급형 NAS
   • "편의성·친환경성 높이고 비용·무게 낮춘다"··· 아마존, 맞춤형 종이 포장 솔루션 소개
   • 퀄컴의 Snapdragon X Elite는 애플 실리콘에 대한 윈도우 세계의 대답 (arstechnica.com)
   • 스냅드래곤 X 엘리트의 오라이온 PC로 내비친 '퀄컴의 자신감' 해부하기
   • Play around with Code-llama on Mac! 👩‍💻
   • Introduction to 🦜🔗LangChain and Retrieval Augmented Generation (RAG)
   • Segment Anything Model + MetaCLIP
   • GN⁺: NASA, 12B 마일 떨어진 우주선에 소프트웨어 업데이트 전송 (bgr.com)
   • GN⁺: SiFive에서 일어나는 일: RISC-V의 위험성 (morethanmoore.substack.com)
3. 읽을거리
   • ‘믹스커피의 기적’은 악몽도 남겼다…나를 구한 동료들은 안전한가
   • 네이버 3분기 매출·영업이익 모두 역대 최대 규모
   • 액센추어의 Life Trends 2024 [65p PDF] (accenture.com)
   • 2024년 서울 최고의 맛집: ② 전년도에 이어 블루리본 세 개를 유지한 맛집
   • 하루 '몇 걸음' 걸어야 건강해질까? 11만 명 조사했더니…
   • 균류의 대표주자인 버섯이 최고의 식재료로 떠오른 이유
   • State of Brand 보고서 2023 (justcreative.com)
   • 은퇴 자금 10억 필요? 은행·보험사의 공포 마케팅이다
   • The complete guide to content marketing for startups
   • 구글, 2021년에 모든 곳에서 기본 검색엔진이 되기 위한 비용으로 $26.3b(35조원) 지출 (theverge.com)
   • 中企 3000곳 R&D '초비상'…내년 상반기 사업비 끊긴다
   • 한때는 스쳐도 급등했는데…AI株의 눈물
   • I distilled my 4 years of marketing lessons into minimalistic visuals.
   • Google paid a whopping $26.3 billion in 2021 to be the default search engine everywhere
   • 인덴트가 개척한 '롯데월드 리뷰 마케팅', 하이브도 '함박웃음'
   • Destination unknown: Travellers are prone to changing their minds, and this can benefit brands
   • 아무도 안 쓰는 메타버스 지원사업, 내년에도 계속된다? - 나라 곳간 비어가는데 불확실한 메타버스에 예산 쓰겠다는 정부
   • 언젠가 써먹는 심리효과 101 (slashpage.com)
   • 전설적 개발자 존 카맥, 메타버스 작심 비판... "머리를 쥐어뜯고 싶어"
   • 억만장자 Peter Thiel(피터 틸)은 FBI 정보원이었다 (businessinsider.com)

(보너스: Is this correct? via @clcoding)

EOB

[독서광] 인간 vs. AI 정규표현식 문제 풀이 대결

이번 주는 인간 vs. AI 정규표현식 문제 풀이 대결를 소개하겠다.

방송 스크립트는 전체 공개되어 있으며, 슬라이드셰어에서 보거나 다운로드 받을 수도 있다.

하이라이트를 요약 정리하면 다음과 같다:

• 00:00 도입
• 01:09 한 페이지 요약
• 03:32 이 책의 목차
• 05:00 무엇이 이 책을 흥미롭게 만드는가?
• 08:13 대상 독자
• 10:03 결론과 마무리

EOB