[B급 프로그래머] 10월 4주 소식(개발/설계/경력관리/보안/클라우드/데이터베이스 관련 소식 정리)

(오늘의 짤방: 내가 짠 테스트 코드는 비즈니스 로직의 회귀테스트에 도움이 되는 유용한 작업. 니가 짠 테스트 코드는 loc만 늘리고 뭐 하나 고칠라고 해도 테스트가 발목잡는 쓸데없는 삽질 via @if1live)

개발 관련 소식

1. 팁과 유틸리티
   • “윈도우 11의 기본 기능 ‘비트로커’, SSD 속도 최대 45% 저하시킨다”
   • 구글, 유튜브 시청 경험 개선하는 신기능 30여 가지 추가
   • “윈도우 11, QR 코드로 와이파이 액세스 공유하는 기능 테스트 중”
   • shift + space: 다시 위로 스크롤
   • Vectorpea - 벡터 그래픽 온라인 편집기 (vectorpea.com)
   • Geany 2.0 - 강력하고 가벼운 개발자용 에디터 (geany.org)
   • Sessionic - 크로스 브라우저 탭 & 세션 관리도구 (github.com/navorite)
   • “귀여움 이상의 혁신 가능성” 스누피가 완벽한 워치 페이스인 이유
   • “영화 ‘원더우먼’ 제작에도 썼다” 알짜 오픈소스 프로그램 22가지
2. 프로그래밍
   • How I learned to stop worrying and love byte ordering
   • 6 Best Java Design Pattern Courses for Experienced Developers in 2023
   • Time Complexity of Sorting Algorithms.
   • MIT Challenge - Over the next 12 months, I’m going to learn the entire 4-year MIT curriculum for computer science, without taking any classes.
   • Open Source Society University - Path to a free self-taught education in Computer Science!
   • ntfs Rust crate - A low-level NTFS filesystem library implemented in Rust.
   • Dioxus is a portable, performant, and ergonomic framework for building cross-platform user interfaces in Rust.
   • Design Patterns (GOF) in Java
   • Vimtutor를 이용해 Vim 명령어를 배워보자
   • roadmap.sh is a community effort to create roadmaps, guides and other educational content to help guide developers in picking up a path and guide their learnings.
   • Explaining 9 types of API testing.
   • 소프트웨어 환멸감
   • GN⁺: Shadow - JavaScript로 만든 새로운 브라우저 엔진 (goose.icu)
   • Flawless - Rust용 Durable한 계산을 위한 실행 엔진 (flawless.dev)
   • GN⁺: OpenAPI DevTools - API 스펙을 자동으로 생성하는 크롬 확장 (github.com/AndrewWalsh)
   • Write more "useless" software
   • On the Importance of Naming in Programming
   • When should you upgrade to Python 3.12?
   • nghttp3 - C로 작성된 HTTP/3 라이브러리 (github.com/ngtcp2)
   • Flutter 인기 아키텍처 라이브러리 3종 비교 분석 - GetX vs BLoC vs Provider
   • GN⁺: NASA, 12B 마일 떨어진 우주선에 소프트웨어 업데이트 전송 (bgr.com)
   • py-spy: Sampling profiler for Python programs
   • The Ruff formatter is an extremely fast Python formatter, written in Rust.
   • 𝐉𝐬𝐨𝐧𝐂𝐫𝐚𝐜𝐤 generates graph diagrams from JSON files and makes them easy to read.
   • Lessons learned from 15 years of SumatraPDF, an open source Windows app
   • WebAssembly 사용 현황 / 2023년
   • Ruvy - Shopify가 만든 Ruby to WebAssembly 툴체인 (shopify.engineering)
   • 딥링크 실전에서 잘 사용하는 방법
   • Nota - 논문/문서 작성을 위한 언어 (nota-lang.org)
   • pypipe is a Python command-line tool for pipeline processing.
   • Foreign Function & Memory API to Bridge the Gap between Java and Native Libraries
   • OpenAgents: An Open Platform for Language Agents in the Wild
   • Python 3.11 vs Python 3.12 – performance testing
   • Git Merge vs. Rebase vs. Squash Commit
   • How to Run Your Python Scripts and Code
   • Parsr, is a minimal-footprint document (image, pdf, docx, eml) cleaning, parsing and extraction toolchain which generates readily available, organized and usable data in JSON, Markdown (MD), CSV/Pandas DF or TXT formats.
   • Love using Jupyter notebooks, but after a while, they look like a total mess? 😵‍💫
   • We Have To Talk About Flask
   • motion.ed - 놀라운 애니메이션
   • snarkOS is a decentralized operating system for zero-knowledge applications.
   • WireMock Spring Boot 2.0 released 🚀
   • webrtc-rs - A pure Rust implementation of WebRTC stack.
   • The Art of Debugging
   • Python in Visual Studio Code – October 2023 Release
   • Basecamp Kamal Playground
   • Faker 라이브러리가 대한민국 도로명 주소 생성까지 지원합니다
   • 🧵 Efficient Learning Path to Master Containers 📚
   • Bottlerocket is a free and open-source Linux-based operating system meant for hosting containers.
   • Python Cheatsheet for Beginners (PDF File)
   • Leptos is a full-stack, isomorphic Rust web framework leveraging fine-grained reactivity to build declarative user interfaces.
   • TESTING KAFKA LISTENER USING TESTCONTAINERS WITH THE MICRONAUT FRAMEWORK
   • Github Repos for Developer that will reveal thousands of free resources. A Thread 🧵
   • Kata Containers is an open source project and community working to build a standard implementation of lightweight Virtual Machines (VMs) that feel and perform like containers, but provide the workload isolation and security advantages of VMs.
   • Instant - JavaScript 및 Postgres를 사용하여 API를 구축하기 위한 툴킷 (instant.dev)
   • 안드로이드 릴리즈 주기를 1년보다 더 짧게하는 고려중 (9to5google.com)
   • The Evolution of Bugs
   • All together now: Spring Boot 3.2, GraalVM native images, Java 21, and virtual threads with Project Loom,
   • Monkey-patching in Java
   • The Arrival of Java 21!
   • 10 Software Development Quality Metrics (And What to Do About Them)
   • Clean Code in Python
   • Show GN: 모든 분양/임대 정보에 맞춤 분석까지 해주는 어플 (roadmap.help)
   • Here it is: the FastAPI Reference - Code API in the docs. ✨
   • basm.rs는 Rust 코드를 BOJ에 제출 가능한 C 프로그램으로 성능 저하 없이 변환해 주는 프로젝트입니다.
   • 2천 개 넘는 명령어 검색 더 쉽게··· MS, 비주얼 스튜디오 코드 ‘명령어 검색’ 기능 개선
   • CommonJS에서 ESM으로 전환하기
   • Mastering curl: interactive text guide
   • [독서광] 모던 리눅스 교과서(본인이 작성한 글)
   • (번역) Bun vs Node.js : 당신이 알아야 할 모든 것들
   • 랜딩 페이지 Explained (landingpagesexplained.com)
   • 스크립트 툴의 장점만 모았다! zx로 업무 자동화하기
   • GraalVM Replaces the GraalVM Updater with Language Libraries
   • What The Heck Is Yield For?
   • Jetbrains, 통합 문서 편집도구 Writerside 프리뷰 공개 (jetbrains.com)
   • Best ways to test system functionality
   • 낙관적 업데이트로 사용자 경험을 개선해보자!
   • Deno 1.37: Significant Developer-Focused Enhancements
   • 굴러가는 자동차에 안전하게 타이어 교체하기(w. CMS 기능 개발)
   • 삶이편해지는_백엔드_개발자_지식.pdf
   • JWT Token Structure Simplified:
   • 5 Ways to Measure Execution Time in Python
   • Things I’ve learned about building CLI tools in Python
   • Calling Rust from Python
   • Incremental View Maintenance for Python application developers.
   • Mastering Integration Testing with FastAPI
   • Python variables, references and mutability
   • 테슬라, 써드파티 앱을 위한 공식 API 문서 릴리즈 (electrek.co)
   • 자료구조, 알고리즘 그리고 코딩 테스트와 관련된 추천 책(교재)
   • 나의 트레이딩 봇 자랑
   • Low-level Programming University
3. DevOps
   • 쿠버네티스가 스프링 부트 3.0 네이티브 이미지를 만났네
   • Kubernetes Isn’t Always the Right Choice
   • Tales of Kafka at Cloudflare: Lessons Learnt on the Way to 1 Trillion Messages
   • Troubleshooting Kafka for 2000 Microservices at Wix
   • Kubernetes multi-cluster implementation in under 10 minutes
   • Exit Code 137 – Fixing OOMKilled Kubernetes Error
   • Python Zero to Hero for DevOps Engineers
   • A visual guide on troubleshooting Kubernetes deployments
   • The 300% Production Problem
   • 29CM QA팀의 API를 활용한 업무 효율 끌어올리기
   • Building an API in the cloud in fewer than 200 lines of code
4. 설계
   • How Discord Stores Trillions of Messages
   • '효과 제대로 누리려면...' API 전략을 추구할 때 따라야 할 3가지 원칙
   • Lesson 167 - Architecture vs. Design
   • Automating product deprecation
   • Has Your Architectural Decision Record Lost Its Purpose?
   • Fallacies of Distributed Systems
   • 엔터프라이즈 MSA 이야기 4탄 – GS SHOP 주문서비스팀의 현대화 여정
   • Hints for Distributed Systems Design
   • Up: Portable Microservices Ready for the Cloud
   • Monolith to Microservices: How a Modular Monolith Helps
   • Patterns for API Design
   • System Design 101
   • Building a reliable notification system
   • Hitchhikers Guide to Workflow Engines
   • A curated list of Open Source projects developed with a microservices architectural style
   • 멀티-플레이어 게임 서버와 레이턴시 보상 테크닉
   • Hashnode's Overall Architecture
   • The 12 Factor App is a methodology for building scalable and maintainable web applications.
   • YouTube Video Recommendation Systems
5. 경력 관리와 개발문화
   • 성장형 마인드
   • Alastair Reid의 경력 관리 문서
   • 남이 해주는 숙제
   • NASA’s Return to the Moon: Managing Complexity in the Artemis Program
   • Logical Debt Is Much More Devastating Than Technical Debt
   • We invested 10% to pay back tech debt; Here's what happened
   • "노력하면 성공한다는 착각…1만시간 법칙은 틀렸다"
   • “생성형 AI 확산과 관련 있다는 데...” 스택 오버플로우, 직원 약 28% 해고
   • 전문가가 전하는 ‘유능한 프로젝트 관리자’의 특징 20가지
   • 퀄컴, 캘리포니아 직원 1,258명 해고… ‘전년 대비 매출 부진’
   • Microsoft의 급여 가이드라인 유출. 연봉, 채용 보너스 및 주식 보상범위가 직급별로 공개됨 (businessinsider.com)
   • GN⁺: LinkedIn, 거의 700명의 직원을 해고 (npr.org)
   • 지금의 디자인은 어떻게 변화하고 있는가
   • 착취 비즈니스: 교육인가, 사육인가? (arxiv.org)
   • 저출산에 벚꽃 피는 順으로…2040년 지방대 60%가 소멸
   • 실리콘밸리에서 크고 작은 여러 개발팀의 리더로 지내온 @Lethain가 공유한 개발팀의 "숫자"들:
   • GN⁺: Stack Overflow가 추가로 28%를 감원 (theverge.com)
   • Insights into Stack Overflow’s traffic
   • 인도, 베트남 개발자가 한국 개발자를 대체할 수 있을까
   • 상위 1% 엔지니어의 7가지 간단한 습관 (engineercodex.substack.com)

보안/클라우드/데이터베이스 관련 소식

1. 보안
   • ‘뛰는’ 리눅스 배포판 위에 ‘나는’ 보안 취약점 있다
   • 안드로이드 새 생체인식 사양 ‘강력한 보안’이 말장난인 이유
   • 구글, 사용자 IP 주소 숨기는 새로운 개인정보 보호 기능 테스트
   • 윈도우 보안을 한층 강화하는 고급 사용자용 해킹 도구 7선
   • "WinRar 사용자, 지금 당장 업데이트하라" 결제 정보 가로채는 제로데이 취약점 발견
   • “너무 빠르게 발전해도 문제” 기술 혁신이 보안 위협이 된 10가지 사례
   • Okta Support System incident and 1Password
   • Pulsar - eBPF 기반의 IoT 리눅스 기기 런타임 보안 프레임워크 (github.com/Exein-io)
   • 신원 확인 시스템에 운을 시험할 순 없다
   • 오픈소스 핵심은 ‘재단’이 아니다··· 렛츠인크립트의 10년의 성공에서 배우자
   • GN⁺: SSH-audit: SSH 서버 및 클라이언트 보안 감사(Audit) 도구 (github.com/jtesta)
   • How to implement security for microservices
   • Python 3.12.0 from a supply chain security perspective
   • How to store your users' API keys securely in Django 🔑
   • New 'HTTP/2 Rapid Reset' zero-day attack breaks DDoS records
2. 클라우드
   • Azure security best practices and patterns
   • 클라우드 프로젝트가 예산을 초과했을 때
   • "하이퍼스케일 데이터센터 용량, 향후 6년 동안 3배 증가"
   • MS, 3분기 실적 발표… ‘AI와 클라우드에 힘입어 매출 성장’
   • An exploration of serverless edge functions
   • How we built Pingora, the proxy that connects Cloudflare to the Internet
   • The “How” of Cloud Native: People and Process Perspective
   • XFaaS: 매일 수조(Trillion)건 호출을 처리하는 Meta의 서버리스 플랫폼 (engineercodex.substack.com)
   • Virtual machines are cloud native.
   • Amazon RDS for PostgreSQL Now Supports pgactive for Active-Active Replication
   • ‘업계는 격변 중’… 클라우드 시장의 7가지 트렌드와 IT에 미칠 영향
   • AWS S3트리거를 사용하여 동영상 번역 및 자막 삽입 하기
3. 데이터베이스
   • How to deal with long-running transactions (OLTP)
   • RisingWave is a distributed SQL streaming database that enables simple, efficient, and reliable processing of streaming data.
   • Using SQLite as Vector Store in PHP
   • Omnigres - Postgres as a Platform (github.com/omnigres)
   • 𝗔 𝗩𝗶𝘀𝘂𝗮𝗹 𝗚𝘂𝗶𝗱𝗲 𝗢𝗻 𝗛𝗼𝘄 𝗧𝗼 𝗖𝗵𝗼𝗼𝘀𝗲 𝗧𝗵𝗲 𝗥𝗶𝗴𝗵𝘁 𝗗𝗮𝘁𝗮𝗯𝗮𝘀𝗲

보너스: Types of Cyberattacks via @SecurityTrybe

EOB

[B급 프로그래머] 10월 3주 소식(빅데이터/인공지능, 하드웨어, 읽을거리 부문)

(오늘의 짤방: What are Type I & Type II errors? via @freest_man)

1. 빅데이터/인공지능
   • Explainer: What is a foundation model?
   • 캐글에서 살펴본 RAG 트렌드 살펴보기 (1)
   • The Swiss Army Llama is designed to facilitate and optimize the process of working with local LLMs by using FastAPI to expose convenient REST endpoints for various tasks
   • CS109: Probability for Computer Scientists
   • Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments
   • CS109: Probability for Computer Scientists (by Stanford)
   • RealtimeSTT - Easy-to-use, low-latency speech-to-text library for realtime applications
   • llama2.mojo on M2 MBP seems to be much faster than llama2.c
   • PyTorch Edge: ExecuTorch로 모바일 및 엣지 기기에서 온 디바이스 추론하기 (pytorch.org)
   • ⭐️ Multi-Vector Retriever for RAG on tables, text, and images ⭐️
   • ExecuTorch is an end-to-end solution for enabling on-device inference capabilities across mobile and edge devices including wearables, embedded devices and microcontrollers.
   • AI just killed Excel forever. Introducing Rows AI, the ultimate AI tool to replace Excel (100% Free):
   • Waymo advances AI research with our multifunctional Waymax simulator
   • ‘애널리틱스와 머신러닝,클라우드 활용해 투석 합병증을 예측’··· 독일 프레제니우스의 혁신 여정
   • GPT-4 Vision 프롬프트 인젝션 (blog.roboflow.com)
   • STRATEGIC GAME DATASETS FOR ENHANCING AI PLANNING: AN INVITATION FOR COLLABORATIVE RESEARCH
   • Taking your Streamlit Apps to the Next Level with GPT-4
   • Goedel machines are self-referential universal problem solvers making provably optimal self-improvements.
   • 🌟 Introducing Gradio-Lite! 🌟 Use Gradio right in your web browser with our new library that leverages Pyodide to run full machine learning apps entirely in your browser.
   • Tokenizers - Provides an implementation of today's most used tokenizers, with a focus on performance and versatility.
   • TL; DR: PixArt-α is a Transformer-based T2I diffusion model whose image generation quality is competitive with state-of-the-art image generators (e.g., Imagen, SDXL, and even Midjourney), and the training speed markedly surpasses existing large-scale T2I models, e.g., PixArt-α only takes 10.8% of Stable Diffusion v1.5's training time (675 vs. 6,250 A100 GPU days).
   • n8n LangChain Integration - Your next LLM app in minutes with LangChain on n8n’s low-code platform
   • DALL·E 3 is now available in ChatGPT Plus and Enterprise
   • FastEmbed is a lightweight, fast, Python library built for embedding generation.
   • Constructing knowledge graphs from text using OpenAI functions
   • Extract tables from documents using @llama_index
   • 🪓 metadata enhanced RAG
   • You can now generate AI images inside Google Slides (for free).
   • ‘오픈소스’가 AI 분야에서 실패하지 않도록 하려면
   • "기계가 도구에서 팀원으로 변화 중··· CIO 비전 제시 필요" 가트너
   • 마이크로소프트, ‘애저 AI 콘텐츠 세이프티’ 출시 "콘텐츠 유해성을 점수로 표시"
   • "AI옵스 시장, 2028년까지 연간 22.7% 성장" 마켓앤마켓
   • 가트너, 2024년 10대 전략 기술 트렌드 발표
   • 생성형 AI, 2027년까지 연평균 76.8% 성장할 것…IDC
   • Fuyu-8B: A Multimodal Architecture for AI Agents
   • “검색창에서 이미지 & 문서 초안 생성”··· 구글, AI 기반 검색 경험 소개
   • The Rise of the AI Engineer
   • How ChatGPT is transforming the postdoc experience
   • TabLib - 867B Tabluar Token 데이터셋 (approximatelabs.com)
   • Invoice data processing with Mistral LLM on local CPU
   • Invoice Data Processing with Mistral LLM on Local CPU
   • GN⁺: USB-C 헤드 투 헤드 비교 (lumafield.com)
   • Insanely Fast Whisper - Transcribe 300 minutes (5 hours) of audio in less than 10 minutes
   • Various types and techniques employed in RAG, Prompt, and Finetuning.👇
   • Pipeless - An open-source computer vision framework.
   • faer is a collection of crates that implement low level linear algebra routines in pure Rust.
   • 건질 수 있는 의료 데이터 3% 불과 "클라우드+AI로 97% 공략"
   • Show GN: RAGchain : 고급 RAG 시스템을 만드는 Langchain의 확장 프레임워크 (github.com/NomaDamas)
   • Eleven Labs, AI Dubbing 발표 (elevenlabs.io)
   • Open questions for AI engineering
   • While building our open-source vector embedding pipeline VectorFlow (https://lnkd.in/en6FhfN9)
   • VectorFlow - Open source, high-throughput, fault-tolerant vector embedding pipeline
   • llm - Large Language Models for Everyone, in Rust
   • stable-fast is an ultra lightweight inference optimization library for HuggingFace Diffusers on NVIDIA GPUs.
   • TensorRT Extension for Stable Diffusion - This extension enables the best performance on NVIDIA RTX GPUs for Stable Diffusion with TensorRT.
   • burn - This library strives to serve as a comprehensive deep learning framework, offering exceptional flexibility and written in Rust.
   • ⭐️ Semi-structured RAG ⭐️
   • 구글 도약에 검색시장 60% 점유율 붕괴된 네이버, 돌파구는?
   • Large Language Models for Software Engineering: Survey and Open Problems
   • 데이터는 여전히 해자(Moat)일까? (matt-rickard.com)
   • 구글, 생성형 AI의 학습 데이터 IP 분쟁시 사용자 보호안 발표
   • We’re rolling out access to http://Claude.ai to more people around the world.
   • Microsoft AutoGen - 차세대 LLM 어플리케이션을 위한 프레임워크 (microsoft.github.io)
   • ElasticSearch Agent based on LangChain
   • Developer quickstart - Get up and running with the OpenAI API
   • RAG and Parent Document Retrievers: Making Sense of Complex Contexts with Code
   • Using large language models in psychology:
   • 2023 and Beyond: The Future of Data Science Told By 79,306 People
   • Multi-modal LLMs unlock new opps for RAG apps. Ideas+cookbooks (w/ LLaVA-7b as a demo) below:
   • 2024년도 과기정통부 AI 예산 대폭 삭감, 인공지능 현장 경보음...한국인공지능협회, 심각한 우려 표명
   • Scaling Large (Language) Models with PyTorch Lightning
   • BoTorch - Bayesian Optimization in PyTorch
   • Axolotl is a tool designed to streamline the fine-tuning of various AI models, offering support for multiple configurations and architectures.
   • BakaLog - A command-line tool that structures structures logs to in-process OLAP database without any preparation, leveraging template patterns generated by GPT-4. (previous name was log2row)
   • The Little Book of Deep Learning, François Fleuret, University of Geneva
   • GitHub Copilot은 사용자당 월 평균 20달러의 적자를 보고 있음 (thurrott.com)
   • 래리 엘리슨 오라클 창업자가 바라본 AI 그리고 오라클의 비전
   • Build a RAG Application from Scratch 🐕 This video covers the architecture behind Verba 0.3.0! The design behind Verba is to have an explicit manager for each core component of RAG pipelines (Read, Chunk, Embed, Retrieve, Generate)
   • 구글, 생성형 AI기반 검색(SGE)에서 이미지 생성 지원 시작 (blog.google)
   • Adobe MAX 2023의 핵심 발표 정리 (designshack.net)
   • OpenAI, 다음달에 AI 개발 효율성을 높이기 위한 주요 업데이트 공개 예정 (gizmochina.com)
   • LLM 생성 모델 - 챗봇 구축 전략 (HelpNow)
   • Augmenting LLMs with RAG
   • Text Embeddings Inference - A blazing fast inference solution for text embeddings models.
   • If you are using jupyter notebooks for Python and Data Science, try these 7 magic commands that will save you a ton of time:🧵
   • 벡터 유사도 검색으로 추천 서비스 구현하기
   • GN⁺: OpenAI는 너무 저렴해서 이길 수 없다 (generatingconversation.substack.com)
   • Best Generative AI Courses Online & Certifications
   • [유머] 챗gpt+빙 ai이미지 더하니까 미쳤다
   • 한편 중국은 딥페이크 기술로 24시간 연중무휴 라이브 스트리밍을 실현하며 AI 스트리머 양산 공장이 되어가고 있습니다.
   • "생성형 AI 앱, 2026년이면 기업 80% 이상이 사용"··· 가트너, 생성형 AI 하이프사이클 발표
   • 네이버 “하이퍼클로바X, 창작 도구로 활용 범위 확장한다”
   • “생성형 AI로 HR 업무 생산성 UP” 메가존클라우드가 전하는 실전 활용 노하우
   • 개발새발 그려도 AI가 알아서 그림 ‘뚝딱’...어도비 신기술 공개 [어도비 맥스 2023]
   • "생성 AI 스타트업, 비용 문제 등으로 내년이 고비"
   • magentic - LLM을 파이썬 함수로 심리스하게 연동 (github.com/jackmpcollins)
   • vec2text - This library contains code for doing text embedding inversion. We can train various architectures that reconstruct text sequences from embeddings as well as run pre-trained models.
   • Text Embeddings Reveal (Almost) As Much As Text
   • LLM prompting guide
   • Image tasks with IDEFICS
   • Multi-modal LLMs unlock RAG on images.
   • MemGPT - Towards LLMs as Operating Systems
   • Vector Databases — a list…
   • Can you run it? LLM version
   • Candle is a minimalist ML framework for Rust with a focus on performance (including GPU support) and ease of use.
   • Introducing Refact Code LLM: 1.6B State-of-the-Art LLM for Code that Reaches 32% HumanEval
   • Rivet Is An Open-Source Visual AI Programming Environment - Rivet is suited for building complex agents with LLM Prompts, and it was Open Sourced recently.
   • Guidance enables you to control modern language models more effectively and efficiently than traditional prompting or chaining.
   • Whose IP Is It Anyway? AI Code Analysis Can Help
   • Zep: Fast, scalable building blocks for LLM apps
   • CoTracker: It is Better to Track Together
   • Hugging Face presents "Training Cluster" As a service - Train your LLM at scale on our infrastructure
   • Stable Audio: Fast Timing-Conditioned Latent Audio Diffusion
   • Microsoft announces new Copilot Copyright Commitment for customers
   • LLMs, RAG, & the missing storage layer for AI
   • Google’s AI assistant can now read your emails, plan trips, “double-check” answers
   • Amazon Limits Authors to Self-Publish 3 Books a Day to Combat AI-Generated Material
   • These new tools could make AI vision systems less biased
   • FACET: Benchmarking fairness of vision models
   • Getty Images promises its new AI contains no copyrighted art
   • 레드햇 “내년 AI 운영 지원 본격화… 기존 클라우드·엣지도 확장”
   • "데이터 편향, 금융권 생성형 AI 도입의 선결 과제" 잉글랜드 은행
   • LG CNS, 기업용 생성형 AI 플랫폼 ‘DAP 젠AI’ 출시
   • Performance of ChatGPT, human radiologists, and context-aware ChatGPT in identifying AO codes from radiology reports
   • I’m excited to present “text-to-pgvector”
   • bge-micro-v2 - This is a sentence-transformers model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search.
   • Thoughts on Chinchilla - How to (and not to) interpret the scaling laws
   • Compare Embeddings for retriever
   • How long does it take to download Llama2 70B?
   • 구글, 버텍스AI에 ‘의료 및 생명과학’ 공략한 검색 기능 강화
   • 기업의 생성형 AI 프로젝트가 ‘실패’하는 4가지 이유
   • 생성형 AI 시범 도입 기업 6개월새 3배 증가…가장 적극적인 분야는 ‘SW개발’
   • 제프리 힌턴 인터뷰
   • Machine Learning Engineering Guides and Tools
   • 생성형 AI’, 소프트웨어 기업에 어떤 의미일까?
   • 어도비, 차세대 파이어플라이 모델 공개
   • Replit AI, 모든 사용자에게 무료로 공개 (blog.replit.com)
   • ‘생성형 AI 품는다’ SW 벤더 14곳의 속도전 이모저모
   • 7 Query Strategies for Navigating Knowledge Graphs With NebulaGraph and LlamaIndex
   • How to Build a Real-Time Feature Pipeline In Python
   • The recent @huggingface zephyr-7b-alpha model outperforms ChatLlama 70B 😮
   • 포스코, 사내 업무시스템과 결합한 P-GPT(Private GPT) 플랫폼을 도입
   • 우리은행, 직원용 '인공지능 지식상담 시스템' 도입
   • Nougat OCR loader - This loader reads the equations, symbols, and tables included in the PDF.
   • DataLens - Yandex가 오픈소스로 공개한 BI 도구 (github.com/datalens-tech)
   • Real-time Audio-visual Speech Recognition
   • Revolutionizing graphic design: Try out the latest innovative Adobe Illustrator features
   • Why ensembles work in machine learning:
   • 🌋 LLaVA: Large Language and Vision Assistant
   • ChatGPT Dall-E 3 시스템 프롬프트 유출 (twitter.com/Suhail)
   • GPT-4V is blowing my mind
   • Multimodality and Large Multimodal Models (LMMs)
   • A step beyond naive text-splitting ✂️: our UnstructuredElementNodeParser 👷
   • OpenAI, Python SDK v1.0.0 베타버전 공개 (github.com/openai)
   • DEEP LEARNING COURSE - You can find here slides, recordings, and a virtual machine for François Fleuret's deep-learning courses 14x050 of the University of Geneva, Switzerland.
   • Numbers every LLM developer MUST know 🤯
   • The Alignment Handbook - Robust recipes to align language models with human and AI preferences.
   • Text splitting is a crucial component of setting up an ETL pipeline for your LLM/RAG app. But you can do way more than split in a flat list!
   • Llama 2 Everywhere (L2E) - 스탠드얼론, 바이너리 포터블, 부팅 가능한 Llama 2 (github.com/trholding)
   • MS “AI는 단순 기술 아니다…새 도구이자 역량의 집합체”
   • 구글, AI 검색으로 '환자 의료정보 한눈에' 본다
   • Tutorial: How to chat with your documents
   • Kosmos-2: Grounding Multimodal Large Language Models to the World
   • Timeline of AI and language models
   • How to Generate Mock Survey Data using Python
   • Large Language Models (in 2023)
   • Large Language Models (in 2023)
   • Building a serverless document chat with AWS Lambda and Amazon Bedrock
   • Statistics 110: Probability by Harvard University
   • Deep Learning: CS 182 Spring 2021 by UC Berkeley
   • Introducing Pytimetk: Time Series Analysis in Python
   • TPU Starter - Google Cloud TPU에 대한 모든 것
   • 한글 맞춤법 검사기 개발…30년째 취준생 등불 됐다
   • DocsGPT is a cutting-edge open-source solution that streamlines the process of finding information in project documentation.
   • I built an AI doctor with ChatGPT - Full Clinical Experience
   • Is GPT Engineer Actually Useful? 🤨
   • LLM Compatibility Tracking by llamaindex
   • FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation
   • Mastering Customer Segmentation with LLM
   • Sam Altman Says He Intends to Replace Normal People With AI
   • ChatGPT-4 Prompts Cheat sheet 🔥
   • Use GPT-4 PLUS Browsing To Create a Powerful Market Analysis✍️
   • Face Recognition using Python and OpenCV
   • Generative AI Lifecycle Patterns
   • TimeGPT-1 - In this paper, we introduce TimeGPT, the first foundation model for time series, capable of generating accurate predictions for diverse datasets not seen during training.
   • ChatGPT Prompt Cheat Sheet: This is a simple yet powerful way to use ChatGPT. Take the role of [EXPERT ROLE ] Create [TASK ] for [TARGET AUDIENCE]
   • Huge ChatGPT CheatSheet
   • Retrieval meets Long Context Large Language Models
   • Using Jupyter AI
   • RA-DIT: A very interesting paper from Meta on improving RAG systems using two techniques.
2. 하드웨어
   • What Every Developer Should Know About GPU Computing
   • 14세대 랩터 레이크 리프레시 "성능 개선은 미미, AI 활용이 특징"
   • “최신 아이폰에서 아이패드, 맥까지” 모든 애플 실리콘 성능 비교 가이드
   • What’s inside Apple’s $129 Thunderbolt cable? We CT scanned one to find out, and compared it to some cheaper cables… 🧵
   • “부팅 오류부터 화면 먹통까지” 라즈베리 파이 문제 해결 가이드
   • 윈도우 11의 엄격한 하드웨어 요구사항을 우회하는 간단한 방법
   • 의식의 흐름대로 제품 만들다가 대기업이 된 회사.jpg
   • "온디바이스에서 생성형 AI 지원"··· 구글 텐서 G3 발표
   • 아이폰 15의 '과열 게이트', 애플은 어떻게 대처했나?
   • 오픈 AI와 마이크로소프트가 자체 칩을 만들려는 이유
   • AR 글래스의 대중화를 이끌 단 하나의 열쇠
   • GN⁺: Starlink Direct To Cell - 전세계 LTE폰에 문자/음성/데이터 위성서비스 (direct.starlink.com)
   • 메타 퀘스트 3 리뷰ㅣ전작 있어도 구매할 만한 보급형 ‘MR 헤드셋
   • "3분기 PC 출하량 9% 감소··· 4분기부터 반전 유력" 가트너
   • 종양 미생물군집: 암 치료 위한 새로운 수단
   • This infographic that we've just created breaks down the key chip suppliers for $AAPL's iPhone 15 Pro – the majority of which are publicly traded.
   • 업비트 · 빗썸 빼고 거래소 모두 적자…30대 남성 주력–1억원 이상 보유자 4.4만명
   • Microsoft, Ignite 2023에서 첫번째 AI칩을 발표할 수도 (windowscentral.com)
   • OpenAI, 자체 AI 칩 개발 고려 중 (techcrunch.com)
   • GN⁺: AMD는 어떻게 CUDA 해자를 넘을 수 있을까 (hpcwire.com)
   • Today, I'll clearly explain KNN & we implement it from scratch using Python!🔥
   • Retrieval Augmented Generation at Planet Scale
3. 읽을거리
   • "사업 50년만에 올 첫 적자"…경기침체·3高 겹쳐 최악 위기
   • 누가 어떻게 사모펀드 매니저가 되는가 [김태엽의 PEF썰전]
   • "한계 부딪혀"...美 레딧, '블록체인' 포인트 없앤다 프로그램 중단 사유로 수수료·규제 문제 언급
   • 머스크 인수 효과 없나?··· 시밀러웹, “X 사용자 수 1년간 감소 추세”
   • 가트너 “2024년 세계 IT 지출, 전년 대비 8% 성장 전망”
   • 국밥에 진심인 블로거
   • “경기회복? 나만 딴나라 사나”…어음부도·줄파산 ‘쓰나미 공포’
   • One year post-acquisition, X traffic and monthly active users are in decline, report claims
   • 경제금융용어 700선 by 한국은행
   • 간편결제 상위 9개사 이용금액 및 결제수수료 수익
   • 한국형 컨슈머리포트의 새로운 브랜드 네임 ‘비교공감’입니다.
   • 2022년 기준 한국 출판 생산 통계
   • 최저임금 핵심 결정기준 가구생계비 연구
   • “내년 최저임금, 현실 제대로 반영했더니…최소 월 255만원은 돼야”
   • 구글, 애플, 틱톡까지… 빅테크 기업 잡는 ‘디지털 시장법’
   • 유튜브도 독서인가
   • 양배추 키우기 +0
   • ‘2류 시민’ 취급 받던 계약직의 인생 역전…엄마는 노벨상, 딸은 올림픽 金
   • 비행기에 유압이 다 빠져나가면 벌어지는 일 (3), DHL기 미사일 피습 사건
   • 페북 여왕 ‘킴 카스트로’와 사랑에 빠지다…로맨스스캠 체험기
   • 독립 단편 애니메이션 (2023년 업로드)
   • 퇴사하고 싶은 분들만 들어오세요(ft.9년차 자영업자(전직 회사원)
   • 빅쇼트를 썼던 마이클 루이스가 Going Infinite 이라는 FTX와 Sam 에 대한 책을 썼는데 내용이 상당히 충격적이네요. WSJ에 나온 기사에서 일부 발췌합니다. (1/n)
   • 캡콤 역사상 가장 치명적인 실수.jpg

보너스: the cost of sequencing a human genome was over $300 million in 2001. today, it's a $200. expect similar cost reduction curves in AI over the next 20 years. via @mustafasuleyman

EOB

[독서광] 모던 리눅스 교과서

이번 주는 모던 리눅스 교과서를 소개하겠다.

방송 스크립트는 전체 공개되어 있으며, 슬라이드셰어에서 보거나 다운로드 받을 수도 있다.

하이라이트를 요약 정리하면 다음과 같다:

• 00:00 도입
• 03:20 한 페이지 요약
• 06:10 이 책의 목차
• 08:01 무엇이 이 책을 흥미롭게 만드는가?
• 11:40 대상 독자
• 12:43 결론과 마무리

EOB

[B급 프로그래머] 10월 2주 소식(개발/설계/경력관리/보안/클라우드/데이터베이스 관련 소식 정리)

(오늘의 짤방: Happy Weekend to my Brain! via @clcoding)

개발 관련 소식

1. 팁과 유틸리티
   • 윈도우 11의 엄격한 하드웨어 요구사항을 우회하는 간단한 방법
   • AlDente - Charge Limiter🍝 - MacOS menu bar tool to limit maximum charging percentage. Don't overcook your battery! Keep it fresh and chewy with AlDente.
   • MS가 만든 패키지 관리자 ‘윈겟’의 이해와 기본 사용법
   • 마이크로소프트, 공유 및 관리 기능 강화된 ‘원드라이브 3.0’ 공개
   • 2023년 한글날 글꼴, 서체, 폰트 관련 트윗
   • asdf - The Multiple Runtime Version Manager: Manage all your runtime versions with one tool!
   • Microsoft PC Manager - 조용하고 안전하게 PC를 보호하기
2. 프로그래밍
   • magentic - LLM을 파이썬 함수로 심리스하게 연동 (github.com/jackmpcollins)
   • [컨테이너 인터널 #1] 컨테이너 톺아보기
   • Devs learn rival Godot engine in a week to poke fun at Unity
   • HTTPie Desktop - 크로스플랫폼 API 테스팅 클라이언트 (github.com/httpie)
   • Why you should use PHP
   • fury - 엄청 빠른 멀티 랭귀지 직렬화(Serialization) 프레임워크 (github.com/alipay)
   • bindiff - 구글이 만든 바이너리 파일을 위한 Diff 도구 (github.com/google)
   • [B급 프로그래머] 개발 생산성 향상을 위한 체크리스트 12가지 - 기술과 환경의 변화(본인이 작성한 글)
   • HarvardX: CS50's Introduction to Programming with Python (Free Course)
   • awesome-tinygo - A curated list of awesome TinyGo projects. Inspired by awesome-go.
   • Differences Between a DockerFile, Docker Image, and Docker Container
   • 파이썬 3대장을 만나보자.
   • Visual Studio Code: C# Dev Kit Now Generally Available
   • From CPython 3.13, you can limit the CPU count from Python runtime with -X cpu_count=<n>.
   • OpenAI, Python SDK v1.0.0 베타버전 공개 (github.com/openai)
   • Tetsuji: Remote Code Execution on a GameBoy Colour 22 Years Later
   • 5 Ways to Measure Execution Time in Python
   • Redis 사용량 타노스하기 (engineering.ab180.co)
   • How to Generate Mock Survey Data using Python = Learn how to use JSON input to generate data simulating survey questions and responses
   • Mastering Integration Testing with FastAPI
   • GN⁺: .git 디렉토리안에는 무엇이 있을까? (blog.meain.io)
   • FastAPI - A Python Framework | Full Course
   • Asyncio Coroutines Faster Than Threads!?
   • Starting on Software Bill-of-Materials (SBOM) for CPython
   • pythex is a quick way to test your Python regular expressions.
   • How to Use FastAPI: A Detailed Python Tutorial
   • Jacoco Agent Measures Code Coverage for Any Test
   • The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!)
   • Lessons from debugging a tricky direct memory leak
   • pkgx is a single, standalone binary that can run anything.
   • Python Type Hints: pyastgrep case study
   • monorepo.tools - Everything you need to know about monorepos, and the tools to build them.
   • Things I’ve learned about building CLI tools in Python
   • Python type hints: How to pass Any for unused parameters in tests
   • Web server ‘hello world’ benchmark : Go vs Node.js vs Nim vs Bun
   • any() and all() function in Python
   • Learn how to build a Complete chat app with FastAPI, Python and React JS.
   • How to Learn Python Programming Language in 7 Days in 2023
   • 웹 컴포넌트는 왜 등장했을까?
   • GN⁺: Paperless-ngx - 오픈 소스 문서 관리 시스템 (nerdyarticles.com)
   • 8비트 PC의 컬러 번짐 현상
   • 캡콤 역사상 가장 치명적인 실수.jpg
   • GN⁺: HTTP/3 채택이 빠르게 증가하고 있음 (blog.apnic.net)
   • “자바 앱을 더 빠르게” 성능 튜닝의 모든 것
   • 파이썬 3 나온 지 언젠데...아직까지 ‘파이썬 2’ 못 놓는 개발자들
   • ‘자동화’가 역효과를 일으키는 6가지 이유
   • CPU Dispatch in ClickHouse
   • SeaGOAT is a local search tool that leverages vector embeddings to enable to search your codebase semantically.
   • NEXT.JS의 이미지 최적화는 어떻게 동작하는가?
   • GN⁺: 잘가 Integer, 안녕 UUIDv7 (buildkite.com)
   • GN⁺: Python 3.12 릴리즈 (python.org)
   • GN⁺: 2023년에 모든 소프트웨어 개발자가 알아야 할 Unicode에 대한 정보 (tonsky.me)
   • rustworkx is a general purpose graph library for Python written in Rust to take advantage of the performance and safety that Rust provides.
   • How to Build a GraphQL API with Spring Boot
   • SNU Programming Languages Lecture Notes Kwangkeun Yi 1 School of Computer Science & Engineering Seoul National University 1 Homepage: cse.snu
   • Is Your Java Application Slow? Check out These Open-Source Profilers
   • THE SCIENTIFIC PYTHON DEVELOPMENT GUIDE
   • Goodbye integers. Hello UUIDv7!
   • I am the reference, having been part of all of that.
   • Spring Boot 3 REST API Documentation using SpringDoc OpenAPI
   • The Algorithms - Rust
   • Python Developers Survey 2022 Results
   • Localhost 시대의 종말 (dx.tips)
   • From VMs to Containers to Pods 🧵
   • What to know before debating type systems
   • Insomnium - 로컬 API 테스팅 도구 (github.com/ArchGPT)
   • Fighting with type hints – overloaded decorator
   • Docker 4.22 Introduces Resource Saver and Improvements to Docker Compose
   • AB Testing 101 - What I wish I knew about AB testing when I started my career
3. DevOps
   • rathole - A secure, stable and high-performance reverse proxy for NAT traversal, written in Rust
   • “전문성보다는 유연성” 2023년 하반기 인기 네트워킹 기술
   • MiniOS - USB용으로 설계된 경량 Linux 배포본 (minios.dev)
   • 대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기
   • You're overpaying for OpenTelemetry's verbosity by at least 30%
   • GitHub Actions Expressions - You can evaluate expressions in workflows and actions.
   • A Visual Guide to Linux Logical Volume Management 🐧
   • kwatch helps you monitor all changes in your Kubernetes(K8s) cluster, detects crashes in your running apps in realtime, and publishes notifications to your channels (Slack, Discord, etc.) instantly
   • Computer Networking Introduction: Ethernet and IP (Heavily Illustrated) - Computer Networking Basics For Developers
   • Kubernetes scheduler deep dive
   • A Visual Checklist for Writing Production-grade Terraform Modules
   • Kafka As An Antipattern
   • Simplifying Kubernetes Operations with Terraform, ArgoCD and GitOps on AWS: Part 4
4. 설계
   • The Internals of Deno (choubey.gitbook.io)
   • 8 Fallacies of Distributed Computing
   • 𝗦𝗼𝗳𝘁𝘄𝗮𝗿𝗲 𝗔𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗛𝘆𝗽𝗲 𝗖𝘆𝗰𝗹𝗲
   • The Purpose of (Software) Architecture
   • Apache Kafka as Workflow and Orchestration Engine
   • How to Build a Real-Time Feature Pipeline In Python
   • Nice to meet you, mondayDB architecture
   • How we reduced the cost of building Twitter at Twitter-scale by 100x
   • Job Stories
   • Seven Principles of Cloud-Native Architecture
   • UX Pattern Archive - 언제 어디서든 UX 패턴을 찾을 수 있어요.
   • How to model a following system similar to Twitter and Instagram with Python and Django
   • 쿠폰 발급 RabbitMQ도입기
   • Redis Pub/Sub을 활용한 쿠폰 발급 비동기 처리
   • Change Data Capture for Microservices
   • Designing APIs for humans: Error messages
   • Hints for Distributed Systems Design
   • 좋은 객체 ID(Object ID) 만들기 -토스페이먼츠
   • System Design Fight Club - Live every weekend, over 50 problems covered
   • Building event-driven architecture for member system
5. 경력 관리와 개발문화
   • ‘감축 예산’ 시작도 안 했는데…‘R&D 일자리’ 증가 속도 ‘뚝
   • MariaDB PLC to Layoff 28%, Kill SkySQL and Xpand
   • SNS는 시간 낭비? “지식 확장에 도움”… 한국, 중·일보다 영어권과 온라인 지적교류 더 활발
   • [독서광] 상자 밖에 있는 사람(본인이 작성한 글)
   • GS·CU·투썸플레이스…편의점·커피점 10곳 중 3곳 '임금체불'
   • 2023 State of DevOps Report by Google
   • “출근 도장만 찍고 일은 집에서” 사무실 복귀 흐름 속 새로운 업무 트렌드
   • 창업에 ‘너무 늦은’ 나이는 없다
   • 슈퍼앱의 위험
   • $MSFT Business Breakdown
   • 회사 문화는 지난 50일에서 보여집니다 (world.hey.com)
   • Why Technical Experience Matters: How to Build a Lifelong Career in Software Development
   • 연구비 바로 아작 났다.
   • 퇴사하고 싶은 분들만 들어오세요(ft.9년차 자영업자(전직 회사원)
   • The Engineering in Engineering Manager
   • 16 System Design Concepts I Wish I Knew Before the Interview.
   • Kubernetes Interview Guide! A thread with 20+ mid-level to advanced Kubernetes interview questions with concise answers 🚢⚓️ 👇
   • ☕️ 마스터클래스는 성장할 수 있을까?
   • 글로벌 CEO 5명 중 3명 “코로나19가 촉발한 재택근무, 3년 내 완전히 사라질 것”
   • 엔씨 '변화경영위원회' 출범...구조조정 현실화 우려에 직원들 '동요'
   • AI 창업가 현황
   • Measuring developer productivity? A response to McKinsey, Part 2
   • Bridging Silos and Overcoming Collaboration Antipatterns in Multidisciplinary Organisations
   • lifehacks
   • 𝗛𝗼𝘄 𝗚𝗼𝗼𝗴𝗹𝗲 𝗨𝘀𝗲𝗱 𝗔𝘂𝘁𝗼𝗺𝗮𝘁𝗲𝗱 𝗧𝗲𝘀𝘁𝘀 𝗧𝗼 𝗘𝘀𝘁𝗮𝗯𝗹𝗶𝘀𝗵 𝗮 𝗛𝗶𝗴𝗵-𝗧𝗿𝘂𝘀𝘁 𝗖𝘂𝗹𝘁𝘂𝗿𝗲?
   • [Blind] IT 업계 테크직군 초봉 리스트
   • Things I learned the hard way:

보안/클라우드/데이터베이스 관련 소식

1. 보안
   • [단독] 주진형이 투자 유도?…사칭 광고에도 “규정 위반 아냐”
   • Cory Doctorow: Interoperability Can Save the Open Web How to free users from Big Tech’s walled gardens
   • Security of Software Update Systems in 2023
   • “금융업 노린 피싱 공격서 MS·아메리칸 익스프레스 사칭 인기”
   • “오픈소스 소프트웨어 공급망 공격, 1년 새 3배 껑충”
   • 중앙선관위 정보보안시스템 컨설팅 결과 관련 입장
   • HTTP/2 신속한 재설정 취약점으로 인해 역대 규모의 DDoS 발생 (cloud.google.com)
   • Introduction to encryption for embedded Linux developers
   • A hands-on approach to symmetric-key encryption
   • Asymmetric-Key Encryption and Digital Signatures in Practice
   • No Wires, No Batteries - Spying Changed FOREVER because of this invention!
   • “생성형 AI에 대한 두려움, 사이버보안 예산 증가에 일조” IBM 보고서
   • “비밀번호는 잊어라” 윈도우 11 22H2 업데이트서 ‘패스키’ 지원 시작
   • “금융 서비스 노린 웹 애플리케이션 및 API 공격 급증” 아카마이 보고서
   • Email Regex Vulnerable to ReDoS attack
   • AWS Penetration Testing Insights
   • 13 most dangerous Linux terminal commands every Linux user must be aware of (don't run these):
2. 클라우드
   • Britive: Just-in-Time Access across Multiple Clouds
   • 온프레미스를 애저로 옮기는 가장 쉬운 방법, 애저 마이그레이트
   • KB국민은행은 어떻게 AWS 클라우드 비용을 대폭 줄였나
   • 5 THINGS YOU MAY NOT KNOW ABOUT AWS IAM
   • Cloudflare Hyperdrive: Access PostgreSQL Databases Globally
   • How we tame High Cardinality by Sharding a stream
   • Build secure application networks with VPC Lattice, Amazon ECS, and AWS Lambda
   • Announcing AI Gateway: making AI applications more observable, reliable, and scalable
   • Workers AI: serverless GPU-powered inference on Cloudflare’s global network
   • Vectorize: AI 기반 앱을 프로덕션에 빠르게 제공하기 위한 벡터 데이터베이스
   • You can now use WebGPU in Cloudflare Workers
   • Azure API Center Now in Public Preview
   • Azure Database Drops Support for MariaDB
   • 클라우드 비용 최적화: 수백만 달러 절약한 쿠팡의 노력
3. 데이터베이스
   • ParadeDB is an ElasticSearch alternative built on PostgreSQL, engineered for lightning-fast full text, similarity, and hybrid search.
   • pg_bm25 - Postgres에서 Elastic 수준의 품질을 제공하는 Full-Text 검색 확장 (docs.paradedb.com)
   • pgroll - 제로 다운타임, 원복 가능한 Postgrest 스키마 이관 도구 오픈소스 (github.com/xataio)
   • 모든 DB는 머지않아 벡터 데이터베이스가 될 것이다 (nextword.substack.com)
   • 2023년, 벡터 데이터베이스 선택을 위한 비교 및 가이드 / Picking a vector database: a comparison and guide for 2023 (discuss.pytorch.kr)
   • So you want to expose a database? - An exploration of automated API generation
   • A Postgres extension for quickly creating "branches" of individual databases within a Postgres cluster using copy-on-write file systems like BTRFS.
   • 오라클, 마이SQL 쓰임새 생성 AI로 확장
   • 몽고DB, AI 애플리케이션 구축 및 확장 위한 ‘아틀라스 벡터 서치’ 신규 기능 발표
   • GN⁺: Database Performance at Scale - 오픈소스 e북[270p PDF] (scylladb.com)
   • SQLModel, SQL databases in Python, designed for simplicity, compatibility, and robustness.
   • Vector similarity - Use Redis as a vector database
   • Vacuum in PostgreSQL
   • turbopuffer <(°O°)> - A truly serverless vector database. 🐡💨
   • Choose Postgres queue technology
   • Demystifying Database Transactions
   • JVector is a pure Java embedded vector search engine that powers DataStax Astra and is being added to Apache Cassandra.
   • Upsert in SQL
   • InfluxDB is an open source time series database written in Rust, using Apache Arrow, Apache Parquet, and Apache DataFusion as its foundational building blocks.
   • How to store passwords safely in the database and how to validate a password? Let’s take a look.
   • Database Migrations

보너스: Dunno who made this but it's genius. Why change fails: via @polak_jasper

EOB

[독서광] 상자 밖에 있는 사람

이번 주는 상자 밖에 있는 사람를 소개하겠다.

방송 스크립트는 전체 공개되어 있으며, 슬라이드셰어에서 보거나 다운로드 받을 수도 있다.

하이라이트를 요약 정리하면 다음과 같다:

• 00:00 도입
• 00:40 한 페이지 요약
• 04:16 이 책의 목차
• 07:06 무엇이 이 책을 흥미롭게 만드는가?
• 13:03 책 vs 책
• 14:01 대상 독자
• 14:53 결론과 마무리

EOB

[B급 프로그래머] 개발 생산성 향상을 위한 체크리스트 12가지 - 기술과 환경의 변화

지난 번에 [일상다반사] 유튜브 구독자 3천명 돌파 기념 애독자 이벤트를 진행하면서 이벤트 2번에서 한빛N에 올린 개발 생산성 향상을 위한 체크리스트 12가지를 소개드렸었다. 기획 과정에서 기존 조엘 테스트와 비교해 어떤 점에 주안점을 뒀는지 보충설명하는 콘텐트를 올렸으니 참고하시면 좋겠다.

그리고 애독자와 애청자 여러분을 위한 쿠폰 무료 증정 이벤트를 기획했으니 많은 참여 부탁드리겠다. "개발 생산성 향상을 위한 체크리스트 12가지" 콘텐트를 보시고 싶은 이유를 10월 17일(화) 오후 9시까지 유튜브 해당 콘텐트 아래 댓글로 달아주시면 총 10분을 추첨해서 무료 수강권을 선물로 드릴 예정이다.

하이라이트를 요약 정리하면 다음과 같다:

• 00:00 도입
• 01:58 강의 소개
• 02:26 조엘 체크리스트와 새로운 체크리스트 비교 소개
• 04:52 과거와 비교한 기술 부문의 변화 상황 - 컴포넌트 방식의 프로그래밍과 단위 테스트의 부상
• 11:30 과거와 비교한 환경 부문의 변화 상황 - 소프트웨어의 편재적인 특성과 개발 환경의 편재화
• 15:49 변화에 대응하는 우리의 자세 - 타조로부터 배우는 교훈

EOB

[B급 프로그래머] 10월 1주 소식(빅데이터/인공지능, 하드웨어, 읽을거리 부문)

(오늘의 짤방: AI for science is already here! via @mustafasuleyman)

1. 빅데이터/인공지능
   • 전경헌 사이냅소프트 대표 "국내 1위 문서 서비스에 생성 AI 도입...AI 전문 SaaS 기업으로 도약"
   • 오라클, 마이SQL 쓰임새 생성 AI로 확장
   • 윈도우 AI 기능에서 발견한 마이크로소프트의 조급함과 성급함
   • LongLLaMA Code: Focused Transformer Training for Context Scaling
   • Open X-Embodiment: 로봇 학습 데이터세트 및 RT-X 모델 (robotics-transformer-x.github.io)
   • “메타 라마2 API로 최초 지원” ···서버리스 생성형 AI 서비스 ‘아마존 베드록’ 공식 버전 출시
   • 구글, 창립 25주년 맞아 AI 개발 역사 소개
   • 구글 어시스턴트, 더 똑똑해진다…“생성형 AI ‘바드’ 탑재”
   • Visual Instruction Tuning - LLaVA: Large Language and Vision Assistant
   • “구글 독점적 입지, AI 검색에선 더 우려스럽다” 사티야 나델라 진술
   • 하둡 영광 재현될까?··· 야후, AI 데이터 서빙 엔진 ‘베스파’ B2B 사업용 법인 설립
   • 몽고DB, AI 애플리케이션 구축 및 확장 위한 ‘아틀라스 벡터 서치’ 신규 기능 발표
   • 손정의 회장 "10년 안에 AGI 등장할 것...AI 거부하면 금붕어·원숭이 수준 될 것"
   • Evaluating the Ideal Chunk Size for a RAG System using LlamaIndex
   • RAG Is A Hack - with Jerry Liu from LlamaIndex
   • Evaluating and Optimizing your RAG App
   • Everything about Distributed Training and Efficient Finetuning
   • Large Language Models (in 2023): 동영상
   • Google just dropped their new phone. Prepare to be blown away by its jaw-dropping AI features!
   • Vector similarity - Use Redis as a vector database
   • SeaGOAT - A code search engine for the AI age. SeaGOAT is a local search tool that leverages vector embeddings to enable to search your codebase semantically.
   • The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
   • turbopuffer <(°O°)%gt; - A truly serverless vector database. 🐡💨
   • Evaluating LLMs is a minefield
   • Practical Advice for Retrieval Augmented Generation (RAG), by Sam Partee at QCon San Francisco
   • AI 창업가 현황
   • Build AI Content Search with Docs Agent
   • The Docs Agent demo enables PaLM API users to launch a chat application on a Linux-based host machine using their own set of documents as a source dataset.
   • AI 저작권 논란 확산…"국내도 법·제도 개선해야"
   • Can large language models provide useful feedback on research papers? A large-scale empirical analysis
   • Pymilo is an open source Python package that provides a simple, efficient, and safe way for users to export pre-trained machine learning models in a transparent way.
   • "AI 골드러시 시대"…이통 3사도 AI로 탈통신
   • Is Generative AI Taking Over the World?
   • Today we're announcing #GAIA1: a 9B parameter world model, trained on 4,700 hours of driving data, able to simulate complex and diverse driving scenes from video, text and action inputs.
   • We are excited to announce the release of XGBoost 2.0.
   • s아직도 덜 올랐다"…인공지능 올라탄 독점 기업
   • Meta, 모든 곳에 AI 챗봇을 도입 예정 (theverge.com)
   • CNN Explainer - An interactive visualization system designed to help non-experts learn about Convolutional Neural Networks (CNNs)
   • Meta, 32k 토큰의 컨텍스트 윈도우를 지원하는 LLAMA 2 Long 공개 (venturebeat.com)
   • Open Interpreter lets LLMs run code (Python, Javascript, Shell, and more) locally.
   • You can now get a full tracing/observability UI in *all* @llama_index RAG/agent pipelines, in one-line of code ⚡️
   • Free Certification Course from IBM: Analyzing Data with Python!
   • Learn more about NumPy for #Python
   • Chroma embedding_functions.py
   • drawing ExpertQA drawing: Expert-Curated Questions and Attributed Answers
   • ExpertQA: Expert-Curated Questions and Attributed Answers
   • Writing poems using LLama 2 on Workers AI
   • Announcing AI Gateway: making AI applications more observable, reliable, and scalable
   • Workers AI: serverless GPU-powered inference on Cloudflare’s global network
   • JVector is a pure Java embedded vector search engine that powers DataStax Astra and is being added to Apache Cassandra.
   • Memory in Plain Sight: A Survey of the Uncanny Resemblances between Diffusion Models and Associative Memories
   • THE SCIENTIFIC PYTHON DEVELOPMENT GUIDE
   • 4 Controversial data science opinions of mine:
   • L2CEval - How good are current LLMs at translating natural language into executable code?
   • Falcon 180B Finetuning using 🤗 PEFT and DeepSpeed
   • Generative AI의 2막 (sequoiacap.com)
   • Multi-Document Agents
   • Massive Text Embedding Benchmark
   • Massive Text Embedding Benchmark (MTEB) Leaderboard
   • WaffleCLIP - This repository contains code to replicate key experiments from our paper Waffling around for Performance: Visual Classification with Random Words and Broad Concepts.
   • Detect objects in images This runs entirely in your browser.
   • Probability and Statistics 1
   • GN⁺: Mistral 7B (mistral.ai)
   • Windows Copilot is here!
   • PostgreSQL vs Python for data cleaning: A guide
   • transformers.js javascript library logo
   • GN⁺: RealFill: 확산 모델을 사용한 이미지 완성 (realfill.github.io)
   • Everything You Always Wanted To Know About Mathematics* (*But didn’t even know to ask) - A Guided Journey Into the World of Abstract Mathematics and the Writing of Proofs
   • @mark_riedl starts with distinguishing transparency, interpretability, and explainability.
   • PaLM API: Text Quickstart with Python
   • Top Python Libraries for Visualization: A Starting Guide
   • Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
   • Introducing New AI Experiences Across Our Family of Apps and Devices
   • RAG or 파인튜닝? 선택 전 던져야할 몇 가지 질문들
   • Processing a 250 TB dataset with Coiled, Dask, and Xarray
   • Dataherald - 자연어-to-SQL 엔진 (github.com/Dataherald)
   • This is GreenBitAI's research code for running 2-bit and 1-bit LLaMA models with extreme compression yet still strong performance.
   • Transformer-VQ - Official implementation of 'Transformer-VQ: Linear-Time Transformers via Vector Quantization'.
   • Demystifying CLIP Data
   • 안드레 카파시, 거대언어모델은 새 시대의 OS 역할
   • Demystifying CLIP Data
   • Anthropic (Claude and Claude 2) started rolling out access to Chat and API users all over the world!
   • “챗GPT 데이터 유출 공포 이렇게 극복했다”··· 美 나반 CSO 프라바스 카란스
   • “실시간 AI 애플리케이션 개발 더 쉽게”··· 컴플루언트, AI용 데이터 스트리밍 기술 강화
   • “학습부터 생성까지” AI는 저작권 사각지대
   • 데이터 변혁의 핵심은 기술이 아니라 사람이다
   • MS, 윈도우 그림판에 AI 이미지 생성 도구 ‘코크리에이터’ 추가
   • 오픈AI-MS 연합 따라가나··· 앤트로픽, 아마존으로부터 40억달러 투자 유치 “인프라 사용 권한 획득”
   • “윈도우에 AI가 온다” 윈도우 11 23H2 업데이트 미리보기
   • Superflows - SaaS를 위한 AI Copilot 작성용 툴킷 (github.com/Superflows-AI)
   • Google open-sourcing new SoTA CLIP models 🥳 - mple colab for SigLIP models described in the SigLIP paper.
   • 日本語LLMまとめ
   • How Generative AI and LLMs Unlock Greater Workforce Productivity
   • Effective Long-Context Scaling of Foundation Models
   • "의료계에도 부는 AI 바람"…KHF 2023, 헬스케어의 디지털전환 주도
   • "민감정보 다루는 공공 초거대 AI, 민간기술 쓰되 폐쇄형 클라우드 구현해야"
   • MS·구글과 다르다...'생성AI 유료화' 신중모드 확산
   • 아마존헬스케어 "의료 시장 변화 맞아, 클라우드 역할 커져"
   • Core ML Stable Diffusion - Run Stable Diffusion on Apple Silicon with Core ML
   • Building RAG-based LLM Applications for Production (Part 1)
   • Hugging Face's Guide to Optimizing LLMs in Production
   • Less than 31 hours since OpenAI started dropping the ChatGPT vision feature on pro users... People are scratching their heads in disbelief.
   • Non-engineers guide: Train a LLaMA 2 chatbot
   • Fine-Tuning or RAG — Why Not Both?
   • Use @llama_index data agents for blockchain data analysis 🔑🐋
   • Creating a LLaMa 2 Agent Empowered with Wikipedia Knowledge
   • VideoDirectorGPT: Consistent Multi-Scene Video Generation via LLM-Guided Planning
   • We release OpenLM a simple and minimalist PyTorch codebase for training medium-sized language models.
   • A hacker's guide to Language Models
   • vpselector - The Visual Pandas Selector is a tool to visually select portions of numeric time-series data from a pandas dataframe.
   • Harnessing AI in product management to build better products
   • Lantern - AI앱을 위한 PostgreSQL Vector DB (docs.lantern.dev)
   • Building RAG from Scratch (Open-source only!)
   • Spotify Embraces AI, Eschews AI Music Ban and Adds AI Podcast Translation
   • Question Answering with Langchain, Tair and OpenAI
   • Question Answering with Langchain, AnalyticDB and OpenAI
   • Open Interpreter with @Gradio demo in colab
   • Efficient Post-training Quantization with FP8 Formats
   • GN⁺: Google이 Quora의 (틀린) ChatGPT 답변을 정답으로 선택 (twitter.com/8teapi)
   • “AI 푸드테크 선도 역할”..풀무원GPT, 헬스케어부터 음성봇까지 확대
   • 최대 24배 빠른 vLLM의 비밀 파헤치기
   • 자신의 ChatGPT 전체 기록을 Markdown으로 Export하기 (github.com/mohamed-chs)
   • QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models
   • LLM Startup Embraces AMD GPUs, Says ROCm Has ‘Parity’ With Nvidia’s CUDA Platform
   • 데이터에 생명을 더하는 일
   • Here are the four main ways you can improve your LLM/RAG app beyond the “naive” state (top-k) 📈:
   • Textbook Quality - This project generates very long, textbook quality pretraining data.
   • 구글, 안드로이드 AI 코딩 보조 프로그램 Studio Bot을 170개국에 공개 (developers-kr.googleblog.com)
   • Why "p<0.05" and "p>0.05" Aren't Enough?
   • 컴퓨터가 수백만 개 상품을 사람처럼 인식할 수 있을까?
   • Generative AI by Getty Images Launches, Trained on NVIDIA Picasso
   • tinytorch - Newest ML framework that you propbaly don't need, this is really autograd engine backed by numpy
   • GN⁺: Amazon, 최대 5.3조원($4B)을 Anthropic에 투자 예정 (anthropic.com)
   • Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
   • VidChapters-7M: Video Chapters at Scale
   • Document Topic Extraction with Large Language Models (LLM) and the Latent Dirichlet Allocation (LDA) Algorithm
   • MS와 인텔의 AI 전략이 ‘PC의 미래’에 시사하는바
   • 미 베스트셀러 작가들, 오픈AI 고소…챗GPT 학습에 저작물 무단 이용
   • 어설픈 기사로 조롱거리 된 AI 기자 外··· 'AI 재난' 9선
   • 생성형 AI 도입이 IT리더에게 고민거리인 이유
   • ‘생성형 AI로 매출 증대 꾀한다 ’ 오라클 클라우드월드 2023 요약 6가지
   • 춘추전국의 한국 이커머스 시장을 평정한 쿠팡. Gen. AI로 혁신하는 네이버 쇼핑과 다른 기업들의 M&A
   • Inside the Matrix: Visualizing Matrix Multiplication, Attention and Beyond
   • Anthropic Cookbook - This cookbook contains recipes in the form of Jupyter notebooks for using Claude in neat and effective ways.
   • A team at Microsoft Research has made available Phi 1.5, which is a 1.3 billion parameter model optimized for common sense reasoning in natural language, showing performance on par with models 5x its size, especially in grade-school mathematics and basic coding.
   • Open AI releases GPT-4V(ision) system card
   • LLM Meetup @Seoul 1: LLM이 해결하지 못한 문제들
   • Quickly create interactive & customizable multi-page dashboards with Taipy, the open-source Python library, with its simple syntax.
   • ChatGPT can now see, hear, and speak
   • MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation
   • LLama 2 LLM for PDF Invoice Data Extraction
   • Interpreting OpenAI's Whisper
   • big.js - A small, fast, easy-to-use library for arbitrary-precision decimal arithmetic.
   • Neo4j Schema Query Builder
   • DualToken-ViT: Position-aware Efficient Vision Transformer with Dual Token Fusion
   • ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
   • Reversal Curse - This repository includes the source code and results for an experiment I did to verify the results in this paper, and to test a hypothesis that was immediately obvious to me upon reading the paper, given the intuition and understanding I have built up regarding language models so far. The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"
   • Medical Intake Experiment - Automated pipeline for medical intake, diagnosis, tests, etc. Meant to be used as a clinical aid.
   • Text-Guided Vector Graphics Customization
   • PyTorch Model Performance Analysis and Optimization — Part 6
   • 데스크 리서치 속도를 5배 향상시키는 ChatGPT활용
   • Local Embeddings with HuggingFace
   • Artificial Intelligence Programs by Stanford Online
   • Why transformative artificial intelligence is really, really hard to achieve
   • How the Python Dataframe Interchange Protocol Makes Life Better
   • FlagEmbedding can map any text to a low-dimensional dense vector which can be used for tasks like retrieval, classification, clustering, or semantic search. And it also can be used in vector databases for LLMs.
   • Why Are There So Many Python Dataframes?
   • Vector Search with OpenAI Embeddings: Lucene Is All You Need
   • I'll go on the record with perhaps another contrarian opinion: Lucene HNSW is the future and (pure) vector DB vendors are in trouble. Why?
   • Introducing Elasticsearch Relevance Engine™ — Advanced search for the AI revolution
   • Advertisement 5 Skills All Marketing Analytics and Data Science Pros Need Today
   • End-to-end Autonomous Driving: Challenges and Frontiers
   • Bohemian Matrices
   • GitWit is a container-based agent specialized in making useful commits to git repositories.
   • Embedding Similarity Evaluator
   • 542.8 TB of high quality text:
   • 전재진 카카오엔터프라이즈 클라우드 리더 “멀티모달 개발 경험 충분… 외부 협업 이어갈 것”
   • "생성 AI 시대, 관계형 DB가 견고한 기반될 것"
   • 오라클, 기업용 생성 AI 플랫폼 서비스 공개
   • How AI Is Changing the Way We Code
   • Candle Llama2.c - Rust/WASM Demo
2. 하드웨어
   • "누구도 막을 수 없다" 엔비디아가 기업용 AI 시장의 거물로 서기까지
   • “패스스루로 더 정교한 혼합 현실 구현” 메타 퀘스트 3, 업무용 기기로도 성공할까
   • 생각보다 성공적인 미니 PC 사용기 "데스크톱 PC는 기술 과잉"
   • GN⁺: Raspberry Pi 5 (raspberrypi.com)
   • Meta, 혼합현실 헤드셋 Quest 3 발표 (meta.com)
   • “노트북의 미래를 바꾼다” 인텔 ‘메테오 레이크’ 특징 6가지
   • SpaceX의 App Layer 전략 (sacra.com)
3. 읽을거리
   • 2023년 9월말 외환보유액
   • 타임 지가 선정한 역대 미스터리 스릴러 100선
   • 목차를 디자인하는 방법 - 테스터스 초이스
   • 통계청 1년간 뒤집더니…‘표본 조작’ 어디로 사라졌나
   • IMF, 인플레 장기화 경고…"5년내 물가 잡힌 경우 60%도 안돼"
   • 古書의 명복을 빕니다… 전국 대학 ‘책 장례식’
   • 일시적 1가구 2주택 세금별 차이
   • 이런 적은 없었으니까
   • 연봉 7800만원…‘기재부 피셜’ 중산층·고소득층 가르는 기준?
   • 이경규, 본능과 태도
   • 日 솜포케어, 요양산업 강자된 비결은… IT기술 접목해 매출 1兆 달성
   • 사람들이 네이버·다음에서도 뉴스를 안 본다
   • 비만약 ‘위고비’ 열풍에 떨고 있는 회사들
   • 대공황 이야기
   • 경제금융 공부하기 좋은 6가지 영화
   • 시험 등수 없는 요즘 초등학교. 난생처음 성과주의를 경험해 본 아이들의 반응?ㅣ선행학습으로 인한 교실 속 교육격차ㅣ올바른 분배의 기준과 공정이란?ㅣ다큐멘터리K
   • Here's 15 Data Analytics Questions Google expects you to know:
   • 집에서 샤인머스캣 키우기
   • 도로 위 분홍색의 기적
   • 대한민국 상위1% 보고서 (NH투자증권)

보너스: In-context learning 개념을 설명하기 어려워서 이런식으로 예시를 들었는데 괜찮은 것 같다 ㅎㅎㅎ

EOB