Fix a race condition in winbind leading to a panic

In winbind, we do multiple events in one select round. This needs fixing, but
as long as we're still using it, for efficiency reasons we need to do that.

What can happen is the following: We have outgoing data pending for a client,
thus

state->fd_event.flags == EVENT_FD_WRITE

Now a new client comes in, we go through the list of clients to find an idle
one. The detection for idle clients in remove_idle_client does not take the
pending data into account. We close the socket that has pending outgoing data,
the accept(2) one syscall later gives us the same socket.

In new_connection(), we do a setup_async_read, setting up a read fde. The
select from before however had found the socket (that we had already closed!!)
to be writable. In rw_callback we only want to see a readable flag, and we
panic in the SMB_ASSERT(flags == EVENT_FD_READ).

Found using

bin/smbtorture //127.0.0.1/tmp -U% -N 500 -o 2 local-wbclient

Volker

use epoll for local-wbclient test

Don't limit the number of retries in wb_trans.

This is better done with a tevent_req_set_endtime the caller should issue.

Don't set a timeout deep inside wb_connect

Change async_connect to use connect instead of getsockopt to get the error

On my Linux box, this is definitely the more reliable strategy with unix domain
sockets, and according to my tests it also works correctly with TCP sockets.

Do queueing in wbclient.c

The _trigger fn must know about wbc_context, while we were waiting in the
queue the fd might have changed

Fix closed_fd(): select returning 0 means no fd listening

Fix wb_simple_trans queueing

Add "err_on_readability" to writev_send

A socket where the other side has closed only becomes readable. To catch
errors early when sitting in a pure writev, we need to also test for
readability.

Allow NULL queue to writev_send

Ensure we return NT_STATUS_FILE_IS_A_DIRECTORY on a posix open on a
directory name.
Jeremy.

Test that POSIX open of a directory returns NT_STATUS_FILE_IS_A_DIRECTORY (ERRDOS, EISDIR).
Jeremy.

s3:smbd: implement SMB2 Tree Disconnect

metze

s3:smbd: implement SMB2 Tree Connect

For now this only checks if the share is present or not.

metze

s3:smbd: SMB2 session ids are 64bit...

We only grand ids up to 0x0000000000FFFFFF,
because that's what our idtree implementation can handle.
But also 16777215 sessions on one tcp connection should be enough:-)

metze

tsocket: allow empty vectors at the end for tstream_writev()/readv()

metze

s3:winbind:idmap_ldap: fix a crash bug in idmap_ldap_unixids_to_sids (#6387)

This fixes a crash bug hit when multiple mappings were found by
the ldap search. This crash was caused by an ldap asssertion
in ldap_next_entry because was set to NULL in each iteration.

The corresponding fix was applied to the idmap_ldap_sids_to_unixids()
by Jerry in 2007 (b066668b74768d9ed547f16bf7b6ba6aea5df20a).

This fixes the crash part of bug #6387.

There is a logic part, too:
The problem currently only occurs when multiple mappings are found
for one given unixid. Now winbindd does not crash any more but
it does not correctly handle this situation. It just returns the
last mapping from the ldap search results.
This needs fixing.

Michael

s3:smbd: implement SMB2 Logoff

metze

Don't steal when we know the ptr will be null. Thanks to Simo for
pointing this out.
Jeremy.

Revert the last two commits (fix for #6386). The actual problem
was a bug in ldb in 3.2 which could return a freed pointer on
ret != LDAP_SUCCESS. The main thing we must ensure is that we
never talloc_steal until we know LDAP_SUCCESS was returned.
Jeremy.

Ensure all possible uses of indirection through res are checked after
an ldb_search.
Jeremy.

Attempt to fix bug #6386 - Samba Panic triggered by Sophos Control Centre.
Don't indirect a potentially null pointer.
Jeremy.

Detect tight loop in tdb_find()

s3 torture: Fix warning

s3 onefs: Fix invalid argument from the unix_convert smb_filename struct patch

s3:smbd: we want to get the next command offset and not set it...

This should also fix the build on some hosts.

metze

s3-build: fix the build of ntlm_auth. Bo Yang, please check.

Guenther

s4-selftest: adding RPC-SAMR-USERS-PRIVILEGES to knownfail list.

Samba4 cannot pass this test currently as in Samba4 (unlike Samba3)
the LSA and SAMR account are stored in the same db.
Once you delete a SAMR user the LSA privilege account is deleted
at the same time (which is wrong).

Guenther

s3: ignore EPIPE error when winbind finally writes to wb client because client might have already closed the socket

Signed-off-by: Bo Yang <boyang@samba.org>

s3: Fix onlinestatus msg to return status of all domain instead of omitting trusted domains

Signed-off-by: Bo Yang <boyang@samba.org>

s3: set winbindd request flags in ntlm_auth to make it contact trusted domain when krb5 auth is enabled

Signed-off-by: Bo Yang <boyang@samba.org>

s3: Fix request flags in wbinfo when perform krb5 authentication

Signed-off-by: Bo Yang <boyang@samba.org>

Make cli_posix_open() and cli_posix_mkdir() async.
Jeremy.

s3: Change unix_convert (and its callers) to use struct smb_filename

This is the first of a series of patches that change path based
operations to operate on a struct smb_filename instead of a char *.
This same concept already exists in source4.

My goals for this series of patches are to eventually:

1) Solve the stream vs. posix filename that contains a colon ambiguity
   that currently exists.
2) Make unix_convert the only function that parses the stream name.
3) Clean up the unix_convert API.
4) Change all path based vfs operation to take a struct smb_filename.
5) Make is_ntfs_stream_name() a constant operation that can simply
   check the state of struct smb_filename rather than re-parse the
   filename.
6) Eliminate the need for split_ntfs_stream_name() to exist.

My strategy is to start from the inside at unix_convert() and work my
way out through the vfs layer, call by call.  This first patch does
just that, by changing unix_convert and all of its callers to operate
on struct smb_filename.  Since this is such a large change, I plan on
pushing the patches in phases, where each phase keeps full
compatibility and passes make test.

The API of unix_convert has been simplified from:

NTSTATUS unix_convert(TALLOC_CTX *ctx,
      connection_struct *conn,
      const char *orig_path,
      bool allow_wcard_last_component,
      char **pp_conv_path,
      char **pp_saved_last_component,
      SMB_STRUCT_STAT *pst)
to:

NTSTATUS unix_convert(TALLOC_CTX *ctx,
      connection_struct *conn,
      const char *orig_path,
      struct smb_filename *smb_fname,
      uint32_t ucf_flags)

Currently the smb_filename struct looks like:

struct smb_filename {
       char *base_name;
       char *stream_name;
       char *original_lcomp;
       SMB_STRUCT_STAT st;
};

One key point here is the decision to break up the base_name and
stream_name.  I have introduced a helper function called
get_full_smb_filename() that takes an smb_filename struct and
allocates the full_name.  I changed the callers of unix_convert() to
subsequently call get_full_smb_filename() for the time being, but I
plan to eventually eliminate get_full_smb_filename().

s3:smbd: check the incoming session id for SMB2 requests

metze

s3:smbd: implement SMB2 Session Setup with raw NTLMSSP

metze

s3:smbd: for now indicate raw NTLMSSP in the SMB2 Negotiate response

metze

s3:smbd: move the callback functions of smbd_smb2_request_reply() closer itself

metze

s3:smbd: add smbd_smb2_request_done_ex()

Some times we have to return a non-error response
with status != NT_STATUS_OK.

metze

s3:smbd: fix initialized memory in SMB2 responses

MESSAGE_ID and SESSION_ID are both 64bit.

metze

Add a security model to LSA. Similar to the SAMR code - using
the MS-LSA docs.
Jeremy.

s4:libcli/smb2: fix session setup with raw NTLMSSP

metze

s4:libcli/smb2: use raw ntlmssp if the server didn't provide a sec blob

metze

s4:libcli/smb2: fill in transport->negotiate.secblob with the correct data

metze

Use SMB_VFS_NEXT_CLOSE. This VFS stuff is really opaque to me...

Thanks Michael to provide some transparency :-)

s3:smbd: add support for SMB2 Keepalive (SMB2 Echo)

metze

s3:smbd: allow SMB 2.002 dialect in SMB1 negprot

We create a dummy SMB2 Negotiate inbuf and pass the
connection to the SMB2 engine.

metze

s3:smbd: add support for SMB2 Negotiate

This is not complete, but a start that makes the
samba4 smb2 client happy.

metze

s3:smbd: make negprot_spnego() non static

metze

s3:smbd: add infrastructure for SMB2 support

This is disabled by default and activated by
"max protocol = SMB2".

metze

s3:param: add PROTOCOL_SMB2

metze

SMB2-LOCK: let the test pass against samba4

metze

Fix bug disclosed by lock8 torture test

We have to drop the gpfs level share modes, regardless of whether we put
the file into the pending close queue.

Demonstrate a bug we have when dealing with real os-level share modes

Another one of those where you stare at logfiles for hours, and when you found
it, it's absolutely obvious what is happening...

s4: try to fix privileges implementation in order to pass the RPC-SAMR-USERS-PRIVILEGES test.

Guenther

Have ntvfs_connect() accept union smb_tcon *tcon instead of char* sharename

This change brings ntvfs_connect into compliance with other ntvfs functions
which take an ntvfs module, an ntvfs request and an smb io union.

It now becomes the responsibility of ntvfs modules to examine
tcon->generic.level themselves and derive the share name and any other
options
directly; e.g.

const char *sharename;

switch (tcon->generic.level) {
case RAW_TCON_TCON:
sharename = tcon->tcon.in.service;
break;
case RAW_TCON_TCONX:
sharename = tcon->tconx.in.path;
break;
case RAW_TCON_SMB2:
default:
return NT_STATUS_INVALID_LEVEL;
}

if (strncmp(sharename, "\\\\", 2) == 0) {
char *p = strchr(sharename+2, '\\');
if (p) {
sharename = p + 1;
}
}

service.c smbsrv_tcon_backend() is called before ntvfs_connect and fills in
some of the tcon->..out values.
For the case of RAW_TCON_TCONX, it filles out tcon->tconx.out.tid and
tcon->tconx.out.options

For the case of RAW_TCON_TCON it fills out tcon->tcon.out.tid and
tcon->tcon.out.max_xmit

Thus the ntvfs_connect function for vfs modules may override these values
if desired, but are not required to.

ntvfs_connect functions are required to fill in the tcon->tconx.out.*_type
fields, for RAW_TCON_TCONX, perhaps something like:

if (tcon->generic.level == RAW_TCON_TCONX) {
tcon->tconx.out.fs_type = ntvfs->ctx->fs_type;
tcon->tconx.out.dev_type = ntvfs->ctx->dev_type;
}

Signed-off-by: Sam Liddicott <sam@liddicott.com>
(I fixed the ntvfs_connect() in the smb_server/smb2/
 and the RAW_TCON_SMB2 switch case in the modules)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3-selftest: add add and delete group scripts using nss_wrapper.

Guenther

nsswrapper: implement group_del() in nss_wrapper.pl.

Guenther

nsswrapper: implement group_add() in nss_wrapper.pl.

Guenther

s4:smb_server: initialy read the first 4 bytes only

Stop packet_recv getting greedy and reading the whole socket
and then dispatching te extra packets in a timer loop

Signed-off-by: Sam Liddicott <sam@liddicott.com>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

s4:libcli/raw: initialy read the first 4 bytes only

metze

Do not do a merged build without shared libs

Jelmer, you might want to take a look at Andrew B's problem with

--enable-developer --disable-shared --disable-shared-libs

Only build the krb5 locator when building shared libs

Set errno=ENOMEM if tevent_add_fd fails

tevent_add_fd does not properly set that. At least in epoll and select this is
the only error condition.

Metze, please check!

Added mapping table for account object in lsa.
Jeremy.

Simplify the logic of tsocket_bsd_pending

Remove two indentation levels by returning early on error.

Metze, please check!

tevent/python: Makefile was still trying to build some non AC_SUBST python targets

Signed-Off-By: Jelmer Vernooij <jelmer@samba.org>

Make local-wbclient flexible in # of connections and ops

Fix wb_trans_done after conversion to unix calling conventions

Fix an uninitialized variable in wb_context_init

Another attempt at fixing the static build of vfs_notify_fam

Fix detection of "enum FAMCodes"

s3 onefs: Removing an incorrect TALLOC_FREE

Signed-off-by: Tim Prouty <tprouty@samba.org>

Use TDB_VOLATILE instead of tdb_set_max_dead()

s3/docs: Fix shutdown script example.

This fixes bug #5897. Thanks to TAKAHASHI Motonobu
<monyo [at] samba.gr.jp> for reporting and providing the example!

Karolin

s3: Always allocate memory in dptr_ReadDirName

This is a follow up to 69d61453df6019caef4e7960fa78c6a3c51f3d2a to
adjust the API to allow the lower layers allocate memory.  Now the
memory can explicitly be freed rather than relying on talloc_tos().

Signed-off-by: Tim Prouty <tprouty@samba.org>

s4 torture: Fix typo

s3 sendfile: Fix two bugs in sendfile

These were found interally via code inspection.

1) fake_sendfile was incorrectly writing zeros over real data on a
   short read.

2) sendfile_short_send was doing 4 byte writes instead of 1024 byte
   writes due to an incorrect sizeof usage.

Jermey, Vl please check

s4-smbtorture: Fix build warning in RPC-SAMR tests.

Guenther

s3: re-run make samba3-idl.

Guenther

lsa: add access_masks for accounts, secrets and trusted domains to IDL.

Guenther

Change access_check_samr_object -> access_check_object.
Make map_max_allowed_access global. Change lsa_get_generic_sd
to add Everyone:LSA_POLICY_READ|LSA_POLICY_EXECUTE, not just
LSA_POLICY_EXECUTE.
Jeremy.

s3-lsa: let _lsa_OpenPolicy() just call _lsa_OpenPolicy2().

Guenther

s3-selftest: enable RPC-SAMR-USERS-PRIVILEGES.

Guenther

Fix SAMR server for winbindd access. Ensure we allow
MAX_ACCESS to be mapped to what we're giving Everyone.
Jeremy.

s3-lsa: let _lsa_GetSystemAccessAccount() call into _lsa_EnumPrivsAccount().

Inspired by lsa server from Samba 4.

Just removing a user in SAMR does not remove a user in LSA. If you use
usermanager from windows, the "User Rights" management gui gets unaccessable as
soon as you delete a user that had privileges granted. With this fix, that
no longer existing user would properly appear as an unknown account in the GUI
(as it does while using usermanager with windows domains).

This almost makes Samba3 pass the RPC-SAMR-USERS-PRIVILEGES test.

Guenther

s3-lsa: start a very basic implementation of _lsa_DeleteObject().

Certainly not the full story but this gets us closer to pass the
RPC-SAMR-USERS-PRIVILEGES test.

Guenther

s4-smbtorture: add RPC-SAMR-USERS-PRIVILEGES test.

This test demonstrates the independence of the lsa and samr accounts while
remove a samr users that still has privileges granted.

Guenther

Move down the become_root()/unbecome_root() calls into the VFS modules

The aio_fork module does not need this, as it does not communicate via signals
but with pipes. Watching a strace log with those become_root() calls in aio.c
is absolutely awful, and it does affect performance.

Fix bug 5681: Do not limit the number of network interfaces

Jeremy as far as I can see there is no real technical reason to limit the
number of interfaces. If you like this patch, can you please merge it to 3.4?
If you don't please tell me :-)

Thanks,

Volker

In aio_fork, we have to close all fd's, we might hold a gpfs share mode

Keeping such an fd open prohibits another open of that same file.

Add "file_walk_table" to do stuff with all open files

Fix a race condition in vfs_aio_fork with gpfs share modes

Fix broken pipe handling

Metze is right: If we have *any* error at the socket level, we just can
not continue.

Also, apply some defensive programming: With this async stuff someone else
might already have closed the socket.

Fix a type-punned warning

s3: tevent_req_poll() loops forever when pipe is broken

Signed-off-by: Bo Yang <boyang@samba.org>

s3:fix bug #6371, unsuccessful net conf setparm leaves empty share

Wrap creation of share and setting of parameter into a transaction.

Michael

s3-events: Not only timed, also immediate events generate a timeout return

Move smb_create_user() in samsync

It is not used anywhere else, so make it also static and remove
it from proto.h

tevent: Define TALLOC_FREE() if it's not defined yet, to allow building
with released versions of talloc.